aitoの日記: 2月4日 SLP特別講演まとめ
日記 by
aito
■招待講演[17:05 - 17:55]
(9) マルチモーダルデータに基づいた多人数会話の構造理解(京都大学・角康之)
プレゼンをしながら音声認識結果をツイートするチャレンジングな発表スタイル…と思ったらうまく動かなかったらしく、普通に発表。
・会話を通した知識の共有と創造
ミーティング・共同作業などの場での会話を対象としている(物理的に何かを共有しながらコミュニケーション)
マクロな会話の「場」の発生や消滅などに興味がある
・IMADE:実世界インタラクション計測分析支援環境
・インタラクションの階層的モデル
Raw data(生音声、指差し方向など)/Interaction Primitive(発話、視線、指差し)/Event/Context
非言語的情報から理解したい
・iCorpusStudio: インタラクションコーパスの閲覧・分析・ラベリング環境
ラベル間の演算が可能(インタラクション環境におけるExcelのようなものを作りたい)
ラベル対象の人数が多くなると直接目で見て確認するのが難しいので、個々のラベルを通して分析する
・コンテキストに依存したモデル化
例えば視線の広がりは会話中の役割や姿勢などによって違う
・イベント層でのモデル化
会話への参与の度合いを指差しや視線などのデータからモデル化する
・インタラクションマイニング
プリミティブのN-gramからインタラクションの「文法」を発見する
ランダムな行為から有意に外れたパターンは何らかの意味がある可能性
(9) マルチモーダルデータに基づいた多人数会話の構造理解(京都大学・角康之)
プレゼンをしながら音声認識結果をツイートするチャレンジングな発表スタイル…と思ったらうまく動かなかったらしく、普通に発表。
・会話を通した知識の共有と創造
ミーティング・共同作業などの場での会話を対象としている(物理的に何かを共有しながらコミュニケーション)
マクロな会話の「場」の発生や消滅などに興味がある
・IMADE:実世界インタラクション計測分析支援環境
・インタラクションの階層的モデル
Raw data(生音声、指差し方向など)/Interaction Primitive(発話、視線、指差し)/Event/Context
非言語的情報から理解したい
・iCorpusStudio: インタラクションコーパスの閲覧・分析・ラベリング環境
ラベル間の演算が可能(インタラクション環境におけるExcelのようなものを作りたい)
ラベル対象の人数が多くなると直接目で見て確認するのが難しいので、個々のラベルを通して分析する
・コンテキストに依存したモデル化
例えば視線の広がりは会話中の役割や姿勢などによって違う
・イベント層でのモデル化
会話への参与の度合いを指差しや視線などのデータからモデル化する
・インタラクションマイニング
プリミティブのN-gramからインタラクションの「文法」を発見する
ランダムな行為から有意に外れたパターンは何らかの意味がある可能性
2月4日 SLP特別講演まとめ More ログイン