AIは「空気を読む」ことができるか？InfiniMindが日本語動画AIの評価基盤「NARU Bench」を公開

• Facebook
• X(旧:Twitter)
• はてブ
• LINE
• Pocket

AIの動画理解は急速に進化していますが、「映っているものを当てる」だけでは、まだ本当の理解には届きません。インフィニマインド株式会社は、日本語動画における“空気を読む力”や文化的な文脈理解を測る評価基盤「NARU Bench」を公開しました。

NARU Benchは、長尺の日本語動画を対象に、物語の流れや人物の関係性、相槌や間接表現に含まれる意味まで評価できるオープンベンチマークです。生成AIやマルチモーダルAIの性能を、より実践的な視点で見直すきっかけになりそうです。

NARU Benchとは何か

NARU Bench（Narrative And cultural Reasoning Understanding）は、InfiniMindと東京大学が共同開発した、日本語動画AI向けの評価基盤です。対象はインタビュー、対談、トーク番組などの長尺動画で、合計約147時間、155本の日本語YouTube動画から構成されています。

質問数は1,481問。すべて日本語で作られており、単なる字幕や書き起こしでは答えられないように設計されています。つまり、AIが「何が映っているか」だけでなく、その場の文脈や意図まで理解できるかを試すための仕組みです。

なぜ「空気を読む」AIが必要なのか

日本の動画コンテンツは、2025年に約6,300億円規模に達するとされ、ビジネス活用の余地も大きい分野です。一方で、日本語の動画には、言葉として明示されない意味が多く含まれます。

• 相槌のニュアンスに気持ちが表れる
• 遠回しな表現に本音が隠れる
• 会話の間や表情が意味を補完する
• 人物同士の関係性が発言の解釈を左右する

こうしたハイコンテクストな情報は、従来の動画QAや短尺クリップ中心の評価では見落とされがちです。NARU Benchは、その弱点をあえて突くことで、AIの本当の課題を浮き彫りにしています。

既存ベンチマークとの違い

既存の動画ベンチマークにも価値はありますが、NARU Benchは次の点で一線を画します。

• 英語中心ではない：日本語メディアを対象にしている
• 長尺動画を扱う：時間をまたいだ物語の追跡が必要
• 文化的推論を問う：暗黙の社会的手がかりまで評価対象
• テキストだけでは解けない：実際に動画を観る必要がある

特に注目したいのは、「検索できるAI」から「理解できるAI」へという視点です。映像内の特定シーンを見つけるだけでなく、話の流れや人間関係を踏まえた判断が求められます。

評価結果が示すAIの壁

InfiniMindは、NARU Benchで複数のモデルを評価しました。その結果、現状のAIにはまだ大きなギャップがあることが明らかになっています。

• 4択問題のランダム正答率は25%
• 有力なオープンウェイトモデルでも33.9%程度
• InfiniMindのDeepFrame 8Bは32.1%
• 動画全体の検索とエージェント的推論を組み合わせたDeepFrame Platformは55.3%を記録

とはいえ、55.3%でも人間並みの理解にはまだ届きません。つまりNARU Benchは、AIの強みを示す場であると同時に、どこで失敗するのかを可視化する検査基盤でもあるわけです。

どうやってデータセットを作ったのか

NARU Benchの構築は、単なる動画収集ではありません。約10万本の動画プールから、日本語主体のコンテンツをASRで選別し、30分以上の長尺動画に絞り込み、さらに人手で映像の完全性や物語の連続性を確認したうえで精査されています。

質問生成の段階でも、動画を見ずに答えられる設問を除外するためのブラインド・ソルバーを用いたデバイアス処理が行われています。最終的には、日本語ネイティブのレビュアーが正確性や難易度をチェックし、「本当に動画理解が必要な問題」だけを残すという丁寧な設計が取られています。

研究者や開発者にとっての意味

NARU Benchは、Hugging FaceやGitHubで公開されており、lmms-evalを使ってすぐに試せます。動画AIの研究者だけでなく、社内ナレッジ活用や映像検索、コンテンツ分析に取り組む企業にとっても、モデル選定や性能比較の参考になりそうです。

今後は、YouTubeだけでなく日本のテレビや放送メディアへの拡張も視野に入れているとのことです。日本語動画の理解精度が上がれば、コンテンツ検索、要約、解析、広告、メディア運用などへの応用も広がるでしょう。

まとめ：AIの「理解力」を測る時代へ

NARU Benchの登場は、動画AIの評価軸が「見えるものを当てる」段階から、「文脈を理解する」段階へ進みつつあることを示しています。日本語特有のハイコンテクストなコミュニケーションを扱えるかどうかは、今後のAI活用を左右する重要なテーマになりそうです。

AIが本当に「空気を読む」には、まだ越えるべき壁があります。NARU Benchは、その壁を明確にし、次の研究開発を加速させるための重要な一歩だと言えるでしょう。

参考記事

https://prtimes.jp/main/html/rd/p/000000008.000166252.html

• Facebook
• X(旧:Twitter)
• はてブ
• LINE
• Pocket