視線だけで言葉を伝え合うゲームでデータを収集


東京大学 生産技術研究所の研究者が、自身の研究について紹介します。


 近年、カメラ画像から人の視線方向を読み取る「視線推定技術」の開発が大きく進展しており、自動運転やロボット、医療など、様々な分野での応用が期待されています。しかし、視線を推定するAIの学習に必要な「訓練データ」にバイアスが含まれていることが、大きな課題となっていました。例えば、既存の研究用データセットの多くは大学の研究室で、学生を中心とした参加者で撮影されているため、年齢層が大きく偏っていました。

 そこで、東大生研の菅野 裕介 准教授の研究室とDLX Design Lab は、AIの訓練データ収集を楽しいゲーム体験に変える新しいアプローチを提案し、その効果を実証しました。研究チームが開発したゲームは、透明な文字盤を挟んで2人のプレイヤーが向かい合い、視線だけで言葉を伝え合うというものです。このゲーム体験を通じて、視線推定AIの学習用の顔画像と視線方向のデータが自然に収集されます。楽しみながら参加できるゲーム体験を通して、参加者が技術の可能性を知ると同時に、データ収集にも貢献できることを目指しています。

AICOM / DLX Design Lab + Sugano Lab, IIS, The University of Tokyo

 実験は、東京大学駒場リサーチキャンパス内にある「ダイニングラボ/食堂コマニ」に5日間にわたってゲームシステムを設置して行われました。実験には、18歳から79歳までの幅広い年齢層の47名が参加し、食事の合間や休憩時間を利用して気軽に最先端の研究に触れる機会を得ました。実験後のアンケート調査では、参加者の多くがゲームを楽しみ、視線推定技術への理解も深まったと回答しました。さらに、モデルを訓練する上で重要となる収集されたデータの視線ラベル精度も、従来の実験室での方法と遜色ないことが確認されました。

ダイニングラボで実施された実験の様子 提供:ONESTORY

ダイニングラボで実施された実験の様子 提供:ONESTORY

 今回の実験が、学生や研究者だけでなく様々な人々が訪れるダイニングラボで実施されたことには重要な意味があります。この研究プロジェクトは、実験室外で多様な参加者が楽しんでAIの訓練データ収集に参加できることを目的にしていますが、そうして作られたシステムを実験室内で特別に集められた参加者だけで評価しては意味がありません。一般の方々も含めた形式で評価することで、研究の本来の意図に沿ったより現実的な検証が可能になりました。AI技術の役割が私たちの日常生活でますます大きくなる中、ダイニングラボのような場所での研究活動は、今後の科学技術研究のあり方に新たな可能性を示唆しているといえるでしょう。

 この取り組みは、AI研究と社会をつなぐ新しい形を提示しています。楽しみながらデータを提供し、同時に技術への理解を深められるという点で、AIと人々の関係性を考える上で重要な示唆を与えています。今後の展望としては、ゲームの難易度の自動調整機能の導入や、長期的な公開展示、ワークショップとの組み合わせなどが考えられます。さらに、このようにゲームを通して訓練データを収集する手法は視線推定以外のAI研究分野でも応用できる可能性があり、幅広い影響が期待されます。

この研究は、2024年9月12日に国際論文誌「International Journal of Human-Computer Interaction」に掲載されました。
DOI:https://doi.org/10.1080/10447318.2024.2399873

関連リンク ≫ DLX Design Lab
関連リンク ≫ ダイニングラボ

菅野 裕介 准教授

記事執筆:菅野 裕介 准教授

みんなのコメント

コメントはまだありません。

投票&コメントで参加

この記事が描く「もしかする未来」をどのように感じましたか?あなたの期待度を投票してください!

投票いただきありがとうございます!この研究についての、あなたの意見をお聞かせください。いただいたコメントは、承認されると「みんなのコメント」に掲載されます。コメントが盛り上がれば、研究者本人が登場することも・・・?!

コメントを残す

もっと詳しい研究内容を知りたい方、疑問や質問がある方は、研究室のウェブサイトをご覧ください。

前の記事