「Ego4D Challenge 2023」 の長期動作予測部門で、準優勝
パナソニック コネクト株式会社は、世界最高峰の画像認識国際学会であるCVPR（IEEE Conference on Computer Vision and Pattern Recognition）の「3rd International Ego4D Workshop」における「Ego4D Challenge 2023」 の長期動作予測部門で、準優勝の成績を獲得しました。
2021年に行われたCVPR2021 第3回「EPIC-KITCHENS-100 2021 Challenges」コンテストの動作予測（Action Anticipation）部門の準優勝に引き続き上位入賞となりました。「EPIC-KITCHENS-100 2021 Challenges」は、特定の時刻までの映像が与えられたとき、1秒後に起こるであろう動作の動詞・名詞を予測するタスクで、キッチンで撮影された動画に対して、食器を洗う、野菜を切る、冷蔵庫を開けるなど、次に起こす動作の動詞・名詞を予測してその精度を競うものでした。（関連記事はこちら ）
今回チャレンジした「Ego4D Challenge 2023」の長期動作予測タスクは、次の動作を予測するだけでなく、以後に続く動作を順序も含めて予測するもので、机の上でナッツの皮を剥いたり、屋外で木材を削る作業をしたりするなど、キッチンに限定されないシーンにおける長期の動作と順序の予測精度を競う難しいタスクとなっています。
今後、物流倉庫や工場における行動予測技術の現場適用に向け、Ego4Dチャレンジ参加で獲得した動画DeepLearning技術の知見を活かし、研究開発を加速していきます。
Ego4D Challenge (Long-Term Action Anticipation)
レポート：https://arxiv.org/abs/2307.01467
コード：https://github.com/PanasonicConnect/ego4d_lta_ens_srw_seqdep_verb_noun_cooc
Egocentric Live 4D Perception (Ego4D)
Database: A large-scale first-person video database, supporting research in multi-modal machine
perception for daily life activity. Ego4D Consortium 2020.
https://ego4d-data.org/