日テレが箱根駅伝で画像認識システムを導入-マスコミにおけるAI活用の先駆けとなるか？

NEWS 2019年01月29日

今年の箱根駅伝で、番組制作を支援する画像解析AIが使われていたことをご存じでしょうか？実は、中継映像から選手のデータを抽出し、その映像にメタデータのタグ付けを行なっていました。映像中の選手を検出し、追従することに加えて、ユニフォームなどの特徴を捉えて、所属するチーム名もリアルタイムで認識することができ、98.1％の精度で選手を識別できることを実証しています。

番組制作におけるコンテンツメタデータを自動作成、業務を効率化

TV放映に当たって番組制作で重要な位置を占めるのが、編集や、配信時に映像データに何がコンテンツとして入っているのかを簡単に分かるようにするコンテンツのメタデータです。今まで、このメタデータの作成は今まで人が目視で行なっていたためにとても大きな労力がかかり、十分なタグ付けができていませんでした。

同局系列局で放送される『新春スポーツスペシャル箱根駅伝』においても、これまでは、4台の中継車からの映像を利用して目視でレースの模様や選手を２日間の約12時間の長時間に渡り確認していたとのこと。想像しただけでも気の滅入る作業です。

これらの課題に対し、東芝デジタルソリューションズと日本テレビ同社は共同で、画像認識の技術を利用し、選手の自動特定、および順位の解析を可能とした「Realtime Indexing」を開発しました。映像に映っている選手から彼らのチーム名をリアルタイムで高精度にタグ付けできるようにし、実際に制作の場で利用したところ、CG制作や編集作業の大幅な効率化が図られるようになりました。

顔やユニフォームを自動検出

タグ付けシステムの中では、一般物体検知のためのアルゴリズムSSD（Single Shot Multibox Detector）を用いて選手の顔やユニフォームなどの検知を行い、追従。中継映像をタグ付けシステムに流し込んで、出てきた結果を制作支援システムや中継映像にそのまま流しました。

ユニフォームに関してはResNetというモデルを利用し、1,300枚ほどの過去のユニフォームデータを学習させチーム名を検出しました。

さらに、それだけでは観客などがノイズとなり不具合を発生させる可能性があるため、ノイズ除去として動きが大きい者のみを選手として扱うことでより精度を高めることが可能にしました。また、高い精度と高いリアルタイム性を両立させるために、いくつかのフレームでの識別尤度（識別結果のもっともらしさ）を統合的に判断することで識別結果の判定を安定させる工夫がなされ、より高い精度を保ちながらスポーツ中継にも耐えうるリアルタイム性を確保できるようにしました。

制作支援システムとCG表示システム

今回のこのプロジェクトの他、日テレは制作支援システムも開発しています。

具体的にはAIがはじき出した結果をもとに番組制作のオペレーターがGUIでレース展開を把握しやすくできるシステムです。例えば、TV画面に表示するテロップを１タッチで変更できるようにしておいたり、順位が変わったり新たな選手が画面に映り込んだ際にはアラートが鳴って見落としを無くすようにしたりと番組制作のための工夫が詰まったものです。

特に、順位の検知システムは秀逸で顔の大きさを相対的に比較することで遠近感を検知。順位やその変更を問題なく記録できたそうです。CG表示システムでは選手の動きを検知しその動きを追尾するように選手の情報をCGでテロップのように表示できるようになりました。

これらにより今まで多かった、どのテロップが誰を指しているかわからないという事がなくなり視聴者のユーザビリティも向上しました。

見やすいUIを実現

これらのシステムのもととなっている画像認識AIがタグ付けしたメタデータは全て特製のインデックス表示システムでタイムライン状に簡単に閲覧ができるようになっています。

また、このデータによりのちにハイライトを制作する際、順位変更などの箇所を探す労力が大きく減ったり、どのシーンが一番観られているのか？などの分析もより詳細に行うことができるようになります。

AIで働き方改革をすすめる？

今まで、動画の編集では素材の『この箇所』が欲しいと思った際に膨大な動画を早送りで再生するなどして見つけ出すしかありませんでした。それが、このシステムによってメタデータを自動的に作成することで大幅な作業効率化が図れました。

さらに、このシステムは「箱根駅伝」のようなロードレースに限らず、どのような番組にも利用可能で「○時○分○秒に誰がどのサイズで画面に映っていた」と言ったようにデータが自動的に記録できます。そのため、訃報などのニュースでも編集者の負担を大きく減らすことが可能になると考えられています。

長時間労働が常態化しており、ブラック企業の集合体と認定されているテレビ業界。ロカールルールが強くIT化が遅れている業界の一つといえます。今回のプロジェクトは業界の常識を打ち破るようなインパクトのあるものでした。これからは動画業界、マスコミ業界でもAIを利活用することでより効率的なクリエイティブ制作が進むかもしれません。