めざましテレビ「AI天気」放送まで開発期間2ヶ月。開発秘話をエンジニアに聞いた

岩井(開発者):「正直、これやべぇなって思いましたよ…(笑)」。

4月1日から、フジテレビ「めざましテレビ」お天気コーナーのなかで、月曜から金曜日まで毎日朝6時50頃より、スペクティのAI技術を使った放送が始まりました。お天気カメラの動画をAIで解析して服装診断をするというのは、天気予報の放送では日本初の試みです。(プレスリリースはこちらから)

(画像:フジテレビ提供)

スペクティのAI技術で、「お天気カメラ」を解析してコート着用率を判定

▲実際にAI技術で動画をリアルタイムに解析している様子

「今日はコート着ている人が85%」とか、「半袖の人が70%」とか、リアルタイムに映像を解析して服装指数を出したいというご相談を日本気象協会さんから受けたところから始まったこの案件。「今日の服装どうしよう…」。というときに、天気予報をチェックするという人は多いそう(日本気象協会さん実施の調査より)。

開発段階からいろいろと面白そうな噂を聞いて気になっていたので、担当したエンジニアの岩井と衣川2人に開発裏話を教えてもらいました。

機械学習のために集めたデータが使えないという苦悩も

今回の服装指数の判定に使うのは、半袖(Half)、長袖(Long)、コート(Coat)、スカーフ(Scarf)の4種類の画像。はじめは、それぞれの写真データを100枚くらいずつ集めてラーニングさせました。使ったのは被写体との距離が近く、人の目線と同じ高さから撮影された画像。

開発を始めた段階では、実際の映像をどこから取ってくるのか決まっていなかったのですが、実際に放送で使うのは、上から定点で撮ったこんな感じの渋谷の交差点のお天気カメラの動画になりました。

そうすると何が起こるかというと、まったく判別できない。学習させた画像とは見え方が違うため、上から撮影した映像では判別できませんでした。

岩井:

やってるときは、正直これやべぇなって思ってましたよ。

衣川:

やばいな、と思いましたよ。自転車のサドルを「半袖」って認識したり(笑)。出せないでしょ、これって。なんで半袖になってるのって(笑)。

▲自転車のサドルに「半袖」

そこで上から撮影したデータを集める必要がでてきます。日本気象協会さんにご協力していただいて、道行く人の動画をカフェの2階などから撮影してもらいました。用意したのは1〜5分くらいの動画を20、30本ほど。

このように実際の映像に近い雑多な映像の中から、「これはコート」「これは長袖」というようにタグ付けしていき、精度が上がって運用できるようになりました

通行人のプライバシー問題。全画面モザイクで放送…?

すると今度は別の問題が発生です。お天気カメラそのままの映像だと、そもそも遠すぎて服装の判別ができないので、服装の判定ができるレベルまでズームした動画を使うことになっていました。ですが、プライバシーの観点からそのままでは映像を流せないという問題が浮上します。通行人の顔が見えてしまっては困ります。

じゃあ、動画から人の顔を検出して、顔だけにモザイクをかけよう。と、画像解析と機械学習の2パターンで試すことに

(左:衣川、UIを担当 右:岩井)

岩井:

画像解析というのは、画像のなかから顔の特徴というのをコンピューターの計算上で求めるというものですね。その計算上の特徴に合ったところを抽出することができる。対して機械学習は、いろんな写真に「ここが顔だよ」というのをマーキングしていって学習させるということです。

まずはデータを集めなくてもできる画像解析を使って、自動モザイク処理に挑戦です。

岩井:

なので画像解析を使って顔にモザイクをかけるというのをやろうとしたんですけど、大変だったんです。

計算処理としてやっているんだけれども、ブレちゃったり、横顔だったりするので人が歩いている動画だとうまく検出ができない。顔の部分じゃないのにたまたま特徴が合っちゃって、人がいないのにモザイクが出てきてしまった。おばけがどっかにいっぱいいるんですよ(笑)。

▲モザイクがかかったおばけが誕生

結局、機械学習に切り替えようとしましたが、データを集める時間の余裕がないということで、全画面にモザイクをかけることになりました

と、紆余曲折あったものの、最終的には人の顔が分からないくらいまで引きで撮った動画を使い、モザイクをかけないことに。(もちろん、時間があれば、画像解析でモザイクをかけることも可能でした)。引きで撮った動画に合わせて新たなデータが必要になったので、新たに動画を集めて再度ラーニングをさせて、無事判別できるようになります。

当日の放送まではドキドキだったようですが、昨日の朝、無事に初回の放送が終了。ほっとした様子です。

今回の技術は、ほかのユーザーにも使ってもらえるように柔軟性をもたせた設計をしています。今後、もっと身近にあらゆる企業でAIの技術を取り入れていただけるように、新サービス「SIGNAL」も発表しました。費用面や、データが大量に必要という部分で一歩AIの導入に踏み切れなかった方々に幅広く使っていただきたいと思っています。

株式会社Spectee's job postings
4 Likes
4 Likes

Weekly ranking

Show other rankings
If this story triggered your interest, go ahead and visit them to learn more