鏡に映った顔を分析し、利用者に合わせた美容のアドバイスを提供するスマートミラー「novera」。

その画像認識技術の要である「Face_API」は、どんな経緯で誕生したのか。そこに込められた想いや情熱を、開発者である諸冨さんに尋ねました。

諸冨大樹

2016年に株式会社WalkerのCOOとして入社。2017年に経済産業省より「異能ジェネレーションアワード 協力協賛企業 特別賞」を受賞する。また、JDLA認定講座の講師としてNTTを始め100名以上の生徒に教鞭をとる。2019年1月より、株式会社Noveraに入社。元MENSA会員。

◆現場のプロの目から生まれた、納得感のあるFace_API

─諸冨さんが開発しているFACE_APIとは、具体的にどんなものなのでしょうか。

シンプルに言えば、人の顔が映った画像からデータを取得し、そこから肌のターンオーバーに関する周期予測や、ニキビなどの肌トラブルの予測といったことができるものです。これまでこういった分析は専用の機械を設置した店頭でしか行うことができませんでしたが、この技術を活用すれば自宅でも肌に関する診断が受けられるようになります。

─美容への関心が強い女性にとって、非常に役立ちそうですね。そのFACE_APIはどのようにして作っているのですか？

肌検知のAIを作るために色々な方にヒアリングをしたのですが、“乾燥肌”、“敏感肌”といった、美容関連でよく目にする単語には学術的な線引きが無く、非常に曖昧だと感じました。例えば、「皮脂が何%以上ならオイリー肌」といった定義が無く、各化粧品会社が独自に決めていたのです。

そんな中、とある美容のプロに相談する機会があったんです。その方が面白くて、お会いした途端、いきなり「あなた、左目が悪いでしょ」って声を掛けてきたんです。初対面かつ、挨拶もする前ですよ。

驚きながらも「なぜですか？」と尋ねたところ、「顔の左側にほうれい線があるし、周囲の血行が悪そう。それに左目のクマが強く出てるからそう判断しました」という返事で。その時は、人間って極めればここまでできるのかとたじろぎましたが…（笑）。

ただ同時に、こういったプロの知見を取り入れてAI化したら、現場でも納得感が得られる測定結果を返せるのではないかと考えました。

─AIで美容のプロの目を再現するというわけですか。

イメージとしてはそれに近いですね。

具体的にはまず、化粧品売り場に立たれているプロの方に複数の画像を見てもらい、それぞれに“乾燥肌”、“敏感肌”といった形で判定結果をラベル付けして頂きます。

その判断結果をもとにAIを作成し、今度はAIが別の画像を「あの画像が乾燥肌なら、それに似ているこれも乾燥肌だろう」といった形で判定します。ある程度データが溜まったら、AIが判定した画像を再度プロの方に見て頂き、その判断が正しかったのか答え合わせをします。このサイクルを繰り返して、学習を回していくことになります。

─顔の画像って、撮影時の明るさや角度、天気や時間などの条件によって大きく変わってくると思うのですが、それでも判定は行えるのですか？

そもそもデータの元となっているプロの方たちは、顔を見ただけで判断しているため条件は同じですし、画像自体もRGBの値や彩度・明度といった要素を変えることができるので、極端に不明瞭でなければ許容できる結果が返せるかと思います。「人間ができないことはAIもできない」というのが僕の基本的な考えでして、例えば暗い映画館で撮影した画像なんかはさすがに厳しいのですが、何事も基準があれば、AIはちゃんと判定できますよ。

◆試行錯誤を繰り返し、常にFace_APIの最適化を図る

─画像の判定にはどのような技術が使われているのでしょうか。

技術点な面で言うと、シワなどが顔のどの部分にあるかを描写するセグメント系と、いわゆる“乾燥肌”、“敏感肌”といった肌質を判定する分類系という2種類に分けられます。

セグメント系と分類系のタスクはどちらも、CNN（※Convolutional Neural Network）という、画像認識をする際に用いられる専門的な構造が使われています。また、最近のデジタルカメラには顔認識機能が付いてますよね？その機能のように、見ている画像から特定のモノや箇所だけを判定する技術を物体検出と言うのですが、そういったことも行っています。

物体検出と一言で言っても、そのアプローチの仕方には色々な手法があります。例えばYOLO（※You only look once）と呼ばれる手法は、同時に複数の箇所を検出することが苦手なので、例えばニキビがいくつかあるといった状況では、思うような結果が返ってきません。また、判定結果を出すまでのスピードも手法によって大きく異なります。

そのため、関係する論文等を読みながら手法ごとのメリットとデメリットを抑え、実装しては反応を確認し、調整を重ねています。

◆ますます広がっていく、Face_APIの展望

─今後Face_APIは、どのように広がっていくのでしょうか。

Face_APIがリリースされて世界中で使われるようになると、取得できるデータも多岐にわたりますよね。人種によって遺伝子構造は大きく違うでしょうし、それに付随して肌の状態も様々なはずです。

これはざっくりとしたイメージになりますが、例えば世界72億人に向けたFace_APIができれば、ヨーロッパや東南アジアといった具合に、地域でセグメントしたデータが集められるかと思います。赤みが出やすい白人の方とか、砂漠に住む人たちの乾燥肌とか、これまで表に出てこなかったことも分かってくるかもしれません。

─そのデータが、また新たな研究に繋がっていくのですね。

そうですね。それと個人的には、男性の肌に特化したFace_APIも作ってみたいと思っています。この業務に携わるようになってから色々な化粧品を見るようになったんですけど、やっぱり女性向けとして売られている商品のほうがレパートリーが豊富だし、オシャレだし、品質も凄く良いように見えるんです。それに美白とか保湿とか、目的別で細かく分けられているじゃないですか。

男性向け商品はここ数年で市場が大きく伸びてはいるものの、まだその段階には至っていません。僕自身、化粧水や乳液等を使いますが、「これが男性用です！」と一括りにされた商品よりも、様々な機能を謳った商品から目的を持って選びたいなって気持ちがあるので…。だから男性用のFace_APIを通して、この状況を変えられたら嬉しいですね。

冒頭にも触れましたが、肌に関する分野は学術的な定義が非常に曖昧です。でも、だからこそ新しい定義を提唱する側にいることが、とても面白いとも感じます。「俺が基準を作るんだ！」っていうノリに近いかもしれない（笑）。

そういったことをしていると、いずれ革新的なAIも作れますよね。日本国内のAIは学会に論文が採択されておらず、世界から見るとまだまだこれからなんです。僕個人としては世界と戦えるものを日本から発信したいという強い思いがありますので、このFace_APIを通して、まずは一歩踏み出してみたいと考えています。