1
/
5

マーケとデータのバディチームによる「内製アトリビューションモデル」への挑戦

2019年、リクルートでは、マーケティングにおける評価ロジックを再定義し、新たなアトリビューションモデルを開発。検索エンジン経由のアクションを1.5%増やし、SPAベースで数億円規模のアドオンを生み出しました。Web広告の課題のひとつである「ラストクリックモデルからの脱却を目指す」という本案件に挑んだのは、マーケティング室の小原聡と、データ推進室の松岡佑知。プロジェクトの詳細と「マーケとデータの共同作業では何が大切なのか」を、2人が語ります。


<対談者プロフィール>

小原 聡(オハラ サトル)36歳
2009年 インターネット広告代理店に新卒入社
2013年 アクセス解析ツールベンダーに転職
2015年 株式会社リクルートライフスタイル入社/ホットペッパーグルメ有料集客担当
現在   株式会社リクルート プロダクト統括本部 マーケティング室 ライフスタイル・SaaS領域担当

松岡 佑知(マツオカ ユウチ)27歳
大学・大学院で数理統計学を専攻
2018年 株式会社リクルートライフスタイル入社/データソリューショングループ配属/主にマーケティング×データサイエンスを担当
2019年 データソリューショングループ配属/主に旅行領域のデータサイエンス担当
現在   株式会社リクルート プロダクト統括本部 データ推進室 SaaS領域担当ラストクリックモデルからの脱却を目指して


Web広告は、クリックデータやコンバージョンのすべてを計測でき、広告をデータで評価することができます。しかし、「どのクリックが予約や購入につながったか」を正しく見るのが難しいという問題があります。プロジェクトが発足した2018年当時、リクルートが採用していたアトリビューションモデルは、「ラストクリックモデル」でした。

小原
ラストクリックモデルは、予約や購入の直前に生じたクリックの元となる広告、つまり最後に見た広告がそのユーザーのコンバージョンを判断する元になっていて、広告の評価を総取りします。しかし実際は、最初に見た広告や途中で見た広告もコンバージョンに貢献しているはずで、「それらをちゃんと評価しなくていいのか?」という課題がずっとありました。

データサイエンスが流行る前からこの課題は言及されていて、たとえば「ラストクリックだけじゃなく、ファーストタッチで評価しよう」など、感覚的な評価変更はこれまでもありました。しかし根本的な解決には至らず、より正しいアトリビューションモデルの創出が大きな課題になりつつあったんです。

ただ当時は、データサイエンスがそこまで成熟しておらず、インフラも大量のデータを扱える状態ではありませんでした。その限られた技術の中でどうするか、いくつかプロダクトは出てきたのですが、けっこう技術側の制約に左右されて、マーケ側のニーズに応えられないことが多かったんですね。

その状況を打破する契機になったのが、2017年にGoogleが発表した「Google Attribution」。「データ・ドリブン・アトリビューションモデル」と銘打たれた、すべてのユーザーの行動を分析して、コンバージョンデータのリフトに寄与した広告の接触を評価するという機械学習モデルでした。

小原
マーケターのニーズや課題を解決してくれそうだなと期待し、リクルートも導入に取り組みましたが、その中で運用実態に合わせていくつかカスタマイズしてみたいポイントが見つかりました。

そこで、社内でモデルを作ってみたいという提案をマーケの組織長に行ったうえで、社内のデータサイエンスグループにヘルプを求めました。そして、アサインしてもらったのが松岡くん。そこから本格的にプロジェクトがスタートしました。

松岡
僕はもともと大学院で統計学を研究していました。今回は、「チャネルの価値をどう評価するか」という、理論的な正しさに加えて説明性や解釈性が大事なフィールドでした。僕がそういったことを研究していたので、上司から「やってみないか?」と入社1年目で抜擢してもらいました。

小原
松岡くんが来てくれてから、プロジェクトが一気に進み始めましたね。なんせ最初のころの僕はひどくて、プロジェクトの概要だけしか説明せず……(笑)、でも次の週には専門書を読んで勉強してきてくれました。最初から自走してくれてたよね。

松岡
当時の僕は「アトリビューション」という言葉もまだ覚えたての手探り状態で。でも何を質問しても、意見しても、小原さんが受け入れて一緒に考えてくれたので、すごく助かりました。

新たなアトリビューションモデルの構築に向けて

2人で話し合い、内製モデルは「コンバージョン発生時に、チャネルの貢献度を確定させる」方針で開発することに。具体的には、ユーザーがコンバージョンに至るまでの、1ヶ月分のコンバージョンパスを見て、各チャネルの貢献度を予測。それを毎日繰り返していきます。

小原
母集団はクリックです。最初に、「ホットペッパーグルメ」に入ってきたすべての流入をチャネル接触だと捉え、「チャネルに接触するとそのユーザーのコンバージョンレートが上がる」という仮説を立てました。そして基礎分析の段階で、松岡くんが数値で仮説を裏付けてくれたので、この前提に立ったモデル開発を進めました。

松岡
全てのコンバージョンが生じてからモデリングを行う手法もありますが、それだと評価確定に時間がかかるというデメリットがあり、内製モデルは「毎日更新」「モデリング対象は当日を含めない過去30日」「チャネル評価はコンバージョン発生時に確定」という設計にしました。モデル自体をシンプルにしたため解釈性が高く、問題が起きたときの原因究明やどう動くかを内部でチューニングできるメリットがあります。

小原
この内製モデルが完成すれば、社内の意思決定タイミングやモニタリング方法を大きく変更することなく、さまざまな施策に良い影響を及ぼし得ます。また、それまでのラストクリックモデルは主に「コンバージョンしたか、しなかったか」といった確度が広告評価の中心でしたが、それを「ユーザーのコンバージョン確度をチャネルがどう変えたか」という点にフォーカスを変え、レベルを変更することができると思いました。

プロジェクトの中で、小原と松岡は互いの役割を「明確に切り分けてなかった」といいます。

小原
もちろん僕が全体的なディレクションやマーケ側の調整を行い、松岡くんがデータを触ったり分析するのは基本なんですけど、ただ、松岡くんの動きがそこだけだったかというとそうではなくて、案件進行に必要なことを自発的にどんどんやってくれました。「次はこんなことを話さなきゃいけない」などのアジェンダも松岡くんが率先して提案してくれたので、かなり助かりました。

松岡
僕が率先して動けたのは、小原さんがそういう環境を作ってくれたからですが、リクルート自体にそういった「当事者意識が強く、必要を感じれば役割の中だけでなく染み出していく」スタンスがあると思います。もちろんタスクは存在しますが、マーケとかデータとか、ディレクターとかエンジニアとか、領域や職種で切ったりしないんですよね。みんな、やらないといけないことは認識しているので、やりたい人、やれる人がやるし、それが推奨される。この会社の良いところですね。

小原
僕はここが3社目ですが、リクルートって部署間の壁が低いんです。たとえばリクルートライフスタイルのマーケ組織では半期に1度、案件を募集して、集約された案件が関連部署の組織長間でふるいにかけられて「これは進める」「これはやらない」と決められ、プロジェクトごとに部署同士で協業します。そのような制度設計が垣根の低さにつながっていると思います。あとは松岡くんが言うように「自分の仕事を進めるために、互いに協力し合う」という文化がこの会社にはありますね。

検証と行き詰まり

「コンバージョン発生時に、チャネルの貢献度を確定させる」という案に沿ってモデルを構築。検証として、接続先をリスティング広告に絞ってフィジビリ・スタディを実施しました。具体的には、「このモデルによって算出された成果データを、第三者が開発した入札ツールにインプットすることで、そのツールでリスティング広告の入札最適化を行う」というものでした。

小原
このモデルを使えば、「サイト全体のコンバージョンパスを使って、リスティング広告以外も含めた接触価値をモデリングするので、入札による広告費差配の影響はサイト全体に及ぶ」、つまり「サイト全体の成果が上がる」はずだと考えました。

松岡
示したいのは「本モデルによる入札戦略が、サイト全体のコンバージョンをアドオンさせられるか」です。そのためにABテストを実施し、ユーザ単位で「介入群」と「対照群」を作り、入札ロジックを分けようと考えました。しかし、この施策のシステムは第三者の入札ツールを挟んでいるうえ、その先の配信枠である検索エンジンも第三者のものでした。

小原
仮説をストレートに示すには、ユーザー単位で介入群と対照群を作り、入札ロジックを分けるしかありません。しかし第三者の仕様に従う必要がある以上、その設計は実現不可能でした。

検証って、普通は「何かと何かを比べる」ものですが、今回はその「何かと何か」をどう用意したらいいかを設定すること自体が、ある意味一番難しかったです。たとえば「CRMのポイント付与」であれば、ユーザーを2つに分けて「片方にはポイントを付与して、片方には付与しない」という差分を作ればよいですが、今回の「リスティング広告の入札」は2つのユーザー群に分けるのがそもそも困難でした。理由はとてもシンプルで、他社のものを使っているから。

また当時、「そもそも評価対象を何にするのか」という話も持ち上がりました。それまでは「ラストクリックのコンバージョン評価」でしたが、今回はそれ自体を変えにいくという話だったので、KPIを変えたときに何を示せばいいのかが難しかったんです。「リスティング経由じゃなくて、サイトオールの予約数の違いで見るべきか。ただ、そうするとグループの取り方が難しい……」などと悩んでいましたね。そんなとき、松岡くんがふと気付いたんです。

気付きと検証成功

松岡の気付き。それは「GoogleユーザーとYahoo!ユーザーの予約数トレンドが、かなり類似している」という点でした。

松岡
「差分の差分法」という計量経済学や因果推論の分野で使われる方法を試そうと思いました。まずYahoo!をベースとしてGoogleのみに介入します。トレンドの類似性を利用して「もしGoogleに介入しなかった場合」を予測し、そこに実際のGoogleの「予約数変化」を照らし合わせます。この差分が「本モデルによる施策の成果」となります。

小原
サイト全体の約70%のコンバージョンが検索エンジン経由だったので、十分なカバレッジを持つと判断しました。この方法ならば、目的である「検索エンジン経由の成果のアドオン」を示せるはずだと思いましたね。

それまで「差分の差分法」という用語は知らなかったのですが、マーケがこれまで当たり前のように使っていた「前後比」に近い方法でした。ただ、その前提として実は「2グループの取り方は、その2グループのトレンドが合ってることが重要」と知り、腹落ちしましたね。それまでは第三者の仕様に従ってグループの取り方をなんとなくやっていた部分もありますが、条件に従えばよりちゃんとした説明ができるんだという(笑)。

そして検証設定から半年後、2019年7月にGoogleで、次いで8月にはYahoo!で成果を示すことに成功しました。

小原
それが「検索エンジン経由のコンバージョン1.5%増」です。この結果については、「思った以上に、それっぽい数字が出たな」と思いましたね。変な話ですが、良すぎもなく悪すぎもない、現実味があるいい着地点でした。数字が悪すぎると「これ、やる意味あったの?」って言われちゃうし、良すぎると「ノイズじゃない?」と言われちゃうんで。

松岡
僕は、結果が出るまで実は不安でした。商業案件として今までにないものだったし、不確定要素の強いものだったので。一方でデータサイエンティストとしては、入札の一切に介入してどういう動きが現れるかは、実際にやってみたからこそわかる部分が大きかったので、検証自体は楽しかったです。

2020年9月現在、松岡はプロジェクトチームを抜け、小原は別のデータサイエンティストと新しくチームを組み、この「差分の差分法」で出た課題を潰しながら、より汎用的なテスト設計の開発に取り組んでいます。

垣根を超えた共同

2人はプロジェクトを振り返り、こう語ります。

小原
アトリビューションモデルって、これまで、さまざまなモデルが提唱され、分析サービスが出ましたが、結局、マーケの担当者が望む尤度・精度で使われたことはなかったと思います。おそらく、過去のプロダクトは「分析をする人と、分析結果を使う人」の間でインプット・アウトプットのインターフェースがズレてたんだろうって話になりましたね。

今回の松岡くんとの取り組みは、チャネルの貢献価値を目的に置きましたが、「何でそれが目的なんだろう」というそもそもの部分から2人で話し合い、すり合わせました。それこそ「どうして最初から売り上げを狙いにいったらダメなの?」や「広告って儲けたいから出してるんじゃないの?」といった根本の認識合わせにも時間を使ったので、結果、「分析をする人と、分析結果を使う人」つまりマーケとデータにズレが出なかった。それがうまくいった最大の要因だと思います。

松岡
あとは「データサイエンスの活動領域を広げられるかも」と思えたのが、僕にとっては一番の発見ですね。これまでのリクルートでデータサイエンスが成果を上げてきたフィールドは「ポイントを効率よく活用」など、最終指標を直接最適化できるものが多いんです。そういったもので継続的に成果をあげることはもちろん大事ですが、それだけだと面が狭くなっていき、できることが進化しなくなっていきます。今回はそういう意味で面を広げる任務でした。手探り状態の中で、「今わかってることって何だっけ?」や「ここが乗り越えるべきポイントだよね」などを見極める。「マーケ側の課題と一緒に進んでいくことで、新しいデータサイエンスの活動領域を生み出せるんだな」と思いました。今回をきっかけに新たな案件も生まれたりして、抽象的で複雑で、大変でしたけど、データサイエンスを発展させるために大事なことだったかなと。

小原
本プロジェクトは、最初は僕の思いだけで始まりました。実は数年前にも一度、アトリビューション分析に関わったことがあるんです。でも当時は、自分で納得のいく成果にたどり着くことができませんでした。今回、もう一度チャンスをもらえて、自分の中で勝手に「因縁の対決」だと思ってたんですね。「アトリビューションと決着つけてやる」って。そして必要なアウトプットに細部までこだわり、メンバー間での目的と手段のすり合わせに手を抜かずに進めることができました。このポイントがとても大事だったと思います。

2 Likes
2 Likes

Weekly ranking

Show other rankings