「データを見たら、最初の1週間に『機能X』を使ったユーザーは、翌月の継続率が2倍以上高いことが分かりました!」
データアナリストからこの報告を受けたプロダクトマネージャー(PdM)は、興奮気味にこう宣言します。
「よし、次のスプリントで新規登録フローを改修しよう。全員にチュートリアルで強制的に『機能X』を使わせる導線を作るぞ」
開発チームが数スプリントを費やし、デザイナーが美しいUIを作り、全員が期待を込めてリリースする。しかし数ヶ月後、ダッシュボードに現れたのは無残な数字でした。
機能Xの利用率は目標通り跳ね上がったのに、全体の継続率は1ミリも上がらない。どころか、面倒な初期設定を嫌ったユーザーが登録直後に大量離脱し、獲得効率が悪化してしまった――。
なぜ、あれほど明確に出ていた「2倍の差」が、施策を打った瞬間に消滅してしまうのでしょうか。
この悲劇の正体は、統計学や計量経済学の世界で最もポピュラーでありながら、実務で最も多くの開発工数を溶かし続けている罠――「内生性(Endogeneity)」と「相関と因果の混同」です。
架空の事例:タスク管理SaaS「TaskFlow」の迷走
B2B向けのプロジェクト管理SaaS「TaskFlow」の事例で考えてみましょう。
TaskFlowのグロースチームがユーザー行動ログを重回帰分析したところ、ある驚くべきデータが浮かび上がりました。
登録後3日以内に「プロジェクトの外部共有機能」を使ったチーム: 翌月継続率 82%
使わなかったチーム: 翌月継続率 38%
その差は44ポイント。統計的にも極めて有意です。
「外部共有機能こそが、我が社のキラーフィーチャー(Magic Moment)だ!」
そう確信したチームは、オンボーディングを大幅に改修しました。ワークスペース作成直後に「外部メンバーのメールアドレスを3名入力してください(スキップ不可)」というステップをねじ込んだのです。
結果はどうなったか。
オンボーディング離脱率が 25% から 60% へ急増(使い勝手を試したいだけのユーザーが門前払いされた)
無理やり同僚のアドレスを入力して突破したユーザーの継続率は、従来の低い水準(約40%)のまま据え置き
工数をかけてプロダクトを改悪し、見込み顧客をドブに捨てただけでした。アナリストの分析は正しかったはずなのに、なぜ施策は完全に空振りしたのでしょうか。
「機能を使ったから継続した」のではない
チームが犯した決定的な過ちは、因果の矢印を取り違えたことです。
データが示していたのは「外部共有機能を使ったユーザーは、継続率が高い」という単なる相関関係に過ぎません。そこに「外部共有機能を使わせれば、継続率が高くなる」という因果関係は存在していなかったのです。
この現象の裏には、データには直接記録されない「交絡因子(Confounder)」が潜んでいます。それが、ユーザーが最初から持っていた「導入の本気度(熱量)」です。
もともと本気で導入する気がある企業:
すでに社内稟議が通っており、早く業務で使いたい。だから、誰に強制されなくても自発的に設定画面を探し回り、登録初日に同僚を招待して「外部共有機能」を使う。そして当然、翌月も契約を継続する。
とりあえず試してみただけの個人:
ツールの使い勝手を見に来ただけ。外部共有する相手もいないし、必要性も感じていない。だから機能を使わないし、翌月には解約する。
外部共有機能は、継続率を押し上げる「原因」ではありませんでした。もともと熱量の高い顧客が、その熱量の高さゆえに自然と取った「結果(症状)」に過ぎなかったのです。
これは、「東大に合格した学生の8割は、毎朝バナナを食べていた」というデータを見て、我が子に無理やり毎朝バナナを食べさせるようなものです。バナナを食べたから頭が良くなったのではなく、健康管理に極めて熱心な家庭環境(真因)が、バナナの摂取と学力の双方を生み出していただけです。凡人にバナナだけを詰め込んでも、東大には受かりません。
逆の因果と「ログイン促進」の破滅
冒頭の「週3回ログインするユーザーはLTVが高い」という言説も、全く同じ病理を抱えています。
「サービスを愛用しているから、結果として週3回ログインしている(継続 → ログイン)」のであって、「ログインさせられたから、サービスを愛用する(ログイン → 継続)」わけではありません。
この「逆の因果(Reverse Causality)」を無視して、「ログイン頻度を上げればLTVが伸びるはずだ!」と短絡的な施策に走ると何が起きるでしょうか。
「ポイントが当たる! 今すぐログイン」という中身のないプッシュ通知を毎日乱れ撃つ
ログインボーナス目当ての、アプリを開いて即閉じる幽霊ユーザーが一時的に増える
肝心のコア体験は何も改善していないため、煩わしい通知に嫌気がさした良質なユーザーから順にアプリをアンインストールしていく
測定しやすい指標(ログイン頻度)を無理やりハックした結果、サービス本来の価値が毀損され、プロダクトの寿命を縮めてしまう。データドリブンを掲げる現場が、最も陥りやすい自爆パターンです。
処方箋:真のキラーフィーチャーを見抜く3つのステップ
では、目の前にある相関関係の中から、「本当にユーザーの継続率を押し上げる施策」をどうやって見極めればよいのでしょうか。
1. 「強制」ではなく「ナッジ」によるABテスト(操作変数法の直感)
オンボーディングで全員に機能を強制するのではなく、「機能の存在を魅力的に案内するバナー」をランダムな半数(介入群)にだけ表示します。
もし「案内を見て初めて機能を使った層」の継続率が、非表示グループ(対照群)に比べて明確にリフトしたなら、その機能には純粋な因果効果があります。
一方で、バナーによって機能の利用率は上がったのに、全体の継続率がピクリとも動かなかった場合、その機能は「熱量の高い客が勝手に使うだけの機能(偽の相関)」です。その時点で開発を取りやめれば、無駄な工数を最小限に抑えられます。
2. 初期の「熱量」を揃えて比較する(共変量調整・マッチング)
行動ログを分析する際、「機能を使ったかどうか」だけで二者択一にしてはいけません。
登録初日の滞在時間、招待された経路(広告か検索か紹介か)、企業規模など、「ユーザーの初期熱量を表す変数」をコントロールした上で比較します。
「同じくらい熱心に初期設定を完了した同規模の企業同士」を比べてもなお、機能Xを使ったグループの継続率が有意に高いのか。熱量を揃えた瞬間に効果が消えるなら、その機能に手をかける価値はありません。
3. 「なぜその行動を取ったのか」を定性で確かめる
統計分析で強い相関が見つかったら、コードを書く前に、該当するユーザー5人にインタビューしてください。
「なぜ登録してすぐに、あの機能を使ったのですか?」
もし返ってきた答えが「あの機能を使わないと業務が進まないから(価値の源泉)」ではなく、「社内ですでに使うことが決まっていて、やることが明確だったから(事前の熱量)」だったなら、それは追うべき指標ではありません。
「数字の相関」を疑うことから、本当のグロースが始まる
データ分析ツールが進化し、誰もが簡単にSQLを叩いて相関関係を見つけられる時代になりました。しかし、手軽にグラフが描けるようになったからこそ、「内生性を無視した疑似相関」に飛びつき、無意味な施策で現場を疲弊させるリスクはかつてないほど高まっています。
相関関係は、「どこにチャンスがありそうか」を探すためのコンパスにはなりますが、それ自体は地図ではありません。
「この数字の裏に、隠れた熱量(交絡因子)はないか?」
「因果の矢印が、自分の都合の良い向きと逆になっていないか?」
安易なデータに飛びついて開発リソースを溶かす前に、一呼吸置いてその因果構造を疑ってみてください。本当のグロースとは、小手先の数字をいじることではなく、顧客が熱量を持つに至った「真の理由」を解き明かすことなのです。
「相関関係を信じて打った施策が、なぜかことごとく外れていませんか?」
ダッシュボードの数字の裏に潜む「見えない交絡」と「真の因果関係」を紐解き、無駄な機能開発を防ぐためのデータ診断を行っています。施策の空振りに悩むPdMや事業責任者の方は、ぜひお気軽にメッセージをください。
スマホからInstagramストーリーズに投稿しよう
カメラを起動して2次元バーコードをスキャンしてください。