マーケティングのためのデータ分析とは「デートに3回行った人は恋人ができやすい」を知ること?

f:id:ekanoh:20180713222629p:plain

マーケティングの強い味方、マジックナンバー

Webサービスのグロースハックや、広告・マーケティングのためのデータ分析において、マジックナンバーという言葉がよく使われる。

たとえばFacebookでは、「アカウント作成後10日以内に7人の友達とつながる」という行動をとったユーザーは、その後もFacebookを使い続ける確率が高い(=リテンション・定着率が高い)という法則を見つけた。

このような法則の「10日以内に7人」という数字の部分がマジックナンバーと呼ばれる。つまり、「ビジネスKPIに影響のある、数字に基づいたユーザーの行動パターン」のことだ。

他のサービスにもマジックナンバーが存在する。

Dropboxは「1台の端末に1つのフォルダを作り、少なくとも1つのファイルを保存する」というパターンを発見し、Slackでは「1つのグループで2000メッセージが送信される」というのがKPIに関係のある行動パターンとして定義されているそうだ。

f:id:ekanoh:20180713214458p:plain

マジックナンバーはビジネスを活性化させるために重要な指標で、グロースハックやマーケティングの書籍ではケーススタディとして頻繁に紹介されている。

Lean Analytics ―スタートアップのためのデータ解析と活用法 (THE LEAN SERIES)

Lean Analytics ―スタートアップのためのデータ解析と活用法 (THE LEAN SERIES)

マジックナンバーに因果関係があるとは限らない

さて、企業のマーケティング担当者やWebサービスのグロースハッカーが、「アクションXをN回行ったユーザーはm%アクティブ率が高い」というデータを得ることができたとする。

データに基づけば、「ユーザになんとかしてアクションXをN回取らせる」という施策に注力することで、高いアクティブ率を達成することができる――本当だろうか?

別に「アクションXをN回行ったユーザーはm%〇〇しやすい」ということがわかったからといって、「兎にも角にもアクションXをN回取らせる」というのはおかしい気がする。たとえば、「異性とデートに3回行った人はそうでない人よりもより恋人ができやすい」というデータがわかったら、「とりあえずデートに3回行かせる」のが正解なのだろうか?

  • デートに3回行ければ相手は誰でもいいんだっけ?
    • うーん、デートと言っても相手によるのでは
  • そもそもデートに3回も行きたくなるような相手だったから恋人になったんじゃないの?
    • 回数じゃなくても、潜在的に好きかどうかが大事なのでは

個人的には、このあたりのことがあまり判然としないまま分析を続けていたのだが、先の例のFacebookのグロースハッカーがQuoraの回答でマジックナンバー分析フローを紹介していたのを読んで、目から鱗が落ちたのでまとめてみる。

Facebook流、マジックナンバーの分析のフロー

1. Defining the success metric

  • よいユーザー(Successful Users)がどういうものか決める
    • ex) たくさん商品を買ってくれる人?消費量が多い人?

2. Exploring the data

  • コホート分析を行う
    • @Nヶ月以内に登録したユーザー」など期間を限定
  • ユーザーごとに、1で定義したSuccess Metricとその他の行動変数を加えたテーブルを作成する
    • 相関行列を作ってみるとよい

3. Running the regression

  • 重回帰分析を行って変数の重要度を見る
    • できるだけシンプルになるように重要な変数を取り出す
    • ex) たとえばECサイトなどで「商品の購入種類数も大事だし」「商品一覧ページの滞在時間も大事だし」と優先順位が付けれないのはNG

重回帰分析についてはこちら

honawork.hatenablog.com

4. Verifying your model

  • ABテストを行って実証する
    • 結果を見て重要でないと判断された指標は思い切って捨てる勇気が大事

5. "Branding" your model

  • 社内に啓もうする
    • データを補強したり
    • 指標に名前をつけたり
    • 繰り返しメンバーに伝えたり

筋のよさそうな方針を立てるのみ

ということであった。わりとさっぱりとした分析だし、データのみから何か因果関係を見出すようなことはしていない。データから重回帰分析であたりを付ける→ABテストを行って補強するというシンプルなフローである。つまり、マジックナンバーの分析では筋のよさそうな方針を立てることが重要である。(よく考えてみたら当たり前で、わかっていた人には当然かも)

「デートに3回行ったから恋人ができたわけではなく、恋人になるような人だからデートが3回も続いたのでは?」という因果関係の正しさの議論はしてもしょうがない部分があり、「数字はそう言っているし、一旦デートに3回行かせてみて、蓋を開けて見てみようか」というのをメンバーに啓もうしながら実行していくことが重要なようである。