ABテストで負け続けた同僚が手に入れたもの

シリコンバレーの企業ではよく「Fail Fast」という言葉を聞きます。「早く失敗してリカバリーを経験して、反省して学べ」という意味です。これはデータ分析でも当てはまります。

以前、僕の同僚で「いつもABテストで負けてばかりだ」と悩んでいる人がいました。改善するつもりでページの一部を変更しても、元ページのほうが良い結果を出してしまう。つまり彼が考えた変更点はページ改善に全然つながらなかった。

ABテストで一度も成功しないからといって彼を責める人は、社内には誰もいません。成功や失敗そのものではなく、失敗から何を学ぶかが大事だとみんなわかっているからです。

 

 

でも彼はABテストを成功させたいと誰よりも強く思っている。彼にとって負け続きで気が滅入るような期間はすでに何カ月も続いていました。しかし話をしてから2カ月後、彼は飛び抜けたインパクトを生み出してページを改善に導きました。

彼が勝ったABテストは、話を聞くと「それが？」と思うような変更だったんです。今まで誰も気づかなかった。でも何カ月間もめげずにPDCAを回し続けているうちに勝ちへの感度が上がって、彼はそのポイントに気づくことができた。

直した部分は小さいかもしれないけれど、そこへ至るまでには彼しかわからない長い長い分析と思考のプロセスがあります。やり続けていたから数字に対する感度が上がったんです。科学の分野だと、実験で想定通りの結果が出なかったとしても、それは「失敗」とはいいません。「データ」っていうんです。そのデータから次の手を「考える」ことに意味がある。彼はそれを実行し続けました。

行動する一歩から数字思考力は磨かれます。「失敗」を恐れずにやってみる。仕事に関する業務を分解してみて「この2つの要素は関連ありそう」と引っかかったら、とりあえず縦軸と横軸に入れて考えてみる。数値データで見えなくても、グラフの形で現れる特徴に気づくかもしれません。これはどこでも試せることではないでしょうか。

一流サイエンティストのスコアを施策に生かせる

以前いた会社では購買データやテレビCMの効果データなどが蓄積されていたものの、アクセスできるのはデータアナリストやデータチームだけで、僕たちは直接取りにいけませんでした。

疑問がわいて「どうなっているんだろう」と思っても、パッとデータを引っぱって確かめることができない。そんな手間があるから、今ほど深く分析を多くはしていませんでした。しかしDropboxは社員に対してデータ環境がオープンで、なおかつチャレンジを歓迎する文化があります。

また、本社には天才的なデータサイエンティストたちがたくさんいるので、彼らが作ったスコアを使ってもいい。数学や統計のドクターを持った彼らはいろんな理論を駆使してスコアを出します。そのスコアを使ってビジネスにするのは僕の仕事です。

たとえば「無料の人が有料にアップグレードする確率」というスコアがあるなら、高スコアな人は日本で何人いるのか調べて、それに基づいた施策を考える。「このボリューム層にこんな施策を打つともっとユーザーに喜んで使っていただけるかも」と考えたら、裏付けられそうなデータを取る。

材料になるデータはたくさん蓄積されています。本社の人たちが気づかない視点で日本にいる僕が新施策を打ち出したり、日本でやって成功したことを他の言語で展開したりするケースはよくあります。評価されて他国で応用されるとやっぱりうれしいですね。

 

 

1 2