データサイエンティストがA/Bテストを行う方法は近年大きく変化しています。従来は手作業で行うものが多い印象がありましたが、現在は色々なツールを幅広く活用するようになっています。例えば、一般的なA/Bテストのためのツールは、サンプルサイズ算出や記述統計量（平均や分散など）、有意差検定などの統計処理をほぼツールが担ってくれるので、データサイエンティストは統計式の羅列や数字の手計算をすることはありません。
データサイエンティストは、ツールを使った統計処理やレポーティングではなく、実験そのものについて考えることと、実験結果の解釈を与える（結果を正しく解釈し洞察する）ことが、非常に重要になっています。今回は、データサイエンティストが何をすべきかに言及しつつ「A/Bテストの７ステップ」というお話しをします。
【目次】
◆ ワークフローの概要
1. 現場理解
2. 実験計画
3. 実験のセットアップ
4. 実験の実施とモニタリング
5. 実験結果の確認と深掘り分析
6. ネクストステップの検討
7. 報告書の作成
【この連載の前回：（その268)データ活用はPoVでデータビジネスはPoBでへのリンク】
◆【特集】 連載記事紹介：連載記事のタイトルをまとめて紹介、各タイトルから詳細解説に直リンク！！
◆ ワークフローの概要
最初に簡単に、A/Bテストの一般的なワークフローを示します。
- 現場理解
- 実験計画
- 実験のセットアップ
- 実験の実施とモニタリング
- 実験結果の確認と深掘り分析
- ネクストステップの検討
- 報告書の作成
それぞれについて、データサイエンティストを主語に、簡単に説明していきます。
1. 現場理解
A/Bテストのワークフロー全体の中で最も重要なパートです。データサイエンティストは、現場の方々と一緒に、徹底的に次の2つについて検討すべきです。
- 実現可能性
- インパクト
先ず、商品やサービスそのものや、ユーザジャーニーがどうなっているのか、現場はどのような仮説をもっているのかを正確に理解する必要があります。その上で、A/Bテストツールなどで実施するのが適切なのか、無理ない形でのランダム化実験が可能なのか、などの実現可能性を検討します。A/Bテストは万能ではありませんし、無理してA/Bテストをすべきものでもありません。不自然なA/Bテストを実施しても、その結果には疑問がつきまといます。さらに、実験的による利益創出やROIなどに注意を払う必要があります。
期待される利益は何で規模はどれくらいか、それは短期的なものか長期的なものか、コストパフォーマンスはどうか、などを検討します。
2. 実験計画
「1. 現場理解」をもとに、データサイエンティストは現場に対し、例えば次のような実験計画の提案を行います。
- 検証対象の仮説
- 実験対象（A群とB群）
- 無作為化の単位（ユーザ単位なのか、セッション単位なのか、など）
- 評価指標
- 必要最小サンプルサイズ
- 時期と期間、取得サンプルサイズ予想
など
3. 実験のセットアップ
簡単に言うと、「2. 実験計画」をもとに、A/Bテストツールなどをセットアップし準備をする、ということです。
A/Bテストツールが想定した通り動いているのか、見たいものは見えているのか、設定した内容が反映されているのかなどを確認していきます。人間はミスするということを前手に、確認作業を実施した方が良いでしょう。
その中で重要なのが、A/Bテストツールなどで、A群とB群がランダム・アサインメント（無作為割付）が行われているかどうかを確認することです。例えば、ユーザ単位であれば、A群とB群でユーザ属性の分布（性別、年齢など）が均質であるかどうかを、確認するということです。統計的な有意差検定などを利用します。
インターネットサービス（ECサイトなど）などでセッション単位であれば、流入元やサイト内の訪問ページ、コンバージョン（購入や申込みなど）などが、A群とB群で均質である必要があります。
4. 実験の実施とモニタリング
実験が開始しても、しばらくは統計的な有意差検定などをすることはできません。だからといって、指を加えてデータが蓄積されるのを待っている、というわけでもありません。データサイエンティストが、色々な指標の記述統計（平均や分散など）をモニタリングすることは重要です。
A/Bテストツールなどへのセットアップのミスを発見することもありますし、即座に方向修正の検討を開始するきっかけにもなります。
5. 実験結果の確認と深掘り分析
実験が終了したら、データサイエンティストは、各種指標の記述統計量を算出し、有意差検定などを実施し、どうなったのかを統計学的視点から結果をまとめます。場合によっては、A群とB群の差の分析をするだけでなく、可能な範囲で深掘り分析を実施していきます。
そこから、A群とB群の差の理由を知るきっかけになることもありますし、想定外の何かを知るきっかけになることもあります。
6. ネクストステップの検討
「5. 実験結果の確認と深掘り分析」を経て、データサイエンティストは現場の方と話し会いながら何かしらの結論を出します。...
例えば……
- もう少し実験を続けサンプルを増やし検討すべきだ
- A群（もしくはB群）が勝ったのだから、その結果に従うべきだ
- 別の実験を計画し実施すべきだ
……などなど。
思ったほどサンプルが集まらなければ、可能なら実験を続けたほうが良さそうですし、十分なサンプルが集まり白黒が付いたのなら、それに従うのもいいでしょう。ただ、十分なサンプルが集まり白黒付いても、深掘り分析の結果から、検証すべき別の仮説が出てくることがあります。
そもそも、十分なサンプルが集まったのに白黒付かず、仮説を練り直す必要も出てきます。そのような場合には、別の実験を計画し実施したほうがいいでしょう。
7. 報告書の作成
最後に、データサイエンティストは、どのような実験であっても、次の項目を報告書として記録しましょう。
- 背景
- 仮説
- 実験概要
- 分析結果
- ネクストステップ