全4875文字
PR

ABテストにより、「施策の実施前の状態」と「施策の実施後の状態」を比べる。仮説検定では、必ず「帰無仮説」と「対立仮説」の2つを設定する。「有意水準」「検定力」「効果量」などから、適切なサンプル数を決める。

 データ分析に基づいた施策では検証と改善のサイクルを回しながら、連続的に施策を打ち続けるのが重要です。では、どのように施策の効果を検証すればいいのでしょう。例として、「ABテスト」を使った検証方法を解説します。その名の通り「パターンAとパターンBを比較してどちらが優れているか」を確認するテストで、施策の検証には「施策の実施前の状態」と「施策の実施後の状態」を比較します。

 ABテストですが、最近はネット系の企業であれば比較的どこでも導入しているような印象があります。しかし、「導入したはいいが、正しい比較・検証ができてない」ケースも多いのです。今回はABテストの基本から、実施・検証する際の注意点までを整理します。

「前提条件の統一」に注意

 例として、あるニュースサイトでユーザー滞在時間を伸ばすための施策を考えてみましょう。

 「ニュースサイトのスマホユーザーに記事をより長時間読んでもらうため、スマホ用の画面デザインを改修する。旧デザインと新デザインをユーザーに出し分けて、どちらが平均閲覧時間が長いかABテストを行う」。

図 新旧デザインのPV・閲覧時間の比較
図 新旧デザインのPV・閲覧時間の比較
ニュースサイトでユーザー滞在時間を伸ばすための施策を考える
[画像のクリックで拡大表示]

 ABテストでは、まずパターンAとパターンBの前提条件がそろっているか確認しましょう。あくまで「施策の有無による差」を比較するため、施策以外の前提条件は可能な限り同じにそろえておく必要があります。

 特に、各パターンの「テスト対象ユーザーの偏り」と「テスト実施期間」には注意が必要です。もしパターンAだけにヘビーユーザーが固まっていたら、そちらの評価だけが良くなってしまいます。そのため、ユーザーIDの奇数と偶数で新旧のデザインを出し分けるなど、テスト対象のユーザーは各パターンに対して可能な限りランダムに振り分けるのが望ましい方法です。

 また、テスト実施期間がパターンごとに異なると、他の施策や開催中のイベント、季節トレンドの影響でテスト結果が偏る可能性があります。各パターンを同時期にテストしましょう。

 さて、このニュースサイトで実際に新デザイン/旧デザインを出し分けたところ、ある結果が得られたとします。

 一見して、「サイトの平均閲覧時間は新デザインの方が長くなる」ように見えます。しかし、このテスト結果だけで「サイト全体を新デザインに切り替えた際、平均閲覧時間が伸びる」と本当に言い切れるのでしょうか。

 「1回だけのテストで、新旧デザインの優劣を結論付けられるのか」「そもそもサンプル数はどう決めるべきか」といった疑問が湧く人もいるでしょう。こうした疑問を解消するため、これから「仮説検定」と「サンプル数の決め方」を解説します。