そのABテスト、どのくらい信用できる？

　データを基に事業上の課題を発見・特定し、ビジネスを成長させる施策を提案する「課題解決型」のデータ分析。本講座シリーズでも、「仮説の立て方とKPIツリー」で紹介してきました。

　こうした施策は実施しっぱなしではダメで、後から十分に検証しなければなりません。事業で大きな成果を得るには、施策の良かった点／悪かった点を明らかにして課題の“解像度”を上げ、次の施策を改善する必要があるためです。この検証と改善のサイクルを回しながら、連続的に施策を打ち続けるのが重要なのです。検証なしでは過去の施策から何も学べず、次の施策につながりません。

　では、どのように施策の効果を検証すればいいのでしょう。今回は例として、「ABテスト」を使った検証方法を解説します。ABテストについては、皆さん一度は聞いたことがあるでしょう。その名の通り「パターンAとパターンBを比較して、どちらが優れているか」を確認するテストです。施策の検証にABテストを使用する場合は、「施策の実施前の状態」と「施策の実施後の状態」を比較します。

　このABテスト、最近はネット系の企業であれば比較的どこでも導入しているような印象があります。しかし、「導入したはいいものの、その実正しい比較・検証ができてない」ケースも多いのです。今回はABテストの基本から、実施・検証する際の注意点までを整理していきましょう。

ABテストでは「前提条件の統一」に注意

　例として、あるニュースサイトでユーザー滞在時間を伸ばすための施策を考えてみましょう。

　ABテストでは、まずパターンAとパターンBの前提条件がそろっているか確認しましょう。あくまで「施策の有無による差」を比較するため、施策以外の前提条件は可能な限り同じにそろえておく必要があります。

　特に、各パターンの「テスト対象ユーザーの偏り」と「テスト実施期間」には注意が必要です。もしパターンAだけにヘビーユーザーが固まっていたら、そちらの評価だけが良くなってしまうのは明らかでしょう。そのため、ユーザーIDの奇数と偶数で新旧のデザインを出し分けるなど、テスト対象のユーザーは各パターンに対して可能な限りランダムに振り分けるのが望ましい方法です。

　また、テスト実施期間がパターンごとに異なると、他の施策や開催中のイベント、季節トレンドの影響でテスト結果が偏る可能性があります。各パターンを同時期にテストするようにしましょう。

　さて、このニュースサイトで実際に新デザイン／旧デザインを出し分けたところ、表1のような結果が得られたとします。

　一見して、「サイトの平均閲覧時間は新デザインの方が長くなる」ように見えます。しかし、このテスト結果だけで「サイト全体を新デザインに切り替えた際、平均閲覧時間が伸びる」と本当に言い切れるのでしょうか？

　 「1回だけのテストで、新旧デザインの優劣を結論付けられるのか？」「そもそもサンプル数はどう決めるべきか」といった疑問が湧いてくる人もいるでしょう。こうした疑問を解消するため、これから「仮説検定」と「サンプル数の決め方」を解説します。

その仮説は起こるべくして起きたか？ 「仮説検定」で確かめよう

　仮説検定とは、ある仮説が偶然起きたものなのか、それとも起こるべくして起きた必然的なものかを統計的に判断する手法です。

　先ほどのニュースサイトの例で言うと、ABテストの結果からは「デザインが新しい方が、平均閲覧時間が長い」という仮説を立てられます。これは「統計学的に本当に閲覧時間に差がある」のか、それとも「今回のテストに限ってたまたま差があるように見えただけで、本質的に差はない」のか――それを検証するのが仮説検定です。

　では、3ステップで仮説検定の進め方を理解していきましょう。仮説検定はデータ分析においてとても重要な過程なのですが、複雑で初心者がつまずきやすいポイントでもあります。ここでは、検定の手順を中心に押さえていきましょう。

ステップ1：帰無仮説と対立仮説を設定する

　仮説検定の際には、必ず2つの仮説を設定します。1つは「帰無仮説」、もう1つは「対立仮説」です。帰無仮説と対立仮説は「否定」の関係になるように設定します。今回のニュースサイトの例では、表2のように整理できます。

　一般に仮説検定を実施する人が本当に確かめたい仮説は、対立仮説の方です。帰無仮説は、検証したい対立仮説がそもそも成り立たないような仮説です。

　今回の例では「新デザインの平均閲覧時間」と「旧デザインの平均閲覧時間」には差はなく、テスト実施時に観測された差は単なる偶然である――という考え方が帰無仮説になります。仮説検定では、帰無仮説を棄却することで、帰無仮説と「否定」の関係にある対立仮説が正しいことを確かめます。