このコラムではABテストのPDCAについてご紹介してします。
おさらい
第1回目は「どのページで施策をするかを考える」について、
第2回目は「どんな施策をするかを考える」について、
前回は「施策が実施できるようにツール上で設定する」について書きました。
今回のテーマは「施策開始後は日々レポートの信頼度を確認する」についてです。
まずはおさらいですがABテストのPDCAは以下のようになります。
(1)どのページで施策をするか考える。
↓
(2)どんな施策をするか考える。
↓
(3)施策が実施できるようにツール上で設定する。
↓
(4)施策開始後は日々レポートの信頼度を確認する。
↓
(5)信頼度が一定の基準に達したらチャンピオンを決める。
↓
(1)に戻る
これが基本的なPDCAの流れでした。
第1回目のコラム
第1回目 のコラムでは「(1)どのページで施策をするかを考える。」にフォーカスし、施策すべきページを3つ記載しました。
その3つのページとは、
1つ目、PVが多いページ（だいたいはTOPページ）。
2つ目、CVに貢献しているページ（解析ツールを使用して見つける）。
3つ目、フォーム（CVするユーザーが必ず通るページ）。
でした。
これらのページでABテストを実施しCVRを上げる事ができれば、サイト全体のCVが増えていく事をお伝えしました。
第2回目のコラム
また、第2回目のコラムでは「(2)どんな施策をするか考える」にフォーカスし、以下のような施策が比較的効果が上がりやすいとご紹介しました。
TOPやLPの場合は、
- ファーストビューのテスト（キャッチコピー・画像・デザイン）
- コンテンツの入替テスト
- コンテンツの長短テスト
- ボタンの文言テスト
- ボタンの色テスト
フォームの場合は
- 記載する項目の数をテスト
- 必須と任意の位置関係テスト
- 必須項目の背景色テスト
- 任意項目の背景色テスト
- 確認ボタンの色テスト
- 確認ボタンの文言テスト
- フォームの上部に画像を挿入するテスト
が効果の上がりやすい施策です。
前回のコラム
前回は「(3)施策が実施できるようにツール上で設定する」について書きました。
ツールとは「WEBサイトをより効果的に運用するためにお手伝いしてくれるプログラム」であり、ABテストをするためには専用のLPOツール（DLPOなど）があることをご紹介しました。
今回は信頼度について
そして今回は、「(4) 施策開始後は日々レポートの信頼度を確認する。」について書かせて頂きます。
実際にABテストを開始した後の話です。ABテストした結果、どのパターンが一番効果的だったか？それをどの指標で見るべきかという内容になります。
ABテストを開始したら、次の日には前日の結果が数値に反映されます。
仮に9月1日に「緑のボタン」「赤のボタン」でABテストを実施し始めたとします。
（以下、UUはユニークユーザー、CVはコンバージョン、CVRはコンバージョンレート）
9月1日の結果が
緑のボタンは「UU10」「CV1」「CVR10%」、
赤のボタンは「UU10」「CV2」「CVR20%」、
だった場合、
赤のボタンの方が効果的と結論付けて良いでしょうか？
答えは「NO」。
なぜなら、サンプル数が少なすぎるからです。
確かに現状は赤のボタンがCVR20%で、緑のボタンのCVR10%の2倍効果が出てますが、このCVRの元になっているCVが2ではサンプルが少なすぎて、いつ逆転されるか分からないのです。
次の日（9月2日）の結果が以下のようになりました。
緑のボタンは「UU10」「CV2」「CVR20%」、
赤のボタンは「UU10」「CV0」「CVR0%」。
つまり、トータル（9月1日～9月2日）では
緑のボタンは「UU20」「CV3」「CVR30%」、
赤のボタンは「UU20」「CV2」「CVR20%」、
となります。
緑のボタンがたった1日で逆転してしまったのです。
サンプル数が少ないと、このようにすぐ逆転劇が起こるので、勝ちパターンを決める事はできないのです。
※ちなみに、ABテストの結果はテスト開始～直近までの全数値で比較します。統計的に判断するためです。
ではどのようにして勝ちパターンを決めればよいでしょうか？
ここで「信頼度」という指標を用います。
「信頼度」とは、簡単に言うと「そのパターンがもう一方のパターンに勝つ確率」です。
50%～100%の値をとります。100%に近づくほど勝ちパターンと判断して間違いないということになります。
計算方法はかなり複雑で統計学の知識が必要となります。UUとCVとCVRを使って計算をします。
かなり複雑なので計算式は割愛します。
ではその計算式を使った場合、9月1日の結果は「信頼度」何%になるでしょうか？
緑のボタンは「UU10」「CV1」「CVR10%」、
赤のボタンは「UU10」「CV2」「CVR20%」、
でした。
この場合「信頼度」は73.65%になります。
100%にはまだまだほど遠いですね。
それではこのテストを1ヶ月実施したとしましょう。
そして以下の結果が得られたとします。
9月1日～9月30日の結果、
緑のボタンは「UU300」「CV30」「CVR10%」、
赤のボタンは「UU600」「CV60」「CVR20%」、
でした。
では、この場合の「信頼度」はいくらになるでしょうか？
答えは、99.97%です。
ほぼ100%ですから、赤のボタンの方か効果が良いと判断して問題ない事になります。
実は、良く見ると9月1日だけの結果も、9月1日～9月30日の結果もCVRの差は同じ2倍なのです。しかし「信頼度」はかなり違ってきます。
これがサンプル数の差なのです。サンプルが多ければ多いほど「信頼度」は100%に近づくようになっているのです。短い期間でなんとなく勝ち負けを決めるのではなく、このようにしっかりとサンプル数を貯めて「信頼度」という指標を用いて統計的・科学的に判断する事が何よりも重要です。
ぜひABテストをする際はこの「信頼度」を意識して勝ち負けを判断して頂ければと思います。
それではまた次回。
