ABテストツール「DLPO」では、ABテストをした結果が明確な数値で表されます。
例えば下記はボタンの色をテストした結果です。
デフォルトは「赤」で、 それ以外に「オレンジ」「青」「緑」「ピンク」の計5パターンでテストをしてみました。
結果の善し悪しは赤枠のCVRで見ます。
各パターンのCVRは、
1.デフォルト(赤) CVR4.67%
2.オレンジ CVR5.19%
3.青 CVR4.56%
4.緑 CVR4.29%
5.ピンク CVR4.44%
ですので、
チャンピオンパターンは「2.オレンジ」になります
では、チャンピオンの「2.オレンジ」はデフォルトに比べてどれくらい改善されているでしょうか？
どれくらい改善されたかは上記赤枠内の改善率を見ます。
一番効果の良い「2.オレンジ」はデフォルトに比べて、改善率が11.26%でした。
月間のCV数が数千あるサイトですと、11.26%の改善で数百のCV純増が見込めますので、かなりの効果になります。
ところで、この改善率11.26%は信頼できうる値でしょうか。
言いかえると、統計的に「2.オレンジ」が今後もチャンピオンになりうると言いきって良いかでしょうか。
これを見るためには下記赤枠内の「改善信頼度」を見ます。
この「改善信頼度」は0%～100%の値をとります。
デフォルトを基準として各パターンの「改善信頼度」が計算されます。
デフォルトに対してCVRが勝ってるパターンの「改善信頼度」は100%に近づきます。
逆にデフォルトに対してCVRが負けているパターンの「改善信頼度」は0%に近づきます。
上記表からデフォルトに勝っているパターンを見ますと、
「2.オレンジ」の改善率は11.26%で、改善信頼度は94.0%となっており、
デフォルトに対してCVRの差が開けば開くほど100%に近づくようになっています。逆に負けているCVRの差が開けば開くほど0%に近づくようになっています。
この「改善信頼度」が90%を超えていれば、統計的に有意な差がついていると言えますので、我々も「改善信頼度」が90%を超えた時点で、そのチャンピオンパターンに固定するようにしています。
ではこの「改善信頼度」はどのような計算で算出されているでしょうか？
こちらに関してはまた別の機会でお話ししたいと思います。
