A/Bテスト信頼度判定ツール(有意差判定)
「A/Bテスト信頼度判定ツール」は、A/Bテストで得られたデータについて「結果に有意な差が出ているか」「誤差なのか」を簡易的に判定するためのツールです。
この「A/Bテスト信頼度判定ツール」は便宜上、入力項目を「訪問数(Visitors)」と「コンバージョン数(Conversions)」としておりますが、以下のような項目の組み合わせでデータの統計有意性や信頼度(信頼係数)を判定できます。
- 「訪問数」と「コンバージョン数」(+「コンバージョン率」)
- 「インプレッション(表示回数)」と「クリック数」(+「クリック率」)
- 「クリック数」と「コンバージョン数」(+「コンバージョン率」)
メッセージの意味
Confident の表示 | 意味 |
---|---|
99% confident | 99%以上の信頼度で有意な差である |
95% confident | 95%以上の信頼度で有意な差である |
90% confident | 90%以上の信頼度で低い。傾向は出ているが差が出ているとは言えない |
80% confident | 80%以上の信頼度で低い。差が出ているとは言えない |
– | 信頼度は80%以下。差や傾向は出ていない |
使い方
「A」と「B」の各パターンの「Visitors」「Conversions」の値をフォームに入力し、「Calculate」ボタンを押してください。「Conversion Rate」とともに「Confident(信頼度)」が表示され、ボタン下にメッセージが表示されます。
免責事項
- 「A/Bテスト信頼度判定ツール」に入力されたデータは、一切保存および計測をしておりません。
- 「A/Bテスト信頼度判定ツール」は十分に検証した上で提供しておりますが、その動作や結果について正確性を完全に保証するものではありません。このツールを利用することによって生じるいかなる損害について、一切の責任を負わないものとします。
- 仕様、結果などに関するお問い合わせにはお答えいたしかねます。
関連記事
A/Bテストを誰に対して行うか、テスト期間をどう見積もるか
A/Bテストを実施する際、すべてのユーザーを対象にするのではなく、テストにふさわしいターゲティングをするべきでしょう。また、勝者が確定するには、統計上の有意差を判定するのに足りるだけの件数を蓄積するため、それ相応の期間がまずは必要です。
2013年3月5日公開
2018年5月30日最終更新