A/Bテスト有意差判定ツール
「A/Bテスト有意差判定ツール」は、A/Bテストで得られたデータについて「結果に有意な差が出ているか」を簡易的に判定するツールです。2026年7月に新しいバージョンに移行しました。
A・Bそれぞれの対象数とコンバージョン数を入力すると、コンバージョン率の差と統計的な判定を表示します。便宜上、入力項目を「対象数」「コンバージョン数」にしていますが、以下のような項目の組み合わせで判定できます。
- 「訪問数」と「コンバージョン数」（＋「コンバージョン率」）
- 「インプレッション（表示回数）」と「クリック数」（＋「クリック率」）
- 「クリック数」と「コンバージョン数」（＋「コンバージョン率」）
p値、および差の95%信頼区間について
- p値
-
p値は、AとBに本当は差がないと仮定した場合に、今回と同程度以上の差が偶然に観測される確率です。p値が0.05未満の場合、5%有意水準で統計的に有意な差があると判断します。
- 差の95%信頼区間
-
差の95%信頼区間は、AとBのコンバージョン率の差がどの程度の範囲にあると考えられるかを示します。区間が0をまたがない場合は、5%有意水準で統計的に有意な差があると判断できます。区間が広いほど、差の推定には大きな不確実性があります。
免責事項
- 本ツールに入力されたデータは、一切保存および計測をしておりません。
- 本ツール十分に検証した上で提供しておりますが、その動作や結果について正確性を完全に保証するものではありません。このツールを利用することによって生じるいかなる損害について、一切の責任を負わないものとします。
- 本ツールは、独立した2群の二値データを事前に計画した終了時点で比較する用途を想定しています。テスト途中で有意差が出るまでくり返し判定する用途には対応していません。
- 有意差が確認できないことは「差がない」と証明されたことを意味しません。
- 広告ブロッカーのブラウザー拡張機能やアプリを使用している場合、正しく機能しない場合があります。
- 仕様、結果などに関するお問い合わせにはお答えいたしかねます。
2013年3月5日公開
2026年7月31日最終更新
関連記事
あわせて使いたい
A/Bテスト サンプルサイズ計算ツール
「A/Bテスト サンプルサイズ計算ツール」は、A/Bテストを実施する際に、統計的に信頼性の高い結果を得るために必要な「最適なサンプルサイズ（テスト対象のユーザー数など）」を算出するツールです。
関連記事
A/Bテストを誰に対して行うか、テスト期間をどう見積もるか
A/Bテストを実施する際、すべてのユーザーを対象にするのではなく、テストにふさわしいターゲティングをするべきでしょう。また、勝者が確定するには、統計上の有意差を判定するのに足りるだけの件数を蓄積するため、それ相応の期間がまずは必要です。
Web解析のデータを意思決定のヒントに
ビジネスの意思決定において、Webサイト周辺のデータは貴重なインプットです。
ユーザー行動の理解のために、データの計測、利用、読み解きをチームとして行えるように支援いたします。
GA4の難しさを解消したい
GA4の設定を見直したい
GA4の設定を把握したい
ダッシュボードの整備
分析や改善をしてほしい
自走できるようにしたい
コンテンツマーケティングを持続的成長の土壌に
コンテンツマーケティングは、「コンテンツを用いたマーケティング活動」です。
目的は「コンテンツを作りトラフィックを獲得すること」ではなく
「コンテンツを作り流通させることでオーディエンスとの関係性を温めること」です。
戦略とKPIの見直し、計測設計、オーディエンスビルディング、流通設計を支援します。