小ネタです。Google OptimizeのA/Bテストのパターンごとの細かなサイト利用状況は、Google Analyticsのセグメントを利用すれば把握できます。Google Optimizeの結果だけでなく、Google Analytics側で「副作用」を確認した上で判断できます。
目次
Google AnalyticsにはGoogle Optimize関連のディメンションが準備されている
Google Optimize関連のディメンションとして、Google Analyticsには以下の3つが用意されています。
- テスト名:Google Optimizeでのテスト名(Experiment name)
- テストID:Google Optimizeでのテストごとに振られたID
- パターン:Google Optimizeでのパターン(Variants)。数字で表現され、「0」がOriginal
例えば、Google Analyticsの「新しいセグメント」作成で「テストID」と「パターン」をAND条件で指定すれば、Google Optimizeの特定テストのパターンごとのセッションをセグメントできます。
指定例:
- テストID:(Google Optimizeに記載されている22桁?のテストID)
- パターン:(Originalであれば「0」、テスト用パターン「Variant 1」であれば「1」)
※テスト用パターン名に固有の名称を付け、かつ複数のテスト用パターンを準備する場合は、Google Optimizeの設定時に順番をメモしておいた方が良いかもしれません
※A/Bテストにおいて確認しておりますが、多変量テストやリダイレクトテストで同様に値が格納されているかは未確認です
ディメンション「テストID」の代わりに「テスト名」も利用できます。同様に「テスト名」と「パターン」をAND条件で指定すれば、Google Optimizeの特定テストのパターンごとのセッションをセグメントできます。
「テスト名」と「テストID」は、Google Optimizeの各テスト(Experiment)の設定画面やレポート画面で確認できます。
OptimizelyやVWOでも、連携でGoogle Analytics側にテストパターンをカスタムディメンションの値で渡すことが可能ですが、同様のことが標準で準備されている、ということです。
Google Optimizeの各テストで指定する目標(Objective)以外の指標を、パターンごとにGoogle Analyticsで確認できる
Google Optimizeでは、Google Analyticsで設定済みのコンバージョンやいくつかの指標を「目標(Objective)」として2つまで指定できますが、それ以外の各指標の状況はGoogle Optimizeで差が出ているかはわかりません。
Google Analytics側で特定テストのパターンごとにセグメントを作成すれば、例えば直帰率やページ/セッション、各コンバージョン指標など、Google Analyticsで把握できるあらゆる指標で比較できます。
例えばキャプチャ画像の例では、Google Optimizeでは96%の信頼度でオリジナル(A)の方で良好な結果が出始めている一方で、Google Analyticsでは回遊面の各指標でオリジナル(A)の方に課題が出ている可能性があることがわかります。
特定要素のクリック率などは、コンバージョン設定をせずにイベントの計測だけで済ませられる
Google Optimizeでは、指定できる目標(Objective)はGoogle Analytics側で設定済みのコンバージョン指標といくつかの標準的な指標のみです(※)。そのため、「このボタンのクリック率で差を見たい」という場合は、わざわざGoogle Analytics側でコンバージョン設定をしなければならず、コンバージョン設定をするほどでもないアクションはどうすれば良いのかという問題が発生します。
※有償版の360では、柔軟な指標設計が可能なようです。
しかし、Google Analytics側でセグメントが可能ですので、いったんGoogle Optimize側では目標(Objective)に重要なコンバージョン指標を指定してしまい、特定要素のクリック率はGoogle Analytics側のイベントで確認する、という方法で対応できます。そうすると、設定はイベントトラッキングのみで済ませられます。
余談。イベントなど、Google Optimizeで設定していない要素の信頼度判定は、こちらのツールが便利です。
A/Bテスト信頼度判定ツール – 真摯 (Cinci)
他にも、各パターンのセッションの状況だけでなく、「特定テストの各パターンに触れたユーザーは、後日の行動にどのような影響が出ているのか、差が出ているのか」というユーザー軸での分析も、Google Analytics側で可能になります。
A/Bテストの結果だけではなく「副作用」の把握を
Google OptimizeをはじめとしたA/Bテストは、指定した目標でシンプルに結果を返すので、改善のプロセスを進めやすいツールです。ただし、直接の「作用」だけに注目するのではなく、意図していない「副作用」が起きていないかに注意を払うことは重要なことです。
一手間かかる作業ですが、A/Bテストだけの判断で終わらないように気をつけていたいものです。
以上、真摯のブログからお送りしました。
株式会社真摯は、お客様と真摯に向き合い、伴走するWebコンサルティング会社です。