198 人が現在オンライン
198 人が現在オンライン
Google アナリティクスのアカウント設定、プロパティ、ビューやフィルタ設定などについて、ユーザー同士で意見交換ができます。解析を通して浮かんだ質問やアイディアを投げかけ合って、よりデータ分析の知識を高めていきましょう。
ガイドを表示
star_border
返信

ABテストの振り分けについて

初級者 ✭

初めまして。アナリティクス初心者となります。

クライアントよりLPのABテストの依頼を受けてABテストの設定を行い2週間テストしました。

ABテストは過去に前任者が行っており、今回は当方が初めてですが過去の設定を見ながら同様の設定で行いました。

 

設定は

(前提としてABどちらにも同じトラッキングコードが入っています。)

テスト目標 → 管理→ビューの中の目標で設定した内容(ABどちらも設定したページに到達したところで達成)

テスト対象のトラフィックの割合 → 100%

トラフィックを均等に分配 → オン

最小テスト期間 → 2週間

信頼度のしきい値 → 95%

AとBのURLを入力してテストコードを発行、このテストコードをA側に記述

レビュー時にA側で「utm_expid がウェブ サーバーに拒否されました。」というメッセージが表示されるがそのままテスト開始。

(これについては、過去のテスト時にも表示されていたが、サーバー会社によると原因は不明だが数値は取得できてるので問題ないかもという回答で、過去のテストでは実際数値は取得できていました)

 

この状態でテストを開始しました。

ですがトラフィックを均等に分配に設定しているにもかかわらず、トラフィックはA側に集中してB側には殆ど入ってこない状態でした。

 

 

こちらのLPは一部スマーティで作られており、条件分岐でA側にABテストコードが記述される方法をとっています。

ABテストを行うとURLの末尾にパラメータがつくようになりますが、

テスト開始2、3日後にURLにパラメータが付くとhtmlソースでABテストコードが見えないことがわかり、

パラメータ付きURLでもABテストコードが見えるようにスマーティの設定を行いましたが、

過去のテストではこのような設定は行っていなかったのと、

このようにするとテストコードを2度踏むことになり正しい数値が取れないのではという指摘を受けて

テスト開始1週間後にパラメータ付きURLを設定から外し最初の状態で進めました。

 

しかしながら数値はおかしく、トラフィックはA側に極端に集中してしまい。

B側には殆ど入ってこない状態が続いています。

前任者とサーバー管理者とも設定等の確認はしましたが(パラメータ付きURLの設定を除けば)過去の設定を踏襲しており原因がわからずにいます。

ABテスト中は対象URLにパラメータが付くようになるなりますが、過去のテストではパラメータは付いてなかったのではないかという声があり、

原因の特定ができず見当がつかなくなっております。

 

以前はABテスト時にパラメータは付かなかったのでしょうか。(アナリティクスの仕様が変わったのでしょうか)

そしてABの振り分けがうまくいかない原因がどこにあるのか、ご存知の方がおりましたらご回答をお願いしたいと思います。

なお、ABテストは3種類同時に行っています。(対になるテストを3つ)

A側はそれぞれ別サイト3つ、

それらに対するB側はすべて同じサイト(1種類)です。

・A1対B

A2対B

・A3対B

という感じです。

 

不足してる情報は可能な限り記述していきますのでよろしくお願いいたします。

 

 

 

 

 

 

 

 

 

 

 

 

 

Re: ABテストの振り分けについて

プロフェッショナル ✭ ✭

こんにちは。

 

Webテストの設定については、拝見した限り問題ないように思いますが、サーバー側・システム側がネックになっている可能性が予測されます。

 

テスト開始2、3日後にURLにパラメータが付くとhtmlソースでABテストコードが見えないことがわかり

(Aページに遷移した場合にABテストのコードがhtmlソース上になかったというのであれば修正頂いたほうがよいですが)

テストページを開いた際にBページに遷移した場合にそうなのであれば、ABテストのコードは設置していないのでhtmlソース上になくても大丈夫です。

 

このようにするとテストコードを2度踏むことになり正しい数値が取れないのではという指摘を受けて、テスト開始1週間後にパラメータ付きURLを設定から外し最初の状態で進めました。

上記でおっしゃっている「パラメータ付きURL」とは、Aページに元々ついているパラメータでしょうか?それとも、ABテスト開始後に付与されたパラメータを指されているでしょうか?

 

「ABテスト開始後に付与されたパラメータ」とのことであれば、付与しない事で、Aページ以外が表示されなくなるなど、テストに弊害がでます(詳細は以下のページをご参照ください)。

 

ページが適切に表示されない - アナリティクス ヘルプ : https://support.google.com/analytics/answer/2521682?hl=ja

 

また、確かにテストページへアクセスすると、アドレスバーでは AページのURL表示→パラメータが付与されたAページ、もしくはBページが表示 と変化しますが、

Googleアナリティクス上では、上記のアクセスは1PVとしてカウントされていますので、二重計測の心配はありません。(これは私の環境でも検証済みです)

 

-------------

 

上記をふまえて修正頂いた上で、まずはご自身で、幾つかブラウザを変えながらテストページを開いていただいた際、「Bページ」が表示されるブラウザがあるかどうかを検証されてみてはいかがでしょうか。 

もしお役に立てましたら、いいね♡のボタンや解決済みのボタンを押していただけますととても嬉しいです!Kumiko Muraji

Re: ABテストの振り分けについて

初級者 ✭
返信が遅くなりまして申し訳ありません。
ご回答ありがとうございます。

>(Aページに遷移した場合にABテストのコードがhtmlソース上になかったというのであれば修正頂いたほうがよいですが)
>テストページを開いた際にBページに遷移した場合にそうなのであれば、ABテストのコードは設置していないのでhtmlソース上になくても大丈夫です。

こちらにつきましてパラメータはABテスト開始後に付与されたパラメータになります。
ABテストで付与されたパラメータ付きURLのA側のhtmlソースにABテストコードが見えていないということになります。
スマーティの設定で素のurlでコードが表示されるように設定しておりますが、これにテスト用パラメータが付くとA側のhtmlソースにABテストコードが表示されていないということになります。

(スマーティの条件分岐文で)A側のhtmlデータにABテストコードを組み込む
→A側(素のURL)にアクセス
→(Aに飛んだ場合)AのURLにテストパラメータの付いたページが表示される。
→このページのhtmlソースを見るとABテストのコードが表示されていない
、という感じです。
このため、ABテストパラメータが付いたA側URLでもhtmlソースでテストコードが確認できるようにスマーティで設定しました。
しかしこのようにすると、素のA側URLでコードを一度踏む→ABテストパラメータ付きURLのA側に移動→ABテストパラメータ付きURLでもテストがコードが表示されているので
テストコードをもう一度踏み合計2度踏むということにならないかという懸念がありパラメータURLを設定から外した次第です。
ですがご説明ではそうにはないということで理解いたしました。

>まずはご自身で、幾つかブラウザを変えながらテストページを開いていただいた際、「Bページ」が表示されるブラウザがあるかどうかを検証されてみてはいかがでしょうか。

ブラウザを変えてみたところ、B側にも表示されることが確認できました。
ですが、一度B側にいってしまうと以降はずっとB側のみ表示されてしまい、A側にいくことはありません。
ブラウザのキャッシュをクリア後にアクセスすればA側にいくことはありますが(そうなると今度はずっとA側のみ表示)、
キャッシュクリアをしない限り一度行き先が決まると以降はそちらだけになってしまうものなのでしょうか。
(均等に分配設定してますが・・・)

また、AとBの個別のセッション数(ABそれぞれのアナリティクス画面の左の「ユーザー」→「概要」)をみるとABどちらにもセッション数を確認できるのですが
ABテストの推移の画面(画面左の「行動」→「ウェブテスト」)だとA側のセッション数は確認できるものの、B側のセッション数は全く確認できない(つまりゼロ)となっており、一体何がどうなっているのか本当にお手上げ状態です。
クライアント様からはクレームとまではいきませんが報告くださいときてますし、どんな些細なヒントでも構いません。
ご教示いただきたいと思います。

Re: ABテストの振り分けについて

プロフェッショナル ✭ ✭

こんばんは、状況についてご説明いただきありがとうございます。

 

ですが、一度B側にいってしまうと以降はずっとB側のみ表示されてしまい、A側にいくことはありません。 ブラウザのキャッシュをクリア後にアクセスすればA側にいくことはありますが(そうなると今度はずっとA側のみ表示)、キャッシュクリアをしない限り一度行き先が決まると以降はそちらだけになってしまうものなのでしょうか。

はい、そういった仕様で問題ありません。

 

先の回答をさせて頂く前に、(スマーティ環境を用意するとまではいかず申し訳ないのですが)記載いただいた内容と同じ設定にて、AページとBページ、A'ページとBページの2つのテスを用意して検証してみたのですが、

「均等配分」としても同じブラウザであればキャッシュをクリアしない限り、パターンAならずっとAに遷移します。

 

おそらく、「クライアントID毎に」均等配分されているという仕様なのではないかと考えられます。

 

また、AとBの個別のセッション数(ABそれぞれのアナリティクス画面の左の「ユーザー」→「概要」)をみるとABどちらにもセッション数を確認できるのですが ABテストの推移の画面(画面左の「行動」→「ウェブテスト」)だとA側のセッション数は確認できるものの、B側のセッション数は全く確認できない(つまりゼロ)となっており、一体何がどうなっているのか本当にお手上げ状態です。

上記なのですが、まずBページにもテスト用パラメータはついていますか?

また、前述の通り、Aページはパラメータの表示を許可頂いた上で、htmlソース上にABテスト用コードが表示されるようになっていますか?

 

私の検証環境ですと

 

Aページ(オリジナルページ)

 

・パラメータ→?utm_expid=*********-*(ABテストコード中に記載のある「9桁-1桁」のナンバーが記載されている)*********(ランダムな文字列が記載されている).0

・html上のABテスト用コード→表示されている

 

Bページ(パターンページ)

 

・パラメータ→?utm_expid=*********-*(ABテストコード中に記載のある「9桁-1桁」のナンバーが記載されている)*********(ランダムな文字列が記載されている).1&utm_referrer=*********(ホスト名が記載されている)

・html上のABテスト用コード→表示されていない

 

となっていまして、AページBページともウェブテストセッションにカウントされています。

 

お手数ですが、再度ご自身のテストページを確認していただきまして、上記のようにパラメータが付与されているか?テストコードが表示されているか?をご確認いただけるでしょうか。

私のテスト状況との違いから、解決策の糸口の一端が見つかるのではないかと考えられます。

もしお役に立てましたら、いいね♡のボタンや解決済みのボタンを押していただけますととても嬉しいです!Kumiko Muraji

Re: ABテストの振り分けについて

[ 編集済み ]
初級者 ✭

早速のご返信ありがとうございます。

>おそらく、「クライアントID毎に」均等配分されているという仕様なのではないかと考えられます。
こちらにつきまして理解いたしました。
社内のPCだけでなく自宅のPCでも試してみて同様の動作になりましたのでクライアント様にもこのようにご説明いたします。
(アクセスする度に変わるといいのですけどね・・・)

>上記なのですが、まずBページにもテスト用パラメータはついていますか?
>また、前述の通り、Aページはパラメータの表示を許可頂いた上で、htmlソース上にABテスト用コードが表示されるようになっていますか?

こちらについてですが、アナリティクスの設定に問題がありました。
AとBどちらにもパラメータは付いているのですが、クライアント様のご要望で各サイトのページビューやセッション数を個別に取得したいということからフィルター設定を行っておりました。
これを解除することでABテスト時にセッション等が取得できるとわかりました。
かなり基本的なことだったようで・・・お恥ずかしい限りです。

ですがここでまた問題が生じました。
なるべく各サイトのページビュー等を合算にしたくないということから全部のフィルター設定を外せなくなり、
どのような組み合わせ(フィルター設定)をすればいいのかわからなくなりました。

ABテストは上記のように3パータン(A側にあたるのは3種類、B側は1種類)行っているのですが、
A1のURLは
ドメイン/aaa.html
A2のURLは
ドメイン/aaa_bbb.html
A3のURLは
ドメイン/aaa_ccc.html
BのURLは
ドメイン/aaa_ccc_ddd.html
という感じです。

(正確にはドメイン直下ではなくドメイン直下に1階層あるのですが、同じディレクトリ名なので省きました)

今まではページビューなどをサイト別に取得するため
A1からみてA2、A3、Bを(設定画面で「前方が一致」を選んで)除外設定、さらにA3からみてBを(前方一致で)除外にしてましたが、
これをどのようなフィルター設定をすれば正しくABテストができる且つなるべく他のURLと干渉しないようになるのかわからなくなりました。

A1からみてA2、A3を除外
A2からみてA1、A3を除外
A3からみてA1、A2を除外
そして
A1とBを合算、A2とBを合算、A3とBを合算。
Bからみて他のページへのフィルター設定は一切なし

これならばBだけが合算で他は個別になるんじゃないかという声があったのですが、
(A1がすべてのURLの基本となるので)A1からみてA2、A3を前方一致で除外でA1とBの間にフィルター設定はなしにしても
全てのURLにはドメインのすぐ後にaaaという共通部分(文字)があるのでうまくいかないのではないかという疑問があります。
本来ならばフィルターは全て無くしてテストが理想でしょうが、クライアント様のご要望もなるべく沿いたいと思います。

ややこしいテストですがご教示いただけると助かります。

Re: ABテストの振り分けについて

プロフェッショナル ✭ ✭

サイトのページビューやセッション数を個別に取得したいということからフィルター設定を行っておりました。

これを解除することでABテスト時にセッション等が取得できるとわかりました。

フィルタのせいでしたか。。

とにかく無事テストセッションが計測できるようになったとのことで良かったですね。

 

全てのURLにはドメインのすぐ後にaaaという共通部分(文字)があるのでうまくいかないのではないかという疑問があります。

実際のURLを見ていないのであくまで記載いただいた内容からの判断ですが

「aaa.html」というリクエストURIで除外フィルタを設定した場合、「aaa_bbb.html」や「aaa_ccc.html」「aaa_ccc_ddd.html」は除外対象にはなりません。

 

また、

 

- A1のリクエストURI→/aaa/

- A2のリクエストURI→/aaa_bbb/

- A3のリクエストURI→/aaa_ccc/

- BのリクエストURI→/aaa_ccc_ddd/

 

という感じであれば、A1を除外設定するには

 

①フィルタの種類:カスタム

②<除外>フィルタフィールド:リクエストURI

③フィルタパターン:^/aaa/(A2、A3のフィルタを作る場合はここが「^/aaa_bbb/」「^/aaa_ccc/」になる)

 

としていただければ大丈夫です。

 

ただし、複雑なフィルタを設定したビューでウェブテストをされると、例えばクライアント側や弊社側の担当者が変わった場合など、また同じトラブルが起きる可能性もある(私が過去運用していたアカウントもそういった事が実際にありました。。)ので、

理想としては、各ページの除外フィルタを設定していない「ウェブテスト用ビュー」を作成いただいて、テストはそのビューでする、という方法が一番ベストだと思います。

 

ご参考になれば幸いです。

もしお役に立てましたら、いいね♡のボタンや解決済みのボタンを押していただけますととても嬉しいです!Kumiko Muraji

Re: ABテストの振り分けについて

初級者 ✭
ご返信がすごく遅くなりまして大変申し訳ありません。
アドバイスありがとうございます。

フィルターですがうまくいったのとそうでないのとがでている状態です。
1つ目のA1(^/aaa.html)とB(^/aaa_ccc_ddd.html)にはフィルター設定はおこなっていませんのでうまくいっております。

2つ目のA2(^/aaa_bbb.html)とB(^/aaa_ccc_ddd.html)がうまくいっていないようで
2つ目のテストではA2のセッションは取れているのですがBのセッションが殆ど(ほぼゼロ)取れていない状態となってます。
フィルター設定でA1からA2を完全一致で除外としたのですが、これが影響しているのでしょうか。

ですが3つ目A3((^/aaa_ccc.html)とB(^/aaa_ccc_ddd.html)では
A1からA3を完全一致で除外としていますが、
ABテストの画面ではA3、Bともにセッションを確認できております。

実際のURLですがECサイトなので短縮しまして
A1が
/plasma
A2が
/plasma_y
A3が
/plasma_m
Bが
/plasma_m_11
となります。

フィルター設定は
A1(/plasma)からみてA2(/plasma_y)を一致(前方一致ではありません)で除外としております。
A1(/plasma)からみてA3(/plasma_m)を一致(前方一致ではありません)で除外としております。
A1(/plasma)からみてB(/plasma_m_11)にはフィルターはありません。
A2(/plasma_y)からみてB(/plasma_m_11)にもフィルターはありません。
A3(/plasma_m)からみてB(/plasma_m_11)にもフィルターはありません。

年の瀬に難解な質問で申し訳ありません。
よろしくお願いいたします。

Re: ABテストの振り分けについて

プロフェッショナル ✭ ✭

フィルター設定は A1(/plasma)からみてA2(/plasma_y)を一致(前方一致ではありません)で除外としております。

A1(/plasma)からみてA3(/plasma_m)を一致(前方一致ではありません)で除外としております。

A1(/plasma)からみてB(/plasma_m_11)にはフィルターはありません。

A2(/plasma_y)からみてB(/plasma_m_11)にもフィルターはありません。

A3(/plasma_m)からみてB(/plasma_m_11)にもフィルターはありません。

すみません、上記だと、どのビューでどのページのウェブテストを行われていて、尚且つどのフィルタをかけていらっしゃるのか分かりませんでした。。

 

まず、フィルタフィールドは「リクエストURI」を設定されているでしょうか?(設定が正しければ前方一致などの選択肢は出てこないはずです)

 

スクリーンショット 2018-01-04 9.43.00.png

 

また「URLの表記を短縮しまして」とあるので、実際は少し書き換えが必要だと思いますが

 

①/plasmaと/plasma_m_11のウェブテストをされるビューのフィルタ

- フィルタの種類:カスタム

- <除外>フィルタフィールド:リクエストURI

- フィルタパターン:\/plasma_m$|\/plasma_y$

 

②/plasma_yと/plasma_m_11のウェブテストをされるビューのフィルタ

- フィルタの種類:カスタム

- <除外>フィルタフィールド:リクエストURI

- フィルタパターン:\/plasma$|\/plasma_m$

 

③/plasma_mと/plasma_m_11のウェブテストをされるビューのフィルタ

- フィルタの種類:カスタム

- <除外>フィルタフィールド:リクエストURI

- フィルタパターン:\/plasma$|\/plasma_y$

 

とすれば、ウェブテストを阻害せずにフィルタをかけられると思います。

 

正規表現については、下記のアナリティクスヘルプが参考になります。 https://support.google.com/analytics/answer/1034324?hl=ja

 

また、正規表現のチェックをする際は、Googleアナリティクスの 行動>サイトコンテンツ>すべてのページ のアドバンスフィルタを使って該当URLの一致が正しく行われているか確認されることをおすすめします。

スクリーンショット 2018-01-04 10.12.50.png

 

もしお役に立てましたら、いいね♡のボタンや解決済みのボタンを押していただけますととても嬉しいです!Kumiko Muraji

Re: ABテストの振り分けについて

初級者 ✭
ご丁寧にご教示いただきありがとうございます。
返信が遅くなり申し訳ありません。
上記質問をしていたのとは別の者なのですが、この問題で設定を洗いなおしていました。
上記正規表現などの内容も参考にさせていただきたいと思いますが、
フィルタ設定をかけていない大元のビュー内でABテストを設定すればいいのではないか?
というあたりでもやり直したいと考えていたところでした。
そこで根本的な疑問が浮かんだのですが、もしおわかりでしたらご教示いただければと思います。

上記ABテストは、
A、B、C、Dの4つのページがあり
AとD
BとD
CとD
を比較するという3つの内容になっております。
Dのページが複数のテストに含まれていることになります。
これらを同時に行った場合に、比較はそれぞれで問題なく行われるのでしょうか。
それぞれで50%ずつ振り分けた場合Dへのアクセスが増えるかと思うのですが、
きちんと「これはAとの比較」「これはBとの比較」「これはCとの比較」
と判別できるものなのでしょうか。
それぞれテスト別にコードが発行されているのでそこで判別しているとみて大丈夫かな?
とは思うのですが、少し不安でして、ご教示をお願いできればと思います。
お手数をおかけいたしまして恐れ入ります。よろしくお願いいたします。