124 人が現在オンライン
124 人が現在オンライン
Google AdWords のコンバージョントラッキング、管理画面上のレポートや数値の不一致などについて、ユーザー同士で意見交換ができます。運用者ならではの質問や回答を投げかけ合って問題を解決していきましょう。
ガイドを表示
star_border
返信

ABテストの素朴な疑問です。

中級者 ✭ ✭

リスティング広告初心者なのですが、

1つの広告グループで違った訴求・視点の広告をABテストさせる場合と

キーワード・日予算・入札単価など同一な広告グループを2つ用意し

広告文だけ違った訴求・視点でABテストさせる場合は

どちらが良く、どう違うのでしょうか??

 

初歩的・抽象的な質問しかできないのですが

ご回答頂けると幸いです。

 

 

2 人のエキスパートが返信verified_user
1 件の受理された解決策

受理された解決策
ベストアンサーのマーク済み.
解決策
トピック作成者Vivaru22さんが付与
2月 2017

Re: ABテストの素朴な疑問です。

トップコントリビューター
なんか今すごく眠いのでちゃんと答えられるか微妙なんですがすごく話したい内容です!ので投稿します

異なる広告グループにした場合、配信がどっちかに寄るとか寄らないとかに関係なく、AdWordsの仕様上、まともなテスト、といいますか学習、最適化がとってもしづらい状況になります。
配信を均等にするのであればむしろグループは異なるものにして入札単価をいじればコントロールできますし、同じ広告グループ内に設定した異なる広告の配信割合を均等にすることのほうが難しいと思いますが、複数の広告の検証をするという意味では同じ広告グループで行うのが行うのが正しいです。

AdWordsは、広告そのものに、あらゆるデータをためて学習します。
ざっくり言うと下記のような感じです。

 広告A:どの検索語句、地域、デバイス、時間帯、その他諸々の条件のときに成果が良いかというデータをためる 
 広告B:どの検索語句、地域、デバイス、時間帯、その他諸々の条件のときに成果が良いかというデータをためる

とある広告配信条件(検索語句&地域&デバイス&その他諸々)のときに、広告Aのほうが成果が良い、
とある広告配信条件(検索語句&地域&デバイス&その他諸々)のときに、広告Bのほうが成果が良い、
また、悪い、というデータをためて、学習して、配信の仕方をどんどん変えていきます。

広告Aは、Cという配信条件のときには成果が良い、Dという配信条件のときのほうが悪い、みたいなことを学習していきます。

という前提なので、広告グループをわけた場合どうなるかというと、Cという条件が、2つの広告グループ(正確には広告)に分散して存在することになります。
学習するにはデータの分量が多いにこしたことはないわけですが、グループをわけると100たまるデータが50(とは限らないけど)ずつ分散することになり、学習の精度が落ちます。
配信条件CとDが複数の広告グループに分散した場合、それもまたさらに判断しづらくなる、といいますか精度が落ちます。
せっかくのデータを、格納するべきところにまとめて格納しないなんてもったいないですし、無意味、なのと、
さらに、ここで重要なのは、Cが良い、ということを判断するのに、C以外の条件、例えばDが悪い、ということを知ることができるかどうか、ということです。

つまり、広告配信条件Cが、広告Aしかない広告グループに適用されたとき、そこには、広告Bのときは成果が良いか悪いかのデータがないので判断できない、ということです。

AdWordsが、アカウントの中全部の情報を上手いこと串刺しして比較検証ができるなら話は別なのでしょうけど、基本、各広告単位にデータがたまるらしいです。
広告は広告グループに設定されるものなので、配信条件の設定がなされる広告グループが分散すると、一つの広告にたまるべき広告配信条件のデータがたまりづらくなります。




ところで、そうやってデータをきっちりためた結果、どうやっても複数の広告の表示回数は等しくなりません。
均等ローテーションにしても、均等になりません。
均等ローテーションというのは、オークションの機会を均等にするということで、配信回数を均等にするためのものではないわけです。
現実的に考えてオークションの勝率は広告AとBで同じになるわけがないので、表示回数は等しくなりませんし、均等ローテーションはそれを目指すものではありません。

そもそも、リスティング広告の仕組みにおいて、いわゆる純粋なABテストなんてできません。
純粋ってなんだよ…、って話ですが、僕が言う純粋なABテストというのは、純広告で行うようなABテストです。
(その表現が一般論として正しいかどうかよくわかりませんが)

オークションがない=配信条件ごとに各広告が配信されるかどうか判断されることがない=どんな配信条件でもとにかく無理やり配信される

こういう場合で行われるABテストを純粋なABテスト…、とするとして、

リスティング広告では、配信条件が完全に同一となる複数の広告が存在するという状況がありえません。

広告Aと広告Bは、同じ広告グループにしようとも、それぞれ、結果的に配信された条件はまず異なってきます。
もし同じになった場合、それはたいした違いのない広告文を作っていた場合であって、それこそ意味のないことです(でもそれでもあんまりそうはならないかな…)。

簡単に確認できる方法として、管理画面、広告タブにて、分割>キーワード としてみてください。

きちんと内容の違う複数の広告を作っている場合、各広告が、どのキーワードで配信されたか、偏っていくはずです。
キーワードだけでは深いレベルでわかりませんが、解析ツールで、各広告ごとにヒットしている検索語句、地域、デバイスなどを可能な限り見てみると、やっぱり全然配信条件が違います。

なので、仮にインプレッションが

広告A:1,000
広告B:1,000

となったとしても、その1,000の中身は違う1,000、ということです。

これを単純比較してもしょうがないと思いますし、しょうがないといいますか、それで正しいといえる仕様でもあるわけです。
各広告が、どういう配信条件で配信されるべきかをAdWordsは学習、判断して配信の仕方を変えていて、なおかつそれが成果につながるからです。

仮に下記の結果だった場合

 広告A: インプレッション10,000 CV10件
 広告B: インプレッション1,000 CV1件

広告Bが悪いのかどうかというとこれだけではわからず、配信数は高まらないとある特定の配信条件のときだけCVRが高い、ということがあるということです。
ということは表示回数は同じでなくていいし、コンバージョン数が最大化するためには表示回数が同じになるのも間違っている状況であるということです。


そんな感じでして、話きれいにまとめられず長文で恐縮なのですが、

・配信数を無理やり同じにしようとするのは間違っている
・均等ローテーションは機会損失を生むだけ

です。

人間がコントロールしたとおりの数値をはきだすことはできないわけですが、そこは、AdWordsのすごい仕組みゆえのことだとも思います。
数値をコントロールしようとするのは人間のエゴかなと。
人間は、しかるべきデータを格納するようにすれば、あとは人間が学習、検証できないレベルでもっと複雑な学習、検証をAdWordsがして、結果、出てきた数値は人間が想像していたものとはまず違うものになる、というものです。

僕個人の経験としては、AdWordsは想像以上に爆発的な成果を出すことがありますが、それは、人間がどうこうしようと思ってはいなかった数値と、状況になっています。

なので僕はとにかく、

・配信条件が分散するような構造にはしない(無駄に広告グループをわけない)で、AdWordsが学習しやすいようにする
・人は、広告文を考えることに全力投球する

これが一番成果を生み出すことにつながるなー、と実感しています。


ちなみに「均等ローテーション」について、個人的には廃止するべき機能じゃないかくらいに思っているのですが、それでも僕も使うときがあります。
AdWordsも、いつ、どんなケースでも上手く学習するわけではないなと思えてまして、そういうときに、ショックを与えるために使います。
例えば下記の状況となった場合、

 広告A:成果が抜群に良い → 配信割合が90%以上
 広告B:成果が悪い → 配信割合が10%以下
 広告C:新規追加してみたけど全然表示回数が出ない

Aがあまりに良いと判断されているからなのか、データためるまでもなくGoogleがダメと判断しているのか、よくわかりませんが、Cがダメなのかどうなのかよくわからないままになる、というときがあります。

こういうときは、(Bを止めたうえで)均等ローテーションにして、広告Cがオークションに参戦する機会を増やしてみて、無理やりデータを取ってみます。
そうしてCが成果をあげた場合、状況が変わります。

そんな感じなので、個人的には、「(長くとも)2日間だけ均等ローテーションする」という機能だけあえればいいなと思ってます。
90日間は長すぎますし、無期限は論外かなーと、個人的には思っています。
小西 一星

元の投稿で解決策を見る

Re: ABテストの素朴な疑問です。

プロフェッショナル ✭ ✭

いっけぇ様

回答させていただきます。

ABテストは基本的に、同一条件下ですることで
正確な結果が得られやすいため、一つの広告グループ内で実施することをお勧めします。
二つの広告グループで実施すると、どちらかの広告グループに寄ってしまう可能性もあります。

また期間についても同一時期に実施することをお勧めします。
Aの広告を1週間配信し、Bの広告をそのあとの1週間配信するなどした場合、
配信した期間は同じでも、競合他社の入札状況や時期による検索ボリュームの違いなどで、
同一条件になりにくいからです。

ご参考になれば幸いです。

Re: ABテストの素朴な疑問です。

中級者 ✭ ✭
ご回答ありがとうございます!

参考になりました!
ABは同一広告グループ内で行うのが良いということですね!

Re: ABテストの素朴な疑問です。

注目ユーザー
1つの広告グループにA、Bの広告を設定しテストするのが良いと思います。

広告グループを分けた場合、クリック率、時間、入札単価、など、様々な要因でどちらかの広告グループばかり表示されたりとかして、もう一方が本当に悪かったのか、公平な評価が出来ない環境になってしまうと思います。

1つの広告グループで管理し、下記の設定よりローテーションの条件を選択して頂きA/Bテストを実行して頂ければ良いと思います。
基本的には「クリック重視で最適化」を選択頂き、コンバージョンなども多く発生するのであれば「コンバージョン重視で最適化」にして頂ければ良いと思います。
ご参考下さい。

設定>
詳細設定>
広告のローテーション>
・ クリック重視で最適化: クリック率の高い広告が優先的に表示されます
・ コンバージョン重視で最適化: コンバージョン率の高い広告が優先的に表示されます
・ 均等にローテーション: 少なくとも 90 日間は、掲載結果が低い広告にも均等に表示機会が与えられます。その後、最適化が行われます
・ 無期限にローテーション: 掲載結果が低い広告にも、均等に表示機会が与えられます。最適化は行われません

Hiromichi Ogasawara
follow me on twitter

Re: ABテストの素朴な疑問です。

中級者 ✭ ✭
ご回答ありがとうございます!

やはり、同一の広告グループでABをするのが良さそうですね。。!

1つご質問なのですが、
AとBの広告で違う視点での訴求の場合、
広告のローテーションは初めのうちは
「均等にローテーション」または、「無期限にローテーション」を設定し
その後、クリック率や平均クリック単価の数字を見て
最適化を行う方が良さそうでしょうか?

初めからクリック重視またはCV重視で最適化してしまうと
優先的にAかBの広告が出てしまい、なんだか
ABテストの数字に誤差が出そうで、、、、

Re: ABテストの素朴な疑問です。

注目ユーザー
均等にローテーション、無限にローテーションでコントロールする方法もありますが、その間に悪い方の広告も配信されると考えると、費用対効果が悪くなるというリスクもあります。

ただし、均等にローテーションや無制限にローテーションは、ローテーション設定のアップデート後に不評だったため追加した機能だったかと思います。
http://www.admarketech.com/2012/05/adwords.html

ユーザーとしてA/Bテストをコントロール配下に置きたい、と考えているユーザーは多く、そういった設定を実施しているユーザーも多いと思われます。

ただ、一番最初にも書いたとおり、悪い広告が表示されればCTRは下がり、CPCが上がり費用対効果が悪くなる可能性もあります。
途中でローテーションの設定変更も出来ますので、自動でローテーション後に均等にローテーションなど実施されて結果を見比べてみても良いかもしれません。

不安という要素があるのであれば、まずは均等ローテーションから初めても良いかもしれません!
ご参考下さい!
Hiromichi Ogasawara
follow me on twitter
ベストアンサーのマーク済み.
解決策
トピック作成者Vivaru22さんが付与
2月 2017

Re: ABテストの素朴な疑問です。

トップコントリビューター
なんか今すごく眠いのでちゃんと答えられるか微妙なんですがすごく話したい内容です!ので投稿します

異なる広告グループにした場合、配信がどっちかに寄るとか寄らないとかに関係なく、AdWordsの仕様上、まともなテスト、といいますか学習、最適化がとってもしづらい状況になります。
配信を均等にするのであればむしろグループは異なるものにして入札単価をいじればコントロールできますし、同じ広告グループ内に設定した異なる広告の配信割合を均等にすることのほうが難しいと思いますが、複数の広告の検証をするという意味では同じ広告グループで行うのが行うのが正しいです。

AdWordsは、広告そのものに、あらゆるデータをためて学習します。
ざっくり言うと下記のような感じです。

 広告A:どの検索語句、地域、デバイス、時間帯、その他諸々の条件のときに成果が良いかというデータをためる 
 広告B:どの検索語句、地域、デバイス、時間帯、その他諸々の条件のときに成果が良いかというデータをためる

とある広告配信条件(検索語句&地域&デバイス&その他諸々)のときに、広告Aのほうが成果が良い、
とある広告配信条件(検索語句&地域&デバイス&その他諸々)のときに、広告Bのほうが成果が良い、
また、悪い、というデータをためて、学習して、配信の仕方をどんどん変えていきます。

広告Aは、Cという配信条件のときには成果が良い、Dという配信条件のときのほうが悪い、みたいなことを学習していきます。

という前提なので、広告グループをわけた場合どうなるかというと、Cという条件が、2つの広告グループ(正確には広告)に分散して存在することになります。
学習するにはデータの分量が多いにこしたことはないわけですが、グループをわけると100たまるデータが50(とは限らないけど)ずつ分散することになり、学習の精度が落ちます。
配信条件CとDが複数の広告グループに分散した場合、それもまたさらに判断しづらくなる、といいますか精度が落ちます。
せっかくのデータを、格納するべきところにまとめて格納しないなんてもったいないですし、無意味、なのと、
さらに、ここで重要なのは、Cが良い、ということを判断するのに、C以外の条件、例えばDが悪い、ということを知ることができるかどうか、ということです。

つまり、広告配信条件Cが、広告Aしかない広告グループに適用されたとき、そこには、広告Bのときは成果が良いか悪いかのデータがないので判断できない、ということです。

AdWordsが、アカウントの中全部の情報を上手いこと串刺しして比較検証ができるなら話は別なのでしょうけど、基本、各広告単位にデータがたまるらしいです。
広告は広告グループに設定されるものなので、配信条件の設定がなされる広告グループが分散すると、一つの広告にたまるべき広告配信条件のデータがたまりづらくなります。




ところで、そうやってデータをきっちりためた結果、どうやっても複数の広告の表示回数は等しくなりません。
均等ローテーションにしても、均等になりません。
均等ローテーションというのは、オークションの機会を均等にするということで、配信回数を均等にするためのものではないわけです。
現実的に考えてオークションの勝率は広告AとBで同じになるわけがないので、表示回数は等しくなりませんし、均等ローテーションはそれを目指すものではありません。

そもそも、リスティング広告の仕組みにおいて、いわゆる純粋なABテストなんてできません。
純粋ってなんだよ…、って話ですが、僕が言う純粋なABテストというのは、純広告で行うようなABテストです。
(その表現が一般論として正しいかどうかよくわかりませんが)

オークションがない=配信条件ごとに各広告が配信されるかどうか判断されることがない=どんな配信条件でもとにかく無理やり配信される

こういう場合で行われるABテストを純粋なABテスト…、とするとして、

リスティング広告では、配信条件が完全に同一となる複数の広告が存在するという状況がありえません。

広告Aと広告Bは、同じ広告グループにしようとも、それぞれ、結果的に配信された条件はまず異なってきます。
もし同じになった場合、それはたいした違いのない広告文を作っていた場合であって、それこそ意味のないことです(でもそれでもあんまりそうはならないかな…)。

簡単に確認できる方法として、管理画面、広告タブにて、分割>キーワード としてみてください。

きちんと内容の違う複数の広告を作っている場合、各広告が、どのキーワードで配信されたか、偏っていくはずです。
キーワードだけでは深いレベルでわかりませんが、解析ツールで、各広告ごとにヒットしている検索語句、地域、デバイスなどを可能な限り見てみると、やっぱり全然配信条件が違います。

なので、仮にインプレッションが

広告A:1,000
広告B:1,000

となったとしても、その1,000の中身は違う1,000、ということです。

これを単純比較してもしょうがないと思いますし、しょうがないといいますか、それで正しいといえる仕様でもあるわけです。
各広告が、どういう配信条件で配信されるべきかをAdWordsは学習、判断して配信の仕方を変えていて、なおかつそれが成果につながるからです。

仮に下記の結果だった場合

 広告A: インプレッション10,000 CV10件
 広告B: インプレッション1,000 CV1件

広告Bが悪いのかどうかというとこれだけではわからず、配信数は高まらないとある特定の配信条件のときだけCVRが高い、ということがあるということです。
ということは表示回数は同じでなくていいし、コンバージョン数が最大化するためには表示回数が同じになるのも間違っている状況であるということです。


そんな感じでして、話きれいにまとめられず長文で恐縮なのですが、

・配信数を無理やり同じにしようとするのは間違っている
・均等ローテーションは機会損失を生むだけ

です。

人間がコントロールしたとおりの数値をはきだすことはできないわけですが、そこは、AdWordsのすごい仕組みゆえのことだとも思います。
数値をコントロールしようとするのは人間のエゴかなと。
人間は、しかるべきデータを格納するようにすれば、あとは人間が学習、検証できないレベルでもっと複雑な学習、検証をAdWordsがして、結果、出てきた数値は人間が想像していたものとはまず違うものになる、というものです。

僕個人の経験としては、AdWordsは想像以上に爆発的な成果を出すことがありますが、それは、人間がどうこうしようと思ってはいなかった数値と、状況になっています。

なので僕はとにかく、

・配信条件が分散するような構造にはしない(無駄に広告グループをわけない)で、AdWordsが学習しやすいようにする
・人は、広告文を考えることに全力投球する

これが一番成果を生み出すことにつながるなー、と実感しています。


ちなみに「均等ローテーション」について、個人的には廃止するべき機能じゃないかくらいに思っているのですが、それでも僕も使うときがあります。
AdWordsも、いつ、どんなケースでも上手く学習するわけではないなと思えてまして、そういうときに、ショックを与えるために使います。
例えば下記の状況となった場合、

 広告A:成果が抜群に良い → 配信割合が90%以上
 広告B:成果が悪い → 配信割合が10%以下
 広告C:新規追加してみたけど全然表示回数が出ない

Aがあまりに良いと判断されているからなのか、データためるまでもなくGoogleがダメと判断しているのか、よくわかりませんが、Cがダメなのかどうなのかよくわからないままになる、というときがあります。

こういうときは、(Bを止めたうえで)均等ローテーションにして、広告Cがオークションに参戦する機会を増やしてみて、無理やりデータを取ってみます。
そうしてCが成果をあげた場合、状況が変わります。

そんな感じなので、個人的には、「(長くとも)2日間だけ均等ローテーションする」という機能だけあえればいいなと思ってます。
90日間は長すぎますし、無期限は論外かなーと、個人的には思っています。
小西 一星

Re: ABテストの素朴な疑問です。

中級者 ✭ ✭
ご回答ありがとうございます!
ローテーション設定でいつもどうしたらいいものか分からなかったので
ある程度の期間を決めての設定変更も視野に入れて考えてみます!