AdWords が「Google 広告」になりました。これまで AdWords としてご利用いただいていたサービスの名前が「Google 広告」に変わりました。検索ネットワーク、ディスプレイ ネットワーク、YouTube などを対象にあらゆる広告サービスを提供いたします。詳細

231 人が現在オンライン
231 人が現在オンライン
Google アナリティクスのアカウント設定、プロパティ、ビューやフィルタ設定などについて、ユーザー同士で意見交換ができます。解析を通して浮かんだ質問やアイディアを投げかけ合って、よりデータ分析の知識を高めていきましょう。
ガイドを表示
star_border
返信

【robots.txt によりブロックされましたが、インデックスに登録しました】の対処法について

mk
初級者 ✭ ✭

表題の件について、何をどう対処すれば、正常に戻るかがわかりません。

初心者のためわかりやすく教えていただけますと幸いです。

 

以下、私が行ったことです。

-------------------------------------------------------------------------------------------------------

Google Search Consoleチームより画像1がメールで届きました。

その後、画像2が届きました。

 

現在は、下記の状況です。

検証には数日かかることがございます。処理が完了し次第お知らせいたします。以下のリンクにアクセスして、テストの進捗状況をご確認いただくこともできます。

-------------------------------------------------------------------------------------------------------

よろしくお願いします。

 

 

スクリーンショット 2018-08-09 10.47.39.pngスクリーンショット 2018-08-09 10.47.54.pngスクリーンショット 2018-08-09 10.41.48.pngスクリーンショット 2018-08-09 10.43.16.pngスクリーンショット 2018-08-09 10.45.04.png

2 人のエキスパートが返信verified_user

Re: 【robots.txt によりブロックされましたが、インデックスに登録しました】の対処法について

mk
初級者 ✭ ✭
追記します。


Google Search Consoleチームのメールにありますように(検証には数日かかることがございます。処理が完了し次第お知らせいたします。以下のリンクにアクセスして、テストの進捗状況をご確認いただくこともできます。)、待つだけで、正常になるのでしょうか?

Re: 【robots.txt によりブロックされましたが、インデックスに登録しました】の対処法について

トップコントリビューター
mk さん

こんにちは。
こちらはGoogleプロダクト内のGoogleアナリティクスに関するヘルプフォーラムとなりまして、
mk さんが記載された内容ですと以下が適切となります。

ウェブマスター ヘルプ フォーラム - Google プロダクト フォーラム
https://productforums.google.com/forum/#!forum/webmaster-ja

お手数おかけいたしますが、上記のフォーラムにて同じご質問を記載いただいてもよろしいでしょうか。
ご確認のほど、よろしくお願いいたします。

Re: 【robots.txt によりブロックされましたが、インデックスに登録しました】の対処法について

[ 編集済み ]
レジェンド

mkさん

 

こちらの該当のURLですが、以下のどちらでしょうか?

 

・Google検索結果に出したくないURLなのか?
 ⇒YES/NO

 

おそらく、mkさんのサイトのrobot.txtでは該当URLのディレクトリにDisallow:指定があるが、外部リンクがnofollow指定ではない形であったために、Googleのクローラーボットが勢いで登録しちゃったよ。ということかと思います。絶対に出したくないURLなら手動で削除申請を出すことも可能ですが、どちらでしょうか?

 

https://support.google.com/webmasters/answer/7440203#indexed_though_blocked_by_robots_txt

robots.txt によりブロックされましたが、インデックスに登録しました: このページは robots.txt によりブロックされましたが、インデックスに登録されています(Google では、常に robots.txt に従いますが、他のユーザーがこのページにリンクしている場合は robots.txt は使用されません)。このページを検索結果からブロックしてもよいかどうかわからないため、警告としました。このページをブロックしたい場合robots.txt ではインデックス登録を回避できません インデックスに登録されないようにするには、「noindex」を使用するか、auth を使ってページへの匿名アクセスを禁止してください。このページをブロックするルールについては、robots.txt テスターをご利用ください。robots.txt のため、このページに対し表示されるスニペットは最適化されない可能性があります。このページをブロックしたくない場合は、ページのブロックを解除するよう robots.txt ファイルを更新してください。

Taishi Akiyama / フルスタックエンジニアのWEBマーケターです。とりえあえず検証してみるが信条。★や解決マークをくれるとモチベーションあがって回答の質があがるかもしれません

Re: 【robots.txt によりブロックされましたが、インデックスに登録しました】の対処法について

Ray 注目ユーザー
注目ユーザー
mkさん、こんにちは。

ご質問拝見しました。
SEOは専用のコミュニティがありますので、お手数ですが同じ内容を下記に投稿していただくと詳しい方から回答がもらえると思います。
https://productforums.google.com/forum/#!forum/webmaster-ja

上記お試しいただけると幸いです。
よろしくお願いします。
Ray お役に立てましたら、いいねや解決済みマークを押していただけると幸いです!

Re: 【robots.txt によりブロックされましたが、インデックスに登録しました】の対処法について

トップコントリビューター
群馬県南牧村アンバサダーさん

補足までに記載させていただきます。
>外部リンクがnoindex指定ではない形であったために、Googleのクローラーボットが勢いで登録しちゃったよ。
厳密に記載させていただきますと、Googleのアルゴリズムにおいてのコンテンツ評価には
クロールしインデックスしたコンテンツ内容の評価と、他サイトからのリンク評価によって
コンテンツを評価し、結果的にランキングとしてGoogle検索結果に表示します。

mkさんの該当コンテンツは、robots.txt でブロックしているコンテンツとなりますので、
前述の"クロールしインデックスしたコンテンツ内容の評価"が正常に行えない状態となります。
該当コンテンツにnoindexが設置されていても、クロールできないためnoindexすらも確認できない状態です。
ですので、まずは該当コンテンツをインデックスから削除してもらう対応が必要となります。
該当コンテンツにnoindexが設置されていないのであれば設置し、
その後に、robots.txt の内容を書き換え、クローラーにクロールしてもらうようにします。
クロールした結果、クローラーにnoindexが設置されていることを確認してもらい、インデックスから削除してもらいます。
その後、再度robots.txt で該当コンテンツへのクロールをブロックします。

>URLなら手動で削除申請を出すことも可能
今回はmkさんが管理するコンテンツだと考えられるため、
おそらく前述の方法しか、削除対応していただけないと考えられます。

Google から情報を削除する - Search Console ヘルプ
https://support.google.com/webmasters/answer/6332384?hl=ja

Search Console内にURL削除の機能がありますが、こちらは一時的な対応でしかありません。

URL 削除ツール - Search Console ヘルプ
https://support.google.com/webmasters/answer/1663419?hl=ja&ref_topic=1724262

以上、ご参考になれば幸いです。

Re: 【robots.txt によりブロックされましたが、インデックスに登録しました】の対処法について

レジェンド
yu-sukeさん、ありがとうございます!

> その後に、robots.txt の内容を書き換え、クローラーにクロールしてもらうようにします。
> クロールした結果、クローラーにnoindexが設置されていることを確認してもらい、インデックスから削除してもらいます。
> その後、再度robots.txt で該当コンテンツへのクロールをブロックします。

こちらですが、外部被リンクが消えていない状況で、再度インデックスに登録されることはありますか?
Googleのインデックスにはインデックスしてはダメよ、という情報が永続的にインデックスされるのでしょうか?
Taishi Akiyama / フルスタックエンジニアのWEBマーケターです。とりえあえず検証してみるが信条。★や解決マークをくれるとモチベーションあがって回答の質があがるかもしれません

Re: 【robots.txt によりブロックされましたが、インデックスに登録しました】の対処法について

トップコントリビューター
群馬県南牧村アンバサダー さん

ご確認いただきありがとうございます。

>> その後に、robots.txt の内容を書き換え、クローラーにクロールしてもらうようにします。
>> クロールした結果、クローラーにnoindexが設置されていることを確認してもらい、インデックスから削除してもらいます。
>> その後、再度robots.txt で該当コンテンツへのクロールをブロックします。
>
>こちらですが、外部被リンクが消えていない状況で、再度インデックスに登録されることはありますか?
外部リンクが存在していても、コンテンツ側でnoindexを設置している限り、再度インデックスされることはありません。

>Googleのインデックスにはインデックスしてはダメよ、という情報が永続的にインデックスされるのでしょうか?
noindexが存在するコンテンツに対しても、生ログを確認している限りではクローラーは再訪しています。
再訪する理由は、前はnoindexが設置されていたけど、今もまだnoindexが設置されているかな?
noindexが設置されていなければインデックスするよ、といった感じです。
noindexが設置されているコンテンツがクローラーにクロールされたくなければ
robots.txtでブロックすることでクローラーはクロールできなくなりますので、
該当のコンテンツは、永続的にnoindexが設置されているコンテンツとして処理されます。
noindexが設置されていますので、インデクサーにインデックスされているわけではないと思います。

以上、ご確認の程よろしくお願いいたします。

Re: 【robots.txt によりブロックされましたが、インデックスに登録しました】の対処法について

レジェンド

yu-sukeさん、ありがとうございます!

 

確かに以下の動画を見ても、クローラーがnoindexを処理するって言ってますね。

ただ、クローラーとして何度か見に来ないと、永続的にnoindexが設置されているコンテンツとして処理されるかは微妙?のようなニュアンスを私は受け取りました。

English Google Webmaster Central office-hours hangout

https://www.youtube.com/watch?v=9GNg8R-X8LQ&feature=youtu.be

 

54:37 For just one season, page 2, noindex follow on page 2,
54:42 and the rest of it.
54:43 So I listened between your words.
54:47 I think you would not recommend necessarily doing that?
54:51 JOHN MUELLER: So it's kind of tricky with noindex.
54:58 Which I think is somewhat of a misconception in general
55:03 with the SEO community, in that, with a noindex and follow,
55:09 it's still the case that we see the noindex.
55:11 And in a first step, we say, OK, you
55:13 don't want this page shown in the search results.
55:15 We'll still keep it in our index.
55:17 We just won't show it.
55:18 And then we can follow those links.
55:20 But if we see the noindex there for longer than we think,
55:23 this page really doesn't want to be used in search.
55:26 So we will remove it completely.
55:27 And that we won't follow the links, either.
55:30 And noindex and follow is essentially
55:34 kind of the same as a noindex nofollow.
55:37 There is no really big difference
55:39 there in the long run.
55:42 RADU: What about using the View All page?
55:44 JOHN MUELLER: The View All page is also
55:46 an option, if you can do that.
55:49 And that might be something to index.
55:53 I think we did a blog post about the different types of the--
55:56 [AUDIO OUT]
56:03 I think, for most sites, the paginated indexing
56:07 just more or less works.
56:09 It's not something where we see a lot of problems with.
56:12 It's trickier when you have filtering in addition
56:15 to pagination, when you can filter for type of product,
56:20 and size, and color, and all of these things.
56:23 Then all of these faceted navigation, we call it--

 

コミュニティ違いのスレッドで失礼しました。自分の興味本位の話題はこの辺にしておきます。。

 

Taishi Akiyama / フルスタックエンジニアのWEBマーケターです。とりえあえず検証してみるが信条。★や解決マークをくれるとモチベーションあがって回答の質があがるかもしれません

Re: 【robots.txt によりブロックされましたが、インデックスに登録しました】の対処法について

レジェンド
こんばんわ。


最初のご質問の内容はgoogle analyticsに関する問題ではなく、search consoleに関する内容です。
他の方が既にお勧めされています、webmaster forumにてご質問される方が詳しい方が多く、的確なアドバイスも貰える可能性が高いかなと思います。

ちなみに該当の警告は、例として挙がっているurlが検索とかに出したくない場合やクローラーに来てほしくない場合は気にしなくてよいものです。
よくある例ではログインページとかが多いです。そういう場合は放っておけばいいかなと思います。


ええと、なんかポツポツ付属の疑問が上がっているので答えておくと、
・robot.txtでブロックすると、googleのクローラーがサイトに来なくなる
こちらはクローラーに対して指示する内容で、来るなと指示しているからです。
googleのクローラーはそれに従います。

・noindexをサイトで出すとgoogleはインデックスしなくなる
noindexは検索結果に出さないでという指示なので、それを読み取ると検索結果から消えます。
こちらはクロールしてからその内容を把握するので、ブロックするとgoogleは読みに来ません。
robots.txtでブロックしている場合、クローラーはブロックしているURLには来ないけど、インデックスされることがあります。
クロールしていないので内容は解らないがURLはある事がわかるので、インデックスされます。


robots.txtはクローリングに対する指示で、noindexはインデクシングに対する指示なので、異なる指示になります。
というような説明をされても、私は使っている人たちはそう思っていないのではなかろうかと思うので、
ブロックしたらインデックスしなきゃいいのではないかと思っています。


robots.txtは、内容が変わっていないか定期的にクローラーが読みに来ます。
noindexタグも、それが変わっていないか何度も来訪されます。


永続的に設定しているかどうかは外部からでは解らないので、クローラーは来る。
そういうものです。