427 人が現在オンライン
427 人が現在オンライン
Google アナリティクスのレポート画面、ディメンションや指標などについて、ユーザー同士で意見交換ができます。解析を通して浮かんだ質問やアイディアを投げかけ合ってより知識を高めていきましょう。
ガイドを表示
star_border
返信

サイトの特定

初級者 ✭ ✭

現在銀行バンキングサイトの分析・検証をしているものですが、一般のログインではなく機械的にウェブスクレーピングなどの手法でアクセスするものを特定もしくは除外する方法はあるのでしょうか?
そもそもどの様なアクセス形態(IPアドレス、ドメンイ名)なのか識別する方法からわかっておりません。

雲をつかむ様な質問で恐縮ですがご教示ください。よろしくお願いします。


受理された解決策
ベストアンサーのマーク済み.
解決策
トピック作成者Yamamotoさんが付与
9月 2016

Re: サイトの特定

初級者 ✭
山田様
ご回答ありがとうございます。なかなか手強いということがわかりました。

元の投稿で解決策を見る


すべての返信

Re: サイトの特定

レジェンド
クローラーなどのボットを除外するときには、ユーザーエージェントを利用することが一般的な解決手段となります。

しかし、この手のタイプのクローラーは、正しくログインできるようにするために、実際のブラウザを立ち上げてアクセスしているパターンが多いと思います。そしてその場合は、ユーザーエージェントも通常のブラウザと同じものが使われていると推測します。
なので、ユーザーエージェントからの判別は難しいと思います(ウェブサーバーのログを確認してみる価値はあると思います)。なので、IPアドレスを使っての計測ブロックが妥当なところかと思います。

ただ、その場合でもどのIPアドレスがクローラーのものなのかは一目見ただけでは判別できないので、「クローラーっぽい挙動をしているIPアドレスを探す」という作業を行う必要があります。
(その場合でも、クローラーを動かしているサーバーは常に変化する気がするので、適宜ブロックするIPアドレスのリストの更新は必要になる気がします)
ベストアンサーのマーク済み.
解決策
トピック作成者Yamamotoさんが付与
9月 2016

Re: サイトの特定

初級者 ✭
山田様
ご回答ありがとうございます。なかなか手強いということがわかりました。