URLを入力するとrobots.txtを取得・解析します。クロール許可/拒否の設定を一覧表示。
詳しく知りたい方へ
robots.txtの役割、User-agent・Disallow・Allow・Sitemapディレクティブの書き方、クローラーを制御する際の注意点、よくある設定ミスを解説します。