robots.txt の履歴(No.1)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• robots.txt へ行く。
  • 1 (2021-11-14 (日) 12:02:56)
  • 2 (2022-01-23 (日) 13:59:30)
  • 3 (2022-01-23 (日) 20:53:05)

robots.txt†

robots.txt とは†

• robots.txt が配置されたウェブサイトに対する検索エンジンやクローラがアクセスするルールを指定するファイル

robots.txt の作り方†

• テキストファイルで作成する
• ファイル名「robots.txt」
• 文字コード「UTF-8」

Robots exclusion standard†

• 標準仕様

robots.txt の配置する方法†

• ウェブサイトのルートに配置する

除外する方法†

• ページをパスワード認証等で保護する
• noindex

関連サイト†

• robots.txt の概要 - Google検索セントラル
  https://developers.google.com/search/docs/advanced/robots/intro?hl=ja

関連用語†

• 検索エンジン
• クローラ