robots.txt のバックアップ(No.2)

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• robots.txt へ行く。
  • 1 (2021-11-14 (日) 12:02:56)
  • 2 (2022-01-23 (日) 13:59:30)
  • 3 (2022-01-23 (日) 20:53:05)

robots.txt とは †

• robots.txt が配置されたウェブサイトに対する検索エンジンやクローラがアクセスするルールを指定するファイル

robots.txt の作り方 †

• テキストファイルで作成する
• ファイル名「robots.txt」
• 文字コード「UTF-8」

Robots exclusion standard †

• 標準仕様

robots.txt の配置する方法 †

• ウェブサイトのルートに配置する

除外する方法 †

• ページをパスワード認証等で保護する
• noindex

関連サイト †

• robots.txt の概要 - Google検索セントラル
  https://developers.google.com/search/docs/advanced/robots/intro?hl=ja

関連用語 †

• 検索エンジン
• クローラ
• サイトマップ
• noindex