robots.txt

2022-01-25 (火) 10:29:35

robots.txt とは

  • 機密情報を保護する目的では使わない

RES

  • Robots Exclusion Standard
  • Robots Exclusion Protocol
  • 標準仕様

robots.txt の作り方

  • テキストファイルで作成する
  • ファイル名「robots.txt」
  • 文字コード「UTF-8」

robots.txt の配置する方法

  • ウェブサイトのルートに配置する

除外する方法

  • ページをパスワード認証等で保護する
  • noindex

関連サイト

関連用語