robots.txt
2022-01-25 (火) 10:29:35
robots.txt とは †
- 機密情報を保護する目的では使わない
RES †
- Robots Exclusion Standard
- Robots Exclusion Protocol
- 標準仕様
robots.txt の作り方 †
- テキストファイルで作成する
- ファイル名「robots.txt」
- 文字コード「UTF-8」
robots.txt の配置する方法 †
- ウェブサイトのルートに配置する
除外する方法 †
- ページをパスワード認証等で保護する
- noindex
関連サイト †
- robots.txt の概要 - Google検索セントラル
https://developers.google.com/search/docs/advanced/robots/intro?hl=ja
- Robots Exclusion Standard - Wikipedia
https://ja.wikipedia.org/wiki/Robots_Exclusion_Standard