robots.txt のバックアップ(No.3)
- バックアップ一覧
- 差分 を表示
- 現在との差分 を表示
- ソース を表示
- robots.txt へ行く。
- 1 (2021-11-14 (日) 12:02:56)
- 2 (2022-01-23 (日) 13:59:30)
- 3 (2022-01-23 (日) 20:53:05)
robots.txt とは †
- 機密情報を保護する目的では使わない
RES †
- Robots Exclusion Standard
- Robots Exclusion Protocol
- 標準仕様
robots.txt の作り方 †
- テキストファイルで作成する
- ファイル名「robots.txt」
- 文字コード「UTF-8」
robots.txt の配置する方法 †
- ウェブサイトのルートに配置する
除外する方法 †
- ページをパスワード認証等で保護する
- noindex
関連サイト †
- robots.txt の概要 - Google検索セントラル
https://developers.google.com/search/docs/advanced/robots/intro?hl=ja
- Robots Exclusion Standard - Wikipedia
https://ja.wikipedia.org/wiki/Robots_Exclusion_Standard