robots.txt のバックアップソース(No.1)

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• バックアップ を表示
• robots.txt へ行く。
  • 1 (2021-11-14 (日) 12:02:56)
  • 2 (2022-01-23 (日) 13:59:30)
  • 3 (2022-01-23 (日) 20:53:05)

#author("2021-10-13T11:06:20+09:00","default:k1rou","k1rou")
*robots.txt [#o2ae0f94]

**robots.txt とは [#s3ae2063]
-robots.txt が配置されたウェブサイトに対する[[検索エンジン]]や[[クローラ]]がアクセスするルールを指定するファイル

**robots.txt の作り方 [#rfe2f9b6]
-テキストファイルで作成する
-ファイル名「robots.txt」
-文字コード「UTF-8」

***Robots exclusion standard [#g123761b]
-標準仕様

**robots.txt の配置する方法 [#a4be4f60]
-ウェブサイトのルートに配置する

**除外する方法 [#b2ae3d86]
-ページをパスワード認証等で保護する
-noindex


**関連サイト [#sd5e41fe]
-robots.txt の概要 - Google検索セントラル~
https://developers.google.com/search/docs/advanced/robots/intro?hl=ja


**関連用語 [#h8998dc9]
-[[検索エンジン]]
-[[クローラ]]