robots.txt の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• robots.txt へ行く。
• robots.txt の差分を削除

#author("2022-01-23T20:53:05+09:00","default:k1rou","k1rou")
#author("2022-01-25T10:29:35+09:00","default:k1rou","k1rou")
*robots.txt とは [#s3ae2063]
-robots.txt が配置されたウェブサイトに対する[[検索エンジン]]や[[クローラ]]がアクセスするルールを指定するファイル

-機密情報を保護する目的では使わない

*RES [#t0323ecf]
-Robots Exclusion Standard
-Robots Exclusion Protocol 
-標準仕様

*robots.txt の作り方 [#rfe2f9b6]
-テキストファイルで作成する
-ファイル名「robots.txt」
-文字コード「UTF-8」

*robots.txt の配置する方法 [#a4be4f60]
-ウェブサイトのルートに配置する

*除外する方法 [#b2ae3d86]
-ページをパスワード認証等で保護する
-noindex


*関連サイト [#sd5e41fe]
-robots.txt の概要 - Google検索セントラル~
https://developers.google.com/search/docs/advanced/robots/intro?hl=ja

-Robots Exclusion Standard - Wikipedia~
https://ja.wikipedia.org/wiki/Robots_Exclusion_Standard

*関連用語 [#h8998dc9]
-[[検索エンジン]]
-[[クローラ]]
-[[クローリング]]
-[[サイトマップ]]
-[[noindex]]