robots.txt
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
*robots.txt とは [#s3ae2063]
-robots.txt が配置されたウェブサイトに対する[[検索エンジ...
-機密情報を保護する目的では使わない
*RES [#t0323ecf]
-Robots Exclusion Standard
-Robots Exclusion Protocol
-標準仕様
*robots.txt の作り方 [#rfe2f9b6]
-テキストファイルで作成する
-ファイル名「robots.txt」
-文字コード「UTF-8」
*robots.txt の配置する方法 [#a4be4f60]
-ウェブサイトのルートに配置する
*除外する方法 [#b2ae3d86]
-ページをパスワード認証等で保護する
-noindex
*関連サイト [#sd5e41fe]
-robots.txt の概要 - Google検索セントラル~
https://developers.google.com/search/docs/advanced/robots...
-Robots Exclusion Standard - Wikipedia~
https://ja.wikipedia.org/wiki/Robots_Exclusion_Standard
*関連用語 [#h8998dc9]
-[[検索エンジン]]
-[[クローラ]]
-[[クローリング]]
-[[サイトマップ]]
-[[noindex]]
終了行:
*robots.txt とは [#s3ae2063]
-robots.txt が配置されたウェブサイトに対する[[検索エンジ...
-機密情報を保護する目的では使わない
*RES [#t0323ecf]
-Robots Exclusion Standard
-Robots Exclusion Protocol
-標準仕様
*robots.txt の作り方 [#rfe2f9b6]
-テキストファイルで作成する
-ファイル名「robots.txt」
-文字コード「UTF-8」
*robots.txt の配置する方法 [#a4be4f60]
-ウェブサイトのルートに配置する
*除外する方法 [#b2ae3d86]
-ページをパスワード認証等で保護する
-noindex
*関連サイト [#sd5e41fe]
-robots.txt の概要 - Google検索セントラル~
https://developers.google.com/search/docs/advanced/robots...
-Robots Exclusion Standard - Wikipedia~
https://ja.wikipedia.org/wiki/Robots_Exclusion_Standard
*関連用語 [#h8998dc9]
-[[検索エンジン]]
-[[クローラ]]
-[[クローリング]]
-[[サイトマップ]]
-[[noindex]]
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
