クローリング の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• クローリング へ行く。
• クローリング の差分を削除

#author("2022-01-25T10:29:10+09:00","default:k1rou","k1rou")
#author("2022-01-25T10:29:19+09:00","default:k1rou","k1rou")
*クローリング [#x808f1b0]
**名称 [#kff60beb]
-クロール

**概要 [#vb05e0bd]
-Webサイトのリンクを辿ってページの情報を自動収集すること。

*クローリングの方法 [#m520d308]
**新しいページを見つける方法 [#e6cd31b4]
-既知のページのリンクを辿って検出する
-既知のウェブサイトの[[サイトマップ]]を探索して検出する


*関連用語 [#cd6a5d8c]
-[[スクレイピング]]
-[[クローラ]]
-[[SEO]]
-[[robot.tcxt]]
-[[robots.txt]]