所以在這個例子中獲勝者將是all

muhammad166152@

ow指令。 請注意：在此範例中/blog（不帶尾部斜杠）仍然可以存取和抓取。 最重要的是，這僅適用於 Google 和 Bing。其他搜尋引擎將偵聽第一個符合的指令。 在這種情況下，將在上面的範例中套用封鎖選項。 網站地圖 使用此指令向搜尋引擎指示網站地圖的位置。 如果您不熟悉，網站地圖通常包含您希望搜尋引擎抓取和索引的頁面。 以下是使用 sitemaps 指令的 robots.
txt 檔案的範例： 網站
domain.
com/sitemap.
xml使用者代理
txt 檔案中有多重要？ 如果您 南非 電話號碼 已透過Google Search Console提交了網站地圖，則 Google 將不再需要此流程。


但是，它仍然對您的網站地圖有好處，因為它可以告訴其他搜尋引擎（例如 Bing）在哪裡可以找到您的網站地圖。 您不需要為每個使用者代理程式多次重複網站地圖指令。 因此，它不會僅適用於其中之一。 因此，將網站地圖指令包含在 robots.
txt 檔案的開頭或結尾會對您更有利。例如; 網站





快速說明：您可以將任意數量的網站地圖新增到 robots.
txt 檔案中。 不支援的指令 在這裡，您可以找到一些 Google 不再支援且從技術上講從未支援過的指南。 爬行延遲 以前，您可以使用此指令以秒為單位執行掃描延遲。例如，如果您希望 Googlebot 在每次抓取後等待 5 秒，則可以如下設定抓取延遲指令： 用戶代理：Googlebot抓取延遲：5 然而，與 Bing 和 Yandex 不同，Google 不再支援該指令。 此外，設定此指令時應小心，特別是如果您有一個大型網站。如果您將爬網延遲設定為 5 秒，則機器人每天最多爬網 17,280 次。


如果您有數百萬個頁面，這不是很有用，但如果您有一個小型網站，則可以透過此流程節省頻寬。 無索引 該指令從未得到 Google 的正式支援。 但直到最近，人們還認為 Google 擁有處理不受支援和未發布的規則（例如Noindex）的程式碼。 因此，如果您想阻止 Google 將您部落格上的所有文章編入索引，您可以使用下面列出的指南。 用戶代理：GooglebotNoindex：/blog/ 不過，2019 年 9 月 1 日，Google澄清了這個問題，表示其不支持該指令。 如果您想從搜尋引擎中刪除頁面或文件，您可以使用 Meta Robot 標籤或 X-Robots HTTP 標頭。


不關注 nofollow 指令是Google 從未正式支援的另一個指令，它阻止搜尋引擎追蹤特定路徑內的頁面和檔案的連結。 例如，如果您想阻止 Google 追蹤您部落格上的所有鏈接，您可以使用以下指令。 使用者代理：GooglebotNofollow：/blog/ 同樣在 2019 年 9 月 1 日，Google 宣布不正式支持該指令。 現在，如果您想對頁面上的所有連結套用no-follow 指令，您應該使用元機器人標籤或 X-Robots 標題。 如果您想告訴 Google不要追蹤頁面上的某些鏈接，請使用 rel=“nofollow” 連結屬性。