使用 robots.txt 文件攔截或刪除網頁

woff

robots.txt 文件限制抓取網絡的搜索引擎漫遊器對您的網站的訪問。這些漫遊器是自動的，它們在訪問任意網站的網頁之前，都會查看是否存在阻止它們訪問特定網頁的 robots.txt 文件。（雖然某些漫遊器可能會以不同的方式解釋 robots.txt 文件中的指令，但所有正規的漫遊器都會遵循這些指令。然而，robots.txt 不是強制執行的，一些垃圾信息發送者和其他麻煩製造者可能會忽略它。因此，我們建議對機密信息採用密碼保護。）
只有當您的網站中包含您不想讓搜索引擎編入索引的內容時，才需要使用 robots.txt 文件。如果您希望搜索引擎將網站上的所有內容編入索引，則不需要 robots.txt 文件（甚至連空的 robots.txt 文件也不需要）。
儘管 Google 不會抓取 robots.txt 攔截的網頁內容或將其編入索引，但如果我們在網絡上的其他網頁中發現這些內容，我們仍然會將這些網頁的網址編入索引。因此，網頁網址，可能還有其他公開信息（如指向網站的鏈接中的定位文字或開放目錄項目 (www.dmoz.org) 中的標題），都有可能會出現在 Google 搜索結果中。
為了能使用 robots.txt 文件，您必須要有對您域的根目錄的訪問權限（如果您不能確定是否有該權限，請與您的網絡托管商核實）。如果您沒有對域的根目錄的訪問權限，可以使用 robots 元標記來限制訪問。

cscs1212

請問大大能提供範例看看嗎