TShopping

 找回密碼
 註冊
搜索
查看: 633|回復: 1

[分享] 使用 robots.txt 文件攔截或刪除網頁

[複製鏈接]
發表於 2011-12-1 19:25:35 | 顯示全部樓層 |閱讀模式
 
Push to Facebook Push to Plurk Push to Twitter 
robots.txt 文件限制抓取網絡的搜索引擎漫遊器對您的網站的訪問。這些漫遊器是自動的,它們在訪問任意網站的網頁之前,都會查看是否存在阻止它們訪問特定網頁的 robots.txt 文件。(雖然某些漫遊器可能會以不同的方式解釋 robots.txt 文件中的指令,但所有正規的漫遊器都會遵循這些指令。然而,robots.txt 不是強制執行的,一些垃圾信息發送者和其他麻煩製造者可能會忽略它。因此,我們建議對機密信息採用密碼保護。)
只有當您的網站中包含您不想讓搜索引擎編入索引的內容時,才需要使用 robots.txt 文件。如果您希望搜索引擎將網站上的所有內容編入索引,則不需要 robots.txt 文件(甚至連空的 robots.txt 文件也不需要)。
儘管 Google 不會抓取 robots.txt 攔截的網頁內容或將其編入索引,但如果我們在網絡上的其他網頁中發現這些內容,我們仍然會將這些網頁的網址編入索引。因此,網頁網址,可能還有其他公開信息(如指向網站的鏈接中的定位文字或開放目錄項目 (www.dmoz.org) 中的標題),都有可能會出現在 Google 搜索結果中。
為了能使用 robots.txt 文件,您必須要有對您域的根目錄的訪問權限(如果您不能確定是否有該權限,請與您的網絡托管商核實)。如果您沒有對域的根目錄的訪問權限,可以使用 robots 元標記來限制訪問。

 

臉書網友討論
發表於 2012-3-2 10:12:03 | 顯示全部樓層
請問大大能提供範例看看嗎

版主招募中

您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則



Archiver|手機版|小黑屋|免責聲明|TShopping

GMT+8, 2016-12-8 20:10 , Processed in 0.053649 second(s), 18 queries .

本論壇言論純屬發表者個人意見,與 TShopping綜合論壇 立場無關 如有意見侵犯了您的權益 請寫信聯絡我們。

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回復 返回頂部 返回列表