最近頁(yè)面抓取的相當(dāng)不理想，短短的三個(gè)月內(nèi)抓取的還沒(méi)有上兩位數(shù)，真的是對(duì)于這個(gè)抓取的相當(dāng)費(fèi)解，其他的網(wǎng)站無(wú)論從抓取量及外鏈上都有一定的提升，但是總有一兩個(gè)站是相當(dāng)不如意。

    我們都知道，robots協(xié)議（也稱為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。Robots協(xié)議的本質(zhì)是網(wǎng)站和搜索引擎爬蟲(chóng)的溝通方式，用來(lái)指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容。

    百度官方是推薦所有的網(wǎng)站都使用robots文件，以便更好地利用蜘蛛的抓取。其實(shí)robots不僅僅是告訴搜索引擎哪些不能抓取，更是網(wǎng)站優(yōu)化的重要工具之一。

    在網(wǎng)站優(yōu)化方面，利用robots文件告訴搜索引擎哪些是重要的內(nèi)容，不重要的內(nèi)容均推薦用robots文件來(lái)禁止抓取。不重要的內(nèi)容的典型代表：網(wǎng)站的搜索結(jié)果頁(yè)面。

    對(duì)于靜態(tài)網(wǎng)站來(lái)說(shuō)，我們可以利用Disallow: /*?*來(lái)禁止動(dòng)態(tài)頁(yè)面抓取。但對(duì)于動(dòng)態(tài)網(wǎng)站來(lái)說(shuō)，就不能簡(jiǎn)單地這樣做了。不過(guò)對(duì)于動(dòng)態(tài)網(wǎng)站的站長(zhǎng)來(lái)說(shuō)，也無(wú)需過(guò)于擔(dān)心，搜索引擎現(xiàn)在可以正常地抓取動(dòng)態(tài)頁(yè)面。那么在寫(xiě)的時(shí)候，就要注意了，我們可以具體到搜索文件的名稱來(lái)寫(xiě)。比如你的站是search.ph?后面一大串，那么可以這樣寫(xiě)：

    這樣就可以屏蔽搜索結(jié)果頁(yè)面了，寫(xiě)好了可以到百度站長(zhǎng)平臺(tái)檢測(cè)robots一下，看看有沒(méi)有錯(cuò)誤！可以輸入網(wǎng)址檢測(cè)一下，是不是正常生效了。