對于搜索引擎而言，爬蟲效率的一個重要評價標(biāo)準(zhǔn)就是爬蟲開銷。淺析提高全棲運營網(wǎng)站的抓取率的方法有哪些？

Dasgupta等人將爬蟲開銷定義為：爬蟲開銷=重復(fù)抓取的老頁面數(shù)/發(fā)掘的新頁面數(shù)。那么，爬蟲的抓取頻率以及效率該如何優(yōu)化呢？下面進行具體介紹。

首先，以robots.txt命名的文本文件是個很強的利器，當(dāng)網(wǎng)站上擁有重復(fù)內(nèi)容、無內(nèi)容且無意義頁面等類似內(nèi)容的時候，就可以果斷地用robots.txt屏蔽掉。這里需要注意：robots.txt文件可以用通配符書寫，書寫是比較自由的。建議把xml格式的sitemap路徑放在robots.txt文件中，供搜索引擎尋找。

其次，當(dāng)需要合理地、有效率地下載一個網(wǎng)站時，設(shè)置參數(shù)nofollow，可以讓百度搜索引擎不抓取頁面上的所有鏈接。在robots.txt文件中添加rel=“noindex”語句，不能阻止百度爬蟲抓取，因為noindex參數(shù)可以讓搜索引擎不把當(dāng)前網(wǎng)頁置入索引庫，但是頁面上所有的鏈接，爬蟲都會去分析。若要屏蔽鏈接，要加上nofollow參數(shù)。

總之，提高爬蟲的抓取效率在SEO之中是一件比較重要的事情，尤其對于中大型網(wǎng)站而言，應(yīng)該將大部分精力放在讓爬蟲抓取更多更準(zhǔn)的頁面上，而不是讓它抓到無意義的頁面。