利用urllib的robotparser模塊，我們可以實現(xiàn)網(wǎng)站Robots協(xié)議的分析。本節(jié)中，我們來簡單了解一下該模塊的用法。

　　1. Robots協(xié)議

　　Robots協(xié)議也稱作爬蟲協(xié)議、機器人協(xié)議，它的全名叫作網(wǎng)絡爬蟲排除標準(Robots Exclusion Protocol)，用來告訴爬蟲和搜索引擎哪些頁面可以抓取，哪些不可以抓取。它通常是一個叫作robots.txt的文本文件，一般放在網(wǎng)站的根目錄下。

　　當搜索爬蟲訪問一個站點時，它首先會檢查這個站點根目錄下是否存在robots.txt文件，如果存在，搜索爬蟲會根據(jù)其中定義的爬取范圍來爬取。如果沒有找到這個文件，搜索爬蟲便會訪問所有可直接訪問的頁面。

　　下面我們看一個robots.txt的樣例：

　　1

　　2

　　3

　　User-agent: *

　　Disallow: /

　　Allow: /public/

　　這實現(xiàn)了對所有搜索爬蟲只允許爬取public目錄的功能，將上述內容保存成robots.txt文件，放在網(wǎng)站的根目錄下，和網(wǎng)站的入口文件(比如index.php、index.html和index.jsp等)放在一起。

　　上面的User-agent描述了搜索爬蟲的名稱，這里將其設置為*則代表該協(xié)議對任何爬取爬蟲有效。比如，我們可以設置：

　　1

　　User-agent: Baiduspider

　　這就代表我們設置的規(guī)則對百度爬蟲是有效的。如果有多條User-agent記錄，則就會有多個爬蟲會受到爬取限制，但至少需要指定一條。

　　Disallow指定了不允許抓取的目錄，比如上例子中設置為/則代表不允許抓取所有頁面。

　　Allow一般和Disallow一起使用，一般不會單獨使用，用來排除某些限制。現(xiàn)在我們設置為/public/，則表示所有頁面不允許抓取，但可以抓取public目錄。

　　下面我們再來看幾個例子。禁止所有爬蟲訪問任何目錄的代碼如下：

　　1

　　2

　　User-agent: *

　　Disallow: /

　　允許所有爬蟲訪問任何目錄的代碼如下：

　　1

　　2

　　User-agent: *

　　Disallow:

　　另外，直接把robots.txt文件留空也是可以的。

　　禁止所有爬蟲訪問網(wǎng)站某些目錄的代碼如下：

　　1

　　2

　　3

　　User-agent: *

　　Disallow: /private/

　　Disallow: /tmp/

　　只允許某一個爬蟲訪問的代碼如下：

　　1

　　2

　　3

　　4

　　User-agent: WebCrawler

　　Disallow:

　　User-agent: *

　　Disallow: /

　　這些是robots.txt的一些常見寫法。

　　2. 爬蟲名稱

　　大家可能會疑惑，爬蟲名是哪兒來的?為什么就叫這個名?其實它是有固定名字的了，比如百度的就叫作BaiduSpider。表3-1列出了一些常見的搜索爬蟲的名稱及對應的網(wǎng)站。

　　3. robotparser

　　了解Robots協(xié)議之后，我們就可以使用robotparser模塊來解析robots.txt了。該模塊提供了一個類RobotFileParser，它可以根據(jù)某網(wǎng)站的robots.txt文件來判斷一個爬取爬蟲是否有權限來爬取這個網(wǎng)頁。

　　該類用起來非常簡單，只需要在構造方法里傳入robots.txt的鏈接即可。首先看一下它的聲明：

　　1

　　urllib.robotparser.RobotFileParser(url='')

　　當然，也可以在聲明時不傳入，默認為空，最后再使用set_url()方法設置一下也可。

　　下面列出了這個類常用的幾個方法。

　　set_url()：用來設置robots.txt文件的鏈接。如果在創(chuàng)建RobotFileParser對象時傳入了鏈接，那么就不需要再使用這個方法設置了。

　　read()：讀取robots.txt文件并進行分析。注意，這個方法執(zhí)行一個讀取和分析操作，如果不調用這個方法，接下來的判斷都會為False，所以一定記得調用這個方法。這個方法不會返回任何內容，但是執(zhí)行了讀取操作。

　　parse()：用來解析robots.txt文件，傳入的參數(shù)是robots.txt某些行的內容，它會按照robots.txt的語法規(guī)則來分析這些內容。

　　can_fetch()：該方法傳入兩個參數(shù)，第一個是User-agent，第二個是要抓取的URL。返回的內容是該搜索引擎是否可以抓取這個URL，返回結果是True或False。

　　mtime()：返回的是上次抓取和分析robots.txt的時間，這對于長時間分析和抓取的搜索爬蟲是很有必要的，你可能需要定期檢查來抓取最新的robots.txt。

　　modified()：它同樣對長時間分析和抓取的搜索爬蟲很有幫助，將當前時間設置為上次抓取和分析robots.txt的時間。

　　下面我們用實例來看一下：

　　1

　　2

　　3

　　4

　　5

　　6

　　from urllib.robotparser import RobotFileParser

　　rp = RobotFileParser()

　　rp.set_url('http://www.jianshu.com/robots.txt')

　　rp.read()

　　print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))

　　print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))

　　這里以簡書為例，首先創(chuàng)建RobotFileParser對象，然后通過set_url()方法設置了robots.txt的鏈接。當然，不用這個方法的話，可以在聲明時直接用如下方法設置：

　　1

　　rp = RobotFileParser('http://www.jianshu.com/robots.txt')

　　接著利用can_fetch()方法判斷了網(wǎng)頁是否可以被抓取。

　　運行結果如下：

　　1

　　2

　　True

　　False

　　這里同樣可以使用parse()方法執(zhí)行讀取和分析，示例如下：

　　1

　　2

　　3

　　4

　　5

　　6

　　from urllib.robotparser import RobotFileParser

　　from urllib.request import urlopen

　　rp = RobotFileParser()

　　rp.parse(urlopen('http://www.jianshu.com/robots.txt').read().decode('utf-8').split('\n'))

　　print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))

　　print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))

　　運行結果一樣：

　　1

　　2

　　True

　　False

　　本節(jié)介紹了robotparser模塊的基本用法和實例，利用它，我們可以方便地判斷哪些頁面可以抓取，哪些頁面不可以抓取。