網(wǎng)絡(luò)爬蟲(Web crawler)，是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本，它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類似網(wǎng)站，可以自動采集所有其能夠訪問到的頁面，以獲取這些網(wǎng)站的內(nèi)容。而Scrapy則是一種十分強大的爬蟲框架，并且它是用python編寫的。下面我們來一起看看什么是Scrapy?

　　一、所需知識

　　需要的知識有：linux系統(tǒng) + Python語言 +Scrapy框架 + XPath(XML路徑語言) + 一些輔助工具(瀏覽器的開發(fā)者工具和XPath helper插件)。

　　我們的爬蟲是使用Python語言的Scrapy爬蟲框架開發(fā)，在linux上運行，所以需要熟練掌握Python語言和Scrapy框架以及l(fā)inux操作系統(tǒng)的基本知識。

　　我們需要使用XPath從目標(biāo)HTML頁面中提取我們想要的東西，包括漢語文字段落和“下一頁”的鏈接等。

　　瀏覽器的開發(fā)者工具是編寫爬蟲主要使用的輔助工具。使用該工具可以分析頁面鏈接的規(guī)律，可以用來定位HTML頁面中想要提取的元素，然后提取其XPath表達(dá)式用于爬蟲代碼中，還可以查看頁面請求頭的Referer、Cookie等信息。如果爬取的目標(biāo)是動態(tài)網(wǎng)站，該工具還可以分析出背后的JavaScript請求。

　　XPath helper插件是chrome的一個插件，基于chrome核的瀏覽器也可以安裝。XPath helper可以用來調(diào)試XPath表達(dá)式。

　　二、環(huán)境搭建

　　安裝Scrapy可以使用pip命令：pip install Scrapy

　　Scrapy相關(guān)依賴較多，因此在安裝過程中可能遇到如下問題：

　　ImportError: No module named w3lib.http

　　解決：pip install w3lib

　　ImportError: No module named twisted

　　解決：pip install twisted

　　ImportError: No module named lxml.HTML

　　解決：pip install lxml

　　error: libxml/xmlversion.h: No such file or directory

　　解決：apt-get install libxml2-dev libxslt-dev

　　apt-get install Python-lxml

　　ImportError: No module named cssselect

　　解決：pip install cssselect

　　ImportError: No module named OpenSSL

　　解決：pip install pyOpenSSL

　　建議：

　　使用簡單的方法：使用anaconda安裝。

　　三、Scrapy框架

　　1. Scrapy簡介

　　Scrapy是大名鼎鼎的爬蟲框架，是使用Python編寫的。Scrapy可以很方便的進(jìn)行web抓取，并且也可以很方便的根據(jù)自己的需求進(jìn)行定制。

　　2.Scrapy組件

　　Scrapy主要包括了以下組件：

　　引擎(Scrapy)

　　用來處理整個系統(tǒng)的數(shù)據(jù)流,觸發(fā)事務(wù)(框架核心)。

　　調(diào)度器(Scheduler)

　　用來接受引擎發(fā)過來的請求,壓入隊列中, 并在引擎再次請求的時候返回. 可以想像成一個URL(抓取網(wǎng)頁的網(wǎng)址或者說是鏈接)的優(yōu)先隊列, 由它來決定下一個要抓取的網(wǎng)址是什么, 同時去除重復(fù)的網(wǎng)址。

　　下載器(Downloader)

　　用于下載網(wǎng)頁內(nèi)容, 并將網(wǎng)頁內(nèi)容返回給蜘蛛(Scrapy下載器是建立在twisted這個高效的異步模型上的) 。

　　爬蟲(Spiders)

　　爬蟲是主要干活的, 用于從特定的網(wǎng)頁中提取自己需要的信息, 即所謂的實體(Item)。用戶也可以從中提取出鏈接,讓Scrapy繼續(xù)抓取下一個頁面。

　　項目管道(Pipeline)

　　負(fù)責(zé)處理爬蟲從網(wǎng)頁中抽取的實體，主要的功能是持久化實體、驗證實體的有效性、清除不需要的信息。當(dāng)頁面被爬蟲解析后，將被發(fā)送到項目管道，并經(jīng)過幾個特定的次序處理數(shù)據(jù)。

　　下載器中間件(Downloader Middlewares)

　　位于Scrapy引擎和下載器之間的框架，主要是處理Scrapy引擎與下載器之間的請求及響應(yīng)。

　　爬蟲中間件(Spider Middlewares)

　　介于Scrapy引擎和爬蟲之間的框架，主要工作是處理蜘蛛的響應(yīng)輸入和請求輸出。

　　調(diào)度中間件(Scheduler Middewares)

　　介于Scrapy引擎和調(diào)度之間的中間件，從Scrapy引擎發(fā)送到調(diào)度的請求和響應(yīng)。

　　Scrapy運行流程：

　　1.引擎從調(diào)度器中取出一個鏈接(URL)用于接下來的抓取

　　2.引擎把URL封裝成一個請求(Request)傳給下載器

　　3.下載器把資源下載下來，并封裝成應(yīng)答包(Response)

　　4.爬蟲解析Response

　　5.解析出實體(Item),則交給實體管道進(jìn)行進(jìn)一步的處理

　　6.解析出的是鏈接(URL),則把URL交給調(diào)度器等待抓取