pyspider是Binux做的一個(gè)爬蟲架構(gòu)的開源化實(shí)現(xiàn)，主要功能有 ：

　　抓取、更新調(diào)度多站點(diǎn)的特定的頁(yè)面

　　需要對(duì)頁(yè)面進(jìn)行結(jié)構(gòu)化信息提取

　　靈活可擴(kuò)展，穩(wěn)定可監(jiān)控

　　pyspider以去重調(diào)度，隊(duì)列抓取，異常處理，監(jiān)控等功能作為框架，只需提供給抓取腳本，并保證靈活性。最后加上web的編輯調(diào)試環(huán)境，以及web任務(wù)監(jiān)控，即成為了這套框架。pyspider的設(shè)計(jì)基礎(chǔ)是：以python腳本驅(qū)動(dòng)的抓取環(huán)模型爬蟲

　　各個(gè)組件間使用消息隊(duì)列連接，除了scheduler是單點(diǎn)的，fetcher 和 processor 都是可以多實(shí)例分布式部署的。 scheduler 負(fù)責(zé)整體的調(diào)度控制

　　任務(wù)由 scheduler 發(fā)起調(diào)度，fetcher 抓取網(wǎng)頁(yè)內(nèi)容， processor 執(zhí)行預(yù)先編寫的python腳本，輸出結(jié)果或產(chǎn)生新的提鏈任務(wù)(發(fā)往 scheduler)，形成閉環(huán)

　　每個(gè)腳本可以靈活使用各種python庫(kù)對(duì)頁(yè)面進(jìn)行解析，使用框架API控制下一步抓取動(dòng)作，通過(guò)設(shè)置回調(diào)控制解析動(dòng)作。

　　以上就是python爬蟲pyspider框架的一些介紹，沒(méi)太看明白的小伙伴可以結(jié)合以上的圖片，相信對(duì)于pyspider框架的理解有一定的幫助。

　　如果你現(xiàn)在想學(xué)習(xí)python，贏取高薪工作機(jī)會(huì)，非常簡(jiǎn)單，填寫下面信息，學(xué)好python技術(shù)高薪工作機(jī)會(huì)唾手可得。