python為什么叫爬蟲

　　爬蟲一般是指網(wǎng)絡(luò)資源的抓取，因為python的腳本特性，python易于配置，對字符的處理也非常靈活，加上python有豐富的網(wǎng)絡(luò)抓取模塊，所以兩者經(jīng)常聯(lián)系在一起。

　　為什么python適合寫爬蟲?

　　我用c#,java都寫過爬蟲。區(qū)別不大，原理就是利用好正則表達式。只不過是平臺問題。后來了解到很多爬蟲都是用python寫的。因為目前對python并不熟，所以也不知道這是為什么。百度了下結(jié)果：

　　1)抓取網(wǎng)頁本身的接口

　　相比與其他靜態(tài)編程語言，如java，c#，C++，python抓取網(wǎng)頁文檔的接口更簡潔;相比其他動態(tài)腳本語言，如perl，shell，python的urllib2包提供了較為完整的訪問網(wǎng)頁文檔的API。(當然ruby也是很好的選擇)

　　此外，抓取網(wǎng)頁有時候需要模擬瀏覽器的行為，很多網(wǎng)站對于生硬的爬蟲抓取都是封殺的。這是我們需要模擬user agent的行為構(gòu)造合適的請求，譬如模擬用戶登陸、模擬session/cookie的存儲和設(shè)置。在python里都有非常優(yōu)秀的第三方包幫你搞定，如Requests，mechanize

　　2)網(wǎng)頁抓取后的處理

　　抓取的網(wǎng)頁通常需要處理，比如過濾html標簽，提取文本等。python的beautifulsoap提供了簡潔的文檔處理功能，能用極短的代碼完成大部分文檔的處理。

　　其實以上功能很多語言和工具都能做，但是用python能夠干得最快，最干凈。Life is short， u need python.

　　沖最后一句‘Life is short， u need python’，立馬在當當上買了本python的書!以前就膜拜過python大牛，一直想學(xué)都扯于各種借口遲遲沒有開始。。

　　py用在linux上很強大，語言挺簡單的。

　　NO.1 快速開發(fā)(唯一能和python比開發(fā)效率的語言只有rudy)語言簡潔，沒那么多技巧，所以讀起來很清楚容易。

　　NO.2跨平臺(由于python的開源，他比java更能體現(xiàn)"一次編寫到處運行"

　　NO.3解釋性( 無須編譯，直接運行/調(diào)試代碼)

　　NO.4構(gòu)架選擇太多(GUI構(gòu)架方面 主要的就有 wxPython, tkInter, PyGtk, PyQt 。

　　怎么用python寫爬蟲來抓數(shù)據(jù)

　　用python語言來寫爬蟲，建議先熟悉python的基礎(chǔ)語法，再深入練習。

　　如果用python寫爬蟲是為了滿足“抓數(shù)據(jù)”的需求，使用爬蟲軟件更為方便。

　　推薦使用八爪魚：一款行業(yè)知名的免費爬蟲軟件，操作簡單、功能強大。編程老手還能使用八爪魚的高級功能。雖然自由度不如python，但掌握成本低，能幫助用戶將有限的資源投入到更有意義的事情上去。

　　為什么Python寫的爬蟲有時候抓取的數(shù)據(jù)是亂碼

　　寫爬蟲是經(jīng)常會遇到這樣的問題，這種問題很顯然是編碼問題，解決的方法其實也不難。

　　你可以用下面的兩個方法來解決你的編碼問題：

　　第一種是，通過瀏覽器打開你寫的html之后，找到瀏覽器中的文字編碼修改，將編碼改為Unicode編碼，即可修復(fù)。

　　xml takes all the pain out of XML. Stephan Richter lxml是Python語言里和XML以及HTML工作的功能最豐富和最容易使用的庫