爬蟲本質(zhì)上講就是獲取網(wǎng)頁，解析網(wǎng)頁，從這個角度上說，必須具備一定的HTTP基礎(chǔ)，最簡單的包括get，head，post等，有了基礎(chǔ)概念的支撐，你能更好理解爬蟲機制

　　必備的是python語法基礎(chǔ)，并且熟悉python的幾個常見的數(shù)據(jù)結(jié)構(gòu)set list dict

　　我們常常傾向于把知識包裝得相當復雜，以此顯得自己很牛逼。爬蟲不復雜。

　　你不需要學一堆基礎(chǔ)知識之后，再來玩爬蟲。

　　你不需要任何基礎(chǔ)，想學爬蟲，那么，直接、立即來玩爬蟲。

　　能讓代碼運行起來，能讀懂里面每行代碼有什么 python 的基礎(chǔ)知識點，你就可以對人說，我能玩一點爬蟲了。

　　當然學無止境。

　　但學習爬蟲最好的方式就是，直接把爬蟲玩起來，然后遇到一個盲區(qū)解決一個盲區(qū)，遇到一個無法解決的需求就嘗試一個新的實現(xiàn)。

　　當然學習爬蟲也可以從下面一些知識點入手學習。

　　1、http相關(guān)知識。

　　2、瀏覽器攔截、抓包。

　　3、python2 中編碼知識，python3 中bytes 和str類型轉(zhuǎn)換。

　　4、抓取javascript 動態(tài)生成的內(nèi)容。

　　4、模擬post、get，header等

　　5、cookie處理，登錄。

　　6、代理訪問。

　　7、多線程訪問、python 3 asyncio 異步。

　　8、正則表達式、xpath等