關(guān)于爬蟲(chóng)亂碼有很多各式各樣的問(wèn)題，這里不僅是中文亂碼，編碼轉(zhuǎn)換、還包括一些如日文、韓文 、俄文、藏文之類的亂碼處理，因?yàn)榻鉀Q方式是一致的，故在此統(tǒng)一說(shuō)明。

　　網(wǎng)絡(luò)爬蟲(chóng)出現(xiàn)亂碼的原因

　　源網(wǎng)頁(yè)編碼和爬取下來(lái)后的編碼格式不一致。

　　如源網(wǎng)頁(yè)為gbk編碼的字節(jié)流，而我們抓取下后程序直接使用utf-8進(jìn)行編碼并輸出到存儲(chǔ)文件中，這必 然會(huì)引起亂碼 即當(dāng)源網(wǎng)頁(yè)編碼和抓取下來(lái)后程序直接使用處理編碼一致時(shí)，則不會(huì)出現(xiàn)亂碼; 此時(shí)再進(jìn)行統(tǒng)一的字符編碼也就不會(huì)出現(xiàn)亂碼了。

　　注意區(qū)分

　　源網(wǎng)編碼A、程序直接使用的編碼B、統(tǒng)一轉(zhuǎn)換字符的編碼C。

　　亂碼的解決方法

　　確定源網(wǎng)頁(yè)的編碼A,編碼A往往在網(wǎng)頁(yè)中的三個(gè)位置

　　1.http header的Content-Type

　　獲取服務(wù)器 header 的站點(diǎn)可以通過(guò)它來(lái)告知瀏覽器一些頁(yè)面內(nèi)容的相關(guān)信息。 Content-Type 這一條目的寫(xiě)法就是 "text/html; charset=utf-8"。

　　2.meta charset

　　3.網(wǎng)頁(yè)頭中Document定義

　　如今python編程語(yǔ)言市場(chǎng)需求大，薪資待遇上萬(wàn)盡在咫尺！如果你也想學(xué)習(xí)python技術(shù)可以填寫(xiě)下面表單，Python學(xué)習(xí)資料限時(shí)免費(fèi)領(lǐng)�。�