requests模塊是python中原生的基于網(wǎng)絡(luò)請(qǐng)求的模塊，是python的一個(gè)HTTP客戶端庫(kù)，跟urllib，urllib2類似，其主要作用是用來(lái)模擬瀏覽器發(fā)起請(qǐng)求。功能強(qiáng)大，用法簡(jiǎn)潔高 效。在爬蟲領(lǐng)域中占據(jù)著半壁江山的地 位。今天，小編就介紹一下是requests模塊的安裝及使用方法。

　　一、安裝

　　第一步：pip安裝

　　https://pypi.org/project/pip/#files下載pip壓縮文件包，最好將其下載到scripts目錄下。進(jìn)入到安裝目錄下，執(zhí)行：

　　python setup.py install

　　將

　　D:\envi\python2.7\Scripts添加到環(huán)境變量新打開一個(gè)命令行窗口，執(zhí)行

　　pip list

　　第二步：requests安裝命令

　　pip install requests

　　二、使用：爬取百度網(wǎng)站內(nèi)容

　　導(dǎo)入模塊

　　#導(dǎo)入requests模塊

　　import requests

　　指定url

　　#1:指定url

　　url='https://www.baidu.com/'

　　發(fā)起請(qǐng)求

　　#2:發(fā)起請(qǐng)求(get方法會(huì)返回一個(gè)響應(yīng)對(duì)象)

　　response = requests.get(url=url)

　　獲取響應(yīng)數(shù)據(jù)

　　#3:獲取響應(yīng)數(shù)據(jù)

　　page_text = response.text

　　持久化存儲(chǔ)

　　#4:持久化存儲(chǔ)

　　with open('./baidu.html','w',encoding='utf-8') as fp:

　　fp.write(page_text)

　　print('爬完了')

　　三：requests異常處理

　　異常：比如網(wǎng)絡(luò)連接錯(cuò)誤、http錯(cuò)誤異常、重定向異常、請(qǐng)求url超時(shí)異常等等。

　　處理：可以利用 response.raise_for_status() 語(yǔ)句去捕捉異常，該語(yǔ)句在方法內(nèi)部判斷r.status_code是否等于200，如果不等于，則拋出異常。

　　爬取網(wǎng)頁(yè)的通用代碼框架：

　　try:

　　response=requests.get(url)

　　response.raise_for_status() #如果狀態(tài)不是200，則引發(fā)異常

　　except:

　　print("產(chǎn)生異常")

　　requests 會(huì)自動(dòng)實(shí)現(xiàn)持久連接keep-alive，requests 支持 HTTP 連接保持和連接池，支持使用 cookie 保持會(huì)話，支持文件上傳，支持自動(dòng)確定響應(yīng)內(nèi)容的編碼，支持國(guó)際化的 URL 和 POST 數(shù)據(jù)自動(dòng)編碼，現(xiàn)代、國(guó)際化、人性化。

　　如今python編程語(yǔ)言市場(chǎng)需求大，薪資待遇上萬(wàn)盡在咫尺！如果你也想學(xué)習(xí)python技術(shù)可以填寫下面表單，Python學(xué)習(xí)資料限時(shí)免費(fèi)領(lǐng)��！