爬蟲的基本流程

　　發(fā)起請求

　　通過HTTP庫向目標站點發(fā)起請求，也就是發(fā)送一個Request，請求可以包含額外的header等信息，等待服務器響應

　　獲取響應內容

　　如果服務器能正常響應，會得到一個Response，Response的內容便是所要獲取的頁面內容，類型可能是HTML,Json字符串，二進制數(shù)據(jù)(圖片或者視頻)等類型

　　解析內容

　　得到的內容可能是HTML,可以用正則表達式，頁面解析庫進行解析，可能是Json,可以直接轉換為Json對象解析，可能是二進制數(shù)據(jù)，可以做保存或者進一步的處理

　　保存數(shù)據(jù)

　　保存形式多樣，可以存為文本，也可以保存到數(shù)據(jù)庫，或者保存特定格式的文件