华南俳烁实业有限公司

python

當(dāng)前位置:中華考試網(wǎng) >> python >> python爬蟲 >> 文章內(nèi)容

Python3爬蟲進(jìn)階:CSV文件存儲

來源:中華考試網(wǎng)  [2020年11月17日]  【

  CSV,全稱為Comma-Separated Values,中文可以叫作逗號分隔值或字符分隔值,其文件以純文本形式存儲表格數(shù)據(jù)。該文件是一個字符序列,可以由任意數(shù)目的記錄組成,記錄間以某種換行符分隔。每條記錄由字段組成,字段間的分隔符是其他字符或字符串,最常見的是逗號或制表符。不過所有記錄都有完全相同的字段序列,相當(dāng)于一個結(jié)構(gòu)化表的純文本形式。它比Excel文件更加簡介,XLS文本是電子表格,它包含了文本、數(shù)值、公式和格式等內(nèi)容,而CSV中不包含這些內(nèi)容,就是特定字符分隔的純文本,結(jié)構(gòu)簡單清晰。所以,有時(shí)候用CSV來保存數(shù)據(jù)是比較方便的。本節(jié)中,我們來講解Python讀取和寫入CSV文件的過程。

  1. 寫入

  這里先看一個最簡單的例子:

  import csv

  with open('data.csv', 'w') as csvfile:

  writer = csv.writer(csvfile)

  writer.writerow(['id', 'name', 'age'])

  writer.writerow(['10001', 'Mike', 20])

  writer.writerow(['10002', 'Bob', 22])

  writer.writerow(['10003', 'Jordan', 21])

  首先,打開data.csv文件,然后指定打開的模式為w(即寫入),獲得文件句柄,隨后調(diào)用csv庫的writer()方法初始化寫入對象,傳入該句柄,然后調(diào)用writerow()方法傳入每行的數(shù)據(jù)即可完成寫入。

  運(yùn)行結(jié)束后,會生成一個名為data.csv的文件,此時(shí)數(shù)據(jù)就成功寫入了。直接以文本形式打開的話,其內(nèi)容如下:

  id,name,age

  10001,Mike,20

  10002,Bob,22

  10003,Jordan,21

  可以看到,寫入的文本默認(rèn)以逗號分隔,調(diào)用一次writerow()方法即可寫入一行數(shù)據(jù)。

  如果想修改列與列之間的分隔符,可以傳入delimiter參數(shù),其代碼如下:

  import csv

  with open('data.csv', 'w') as csvfile:

  writer = csv.writer(csvfile, delimiter=' ')

  writer.writerow(['id', 'name', 'age'])

  writer.writerow(['10001', 'Mike', 20])

  writer.writerow(['10002', 'Bob', 22])

  writer.writerow(['10003', 'Jordan', 21])

  這里在初始化寫入對象時(shí)傳入delimiter為空格,此時(shí)輸出結(jié)果的每一列就是以空格分隔了,內(nèi)容如下:

  id name age

  10001 Mike 20

  10002 Bob 22

  10003 Jordan 21

  另外,我們也可以調(diào)用writerows()方法同時(shí)寫入多行,此時(shí)參數(shù)就需要為二維列表,例如:

  import csv

  with open('data.csv', 'w') as csvfile:

  writer = csv.writer(csvfile)

  writer.writerow(['id', 'name', 'age'])

  writer.writerows([['10001', 'Mike', 20], ['10002', 'Bob', 22], ['10003', 'Jordan', 21]])

  輸出效果是相同的,內(nèi)容如下:

  id,name,age

  10001,Mike,20

  10002,Bob,22

  10003,Jordan,21

  但是一般情況下,爬蟲爬取的都是結(jié)構(gòu)化數(shù)據(jù),我們一般會用字典來表示。在csv庫中也提供了字典的寫入方式,示例如下:

  import csv

  with open('data.csv', 'w') as csvfile:

  fieldnames = ['id', 'name', 'age']

  writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

  writer.writeheader()

  writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})

  writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})

  writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})

  這里先定義3個字段,用fieldnames表示,然后將其傳給DictWriter來初始化一個字典寫入對象,接著可以調(diào)用writeheader()方法先寫入頭信息,然后再調(diào)用writerow()方法傳入相應(yīng)字典即可。最終寫入的結(jié)果是完全相同的,內(nèi)容如下:

python課程免費(fèi)試聽預(yù)約

  • 地區(qū):
  • 姓名:
  • 手機(jī):

  id,name,age

  10001,Mike,20

  10002,Bob,22

  10003,Jordan,21

  這樣就可以完成字典到CSV文件的寫入了。

  另外,如果想追加寫入的話,可以修改文件的打開模式,即將open()函數(shù)的第二個參數(shù)改成a,代碼如下:

  import csv

  with open('data.csv', 'a') as csvfile:

  fieldnames = ['id', 'name', 'age']

  writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

  writer.writerow({'id': '10004', 'name': 'Durant', 'age': 22})

  這樣在上面的基礎(chǔ)上再執(zhí)行這段代碼,文件內(nèi)容便會變成:

  id,name,age

  10001,Mike,20

  10002,Bob,22

  10003,Jordan,21

  10004,Durant,22

  可見,數(shù)據(jù)被追加寫入到文件中。

  如果要寫入中文內(nèi)容的話,可能會遇到字符編碼的問題,此時(shí)需要給open()參數(shù)指定編碼格式。比如,這里再寫入一行包含中文的數(shù)據(jù),代碼需要改寫如下:

  import csv

  with open('data.csv', 'a', encoding='utf-8') as csvfile:

  fieldnames = ['id', 'name', 'age']

  writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

  writer.writerow({'id': '10005', 'name': '王偉', 'age': 22})

  這里需要給open()函數(shù)指定編碼,否則可能發(fā)生編碼錯誤。

  另外,如果接觸過pandas等庫的話,可以調(diào)用DataFrame對象的to_csv()方法來將數(shù)據(jù)寫入CSV文件中。

  2. 讀取

  我們同樣可以使用csv庫來讀取CSV文件。例如,將剛才寫入的文件內(nèi)容讀取出來,相關(guān)代碼如下:

  import csv

  with open('data.csv', 'r', encoding='utf-8') as csvfile:

  reader = csv.reader(csvfile)

  for row in reader:

  print(row)

  運(yùn)行結(jié)果如下:

  ['id', 'name', 'age']

  ['10001', 'Mike', '20']

  ['10002', 'Bob', '22']

  ['10003', 'Jordan', '21']

  ['10004', 'Durant', '22']

  ['10005', '王偉', '22']

  這里我們構(gòu)造的是Reader對象,通過遍歷輸出了每行的內(nèi)容,每一行都是一個列表形式。注意,如果CSV文件中包含中文的話,還需要指定文件編碼。

  另外,如果接觸過pandas的話,可以利用read_csv()方法將數(shù)據(jù)從CSV中讀取出來,例如:

  import pandas as pd

  df = pd.read_csv('data.csv')

  print(df)

  運(yùn)行結(jié)果如下:

  id name age

  0 10001 Mike 20

  1 10002 Bob 22

  2 10003 Jordan 21

  3 10004 Durant 22

  4 10005 王偉 22

  在做數(shù)據(jù)分析的時(shí)候,此種方法用得比較多,也是一種比較方便地讀取CSV文件的方法。

  本節(jié)中,我們了解了CSV文件的寫入和讀取方式。這也是一種常用的數(shù)據(jù)存儲方式,需要熟練掌握。

責(zé)編:fushihao

上一篇:Python3:解析鏈接

下一篇: 沒有了

  • 會計(jì)考試
  • 建筑工程
  • 職業(yè)資格
  • 醫(yī)藥考試
  • 外語考試
  • 學(xué)歷考試
津南区| 郧西县| 务川| 军事| 垫江县| 永修县| 桦甸市| 荣昌县| 女性| 恩平市| 博乐市| 德清县| 湘阴县| 互助| 怀来县| 保定市| SHOW| 大宁县| 黔东| 永济市| 贺兰县| 玛纳斯县| 连南| 攀枝花市| 晋宁县| 雷山县| 恩施市| 马鞍山市| 宜兰市| 盐山县| 秭归县| 兰坪| 改则县| 新郑市| 金塔县| 延寿县| 青神县| 恭城| 伊宁县| 平安县| 革吉县|