华南俳烁实业有限公司

python

當(dāng)前位置:中華考試網(wǎng) >> python >> python教程 >> 文章內(nèi)容

Python3爬蟲:CSV文件存儲

來源:中華考試網(wǎng)  [2020年11月4日]  【

  CSV,全稱為Comma-Separated Values,中文可以叫作逗號分隔值或字符分隔值,其文件以純文本形式存儲表格數(shù)據(jù)。該文件是一個字符序列,可以由任意數(shù)目的記錄組成,記錄間以某種換行符分隔。每條記錄由字段組成,字段間的分隔符是其他字符或字符串,最常見的是逗號或制表符。不過所有記錄都有完全相同的字段序列,相當(dāng)于一個結(jié)構(gòu)化表的純文本形式。它比Excel文件更加簡介,XLS文本是電子表格,它包含了文本、數(shù)值、公式和格式等內(nèi)容,而CSV中不包含這些內(nèi)容,就是特定字符分隔的純文本,結(jié)構(gòu)簡單清晰。所以,有時候用CSV來保存數(shù)據(jù)是比較方便的。本節(jié)中,我們來講解Python讀取和寫入CSV文件的過程。

  1. 寫入

  這里先看一個最簡單的例子:

  import csv

  with open('data.csv', 'w') as csvfile:

  writer = csv.writer(csvfile)

  writer.writerow(['id', 'name', 'age'])

  writer.writerow(['10001', 'Mike', 20])

  writer.writerow(['10002', 'Bob', 22])

  writer.writerow(['10003', 'Jordan', 21])

  首先,打開data.csv文件,然后指定打開的模式為w(即寫入),獲得文件句柄,隨后調(diào)用csv庫的writer()方法初始化寫入對象,傳入該句柄,然后調(diào)用writerow()方法傳入每行的數(shù)據(jù)即可完成寫入。

  運行結(jié)束后,會生成一個名為data.csv的文件,此時數(shù)據(jù)就成功寫入了。直接以文本形式打開的話,其內(nèi)容如下:

  id,name,age

  10001,Mike,20

  10002,Bob,22

  10003,Jordan,21

  可以看到,寫入的文本默認(rèn)以逗號分隔,調(diào)用一次writerow()方法即可寫入一行數(shù)據(jù)。用Excel打開的結(jié)果如圖5-6所示。

  如果想修改列與列之間的分隔符,可以傳入delimiter參數(shù),其代碼如下:

  import csv

  with open('data.csv', 'w') as csvfile:

  writer = csv.writer(csvfile, delimiter=' ')

  writer.writerow(['id', 'name', 'age'])

  writer.writerow(['10001', 'Mike', 20])

  writer.writerow(['10002', 'Bob', 22])

  writer.writerow(['10003', 'Jordan', 21])

  這里在初始化寫入對象時傳入delimiter為空格,此時輸出結(jié)果的每一列就是以空格分隔了,內(nèi)容如下:

  id name age

  10001 Mike 20

  10002 Bob 22

  10003 Jordan 21

  另外,我們也可以調(diào)用writerows()方法同時寫入多行,此時參數(shù)就需要為二維列表,例如:

  import csv

  with open('data.csv', 'w') as csvfile:

  writer = csv.writer(csvfile)

  writer.writerow(['id', 'name', 'age'])

  writer.writerows([['10001', 'Mike', 20], ['10002', 'Bob', 22], ['10003', 'Jordan', 21]])

  輸出效果是相同的,內(nèi)容如下:

  id,name,age

  10001,Mike,20

  10002,Bob,22

  10003,Jordan,21

  但是一般情況下,爬蟲爬取的都是結(jié)構(gòu)化數(shù)據(jù),我們一般會用字典來表示。在csv庫中也提供了字典的寫入方式,示例如下:

  import csv

  with open('data.csv', 'w') as csvfile:

  fieldnames = ['id', 'name', 'age']

  writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

  writer.writeheader()

  writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})

  writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})

  writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})

  這里先定義3個字段,用fieldnames表示,然后將其傳給DictWriter來初始化一個字典寫入對象,接著可以調(diào)用writeheader()方法先寫入頭信息,然后再調(diào)用writerow()方法傳入相應(yīng)字典即可。最終寫入的結(jié)果是完全相同的,內(nèi)容如下:

  id,name,age

  10001,Mike,20

  10002,Bob,22

  10003,Jordan,21

  這樣就可以完成字典到CSV文件的寫入了。

  另外,如果想追加寫入的話,可以修改文件的打開模式,即將open()函數(shù)的第二個參數(shù)改成a,代碼如下:

  import csv

  with open('data.csv', 'a') as csvfile:

  fieldnames = ['id', 'name', 'age']

  writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

  writer.writerow({'id': '10004', 'name': 'Durant', 'age': 22})

  這樣在上面的基礎(chǔ)上再執(zhí)行這段代碼,文件內(nèi)容便會變成:

  id,name,age

  10001,Mike,20

  10002,Bob,22

  10003,Jordan,21

  10004,Durant,22

  可見,數(shù)據(jù)被追加寫入到文件中。

  如果要寫入中文內(nèi)容的話,可能會遇到字符編碼的問題,此時需要給open()參數(shù)指定編碼格式。比如,這里再寫入一行包含中文的數(shù)據(jù),代碼需要改寫如下:

  import csv

  with open('data.csv', 'a', encoding='utf-8') as csvfile:

  fieldnames = ['id', 'name', 'age']

  writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

  writer.writerow({'id': '10005', 'name': '王偉', 'age': 22})

  這里需要給open()函數(shù)指定編碼,否則可能發(fā)生編碼錯誤。

  另外,如果接觸過pandas等庫的話,可以調(diào)用DataFrame對象的to_csv()方法來將數(shù)據(jù)寫入CSV文件中。

  2. 讀取

  我們同樣可以使用csv庫來讀取CSV文件。例如,將剛才寫入的文件內(nèi)容讀取出來,相關(guān)代碼如下:

  import csv

  with open('data.csv', 'r', encoding='utf-8') as csvfile:

  reader = csv.reader(csvfile)

  for row in reader:

  print(row)

  運行結(jié)果如下:

  ['id', 'name', 'age']

  ['10001', 'Mike', '20']

  ['10002', 'Bob', '22']

  ['10003', 'Jordan', '21']

  ['10004', 'Durant', '22']

  ['10005', '王偉', '22']

  這里我們構(gòu)造的是Reader對象,通過遍歷輸出了每行的內(nèi)容,每一行都是一個列表形式。注意,如果CSV文件中包含中文的話,還需要指定文件編碼。

  另外,如果接觸過pandas的話,可以利用read_csv()方法將數(shù)據(jù)從CSV中讀取出來,例如:

  import pandas as pd

  df = pd.read_csv('data.csv')

  print(df)

  運行結(jié)果如下:

  id name age

  0 10001 Mike 20

  1 10002 Bob 22

  2 10003 Jordan 21

  3 10004 Durant 22

  4 10005 王偉 22

  在做數(shù)據(jù)分析的時候,此種方法用得比較多,也是一種比較方便地讀取CSV文件的方法。

責(zé)編:fushihao
  • 會計考試
  • 建筑工程
  • 職業(yè)資格
  • 醫(yī)藥考試
  • 外語考試
  • 學(xué)歷考試
慈利县| 民丰县| 平武县| 宁波市| 太仆寺旗| 东乡县| 大名县| 江川县| 河南省| 凤山市| 临泉县| 古交市| 长垣县| 嘉黎县| 兰考县| 麻阳| 兴化市| 朝阳区| 绥棱县| 上栗县| 霍林郭勒市| 白朗县| 昔阳县| 鸡泽县| 延川县| 巴中市| 台山市| 岳池县| 封开县| 乐陵市| 新沂市| 交口县| 东兴市| 阿尔山市| 华坪县| 新干县| 白水县| 通辽市| 扬中市| 邹平县| 长沙县|