平時(shí)打開小文件的時(shí)候沒有注意,當(dāng)偶爾有較大的excel需要運(yùn)行,就會出現(xiàn)openpyxl變慢問題 。今天小編就教大家解決運(yùn)行較大excel文件時(shí)openpyxl變慢的問題 。
運(yùn)行以下代碼:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
from openpyxl import Workbook
from openpyxl.utils import get_column_letter
from openpyxl import load_workbook
import time
wb = load_workbook("E:/a.xlsx", read_only=True)
sh = wb["Sheet"]
# rowItem = {}
# for j in range(1,2000):
# for i in range(1, 30):
# rowItem[get_column_letter(i)] = i
# sh.append(rowItem)
# wb.save("E:/a.xlsx")
t0 = time.time()
print(sh['V500'].value)
t1 = time.time()
print("openpyxl所用時(shí)間:", str(t1-t0))
import xlrd
xlsPath = "E:/a.xlsx"
WorkBook = xlrd.open_workbook(xlsPath)
sh = WorkBook.sheet_by_name("Sheet")
t0 = time.time()
print(sh.cell(499,22).value)
t1 = time.time()
print("xlrd所用時(shí)間:", str(t1-t0))
測試結(jié)果:
1
2
3
4
22
openpyxl所用時(shí)間: 0.44217610359191895
23.0
xlrd所用時(shí)間: 0.0010063648223876953
結(jié)論
openpyxl的慢是讀取慢,可以選擇xlrd代替,詳細(xì)測試下面繼續(xù)。
不直接使用xlwt+xlrd是因?yàn)閤lwt僅支持2003及以下版本,最大行數(shù)限制在65536,不夠用,而openpyxl大概在一百多萬。
主要的說完了,下面詳細(xì)說了:在寫工具的時(shí)候遇到的這個問題,開始是用的xlwt+xlrd,然后行數(shù)超標(biāo)了,沒辦法換成openpyxl使用excel2007的版本,原本測試不到三萬行的數(shù)據(jù),只要三四秒,換成openpyxl以后,花了好幾分鐘,具體沒看多少了,然后加上函數(shù)運(yùn)行時(shí)間的監(jiān)視器以后,才看到是讀取的時(shí)候出的問題。
推測原因:
推測的話,openpyxl的根據(jù)行號列號讀取的時(shí)候,是從第 一行第 一列開始遍歷,直到行號等于指定行號,列號等于指定列號,所以要讀取的行號列號越多就越慢,(也可能是從第 一個有數(shù)據(jù)的行或列),而xlrd則是類似與數(shù)組一樣,我們要取第幾個元素,直接根據(jù)下標(biāo)找到內(nèi)存中對應(yīng)地址的元素即可,所以無論excel總量多少,速度基本都是不變的。
知識拓展:
xlwt寫入僅支持65536行,那xlrd的讀取很可能也是,也就是超過這么多的數(shù)據(jù)可能也會出錯。
我這里因?yàn)槭亲x多表數(shù)據(jù)生成單表數(shù)據(jù),生成方式大概是Na*Nb這樣,所以實(shí)際讀取的不會太多,但生成的很多,所以基本可以用考慮這個問題。
另外,據(jù)說xlrd讀取xlsx格式的偶爾會出現(xiàn)問題,具體沒測試,暫時(shí)用還沒毛病。
最后,順帶上一下監(jiān)控函數(shù)運(yùn)行時(shí)間的裝飾器吧:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import time
from functools import wraps
def fn_timer(function):
@wraps(function)
def function_timer(*args, **kwargs):
t0 = time.time()
result = function(*args, **kwargs)
t1 = time.time()
print ("Total time running %s: %s seconds" %
(function.__name__, str(t1-t0))
)
return result
return function_timer
使用方式的話,就是在要監(jiān)控的函數(shù)定義上面加上 @fn_timer 就行了。
相信下次用openpyxl打開大的excel文件后,小伙伴們不需要慢慢等待了。
上一篇:python獲取當(dāng)前時(shí)間日期有哪些方法?
下一篇: 沒有了
初級會計(jì)職稱中級會計(jì)職稱經(jīng)濟(jì)師注冊會計(jì)師證券從業(yè)銀行從業(yè)會計(jì)實(shí)操統(tǒng)計(jì)師審計(jì)師高級會計(jì)師基金從業(yè)資格稅務(wù)師資產(chǎn)評估師國際內(nèi)審師ACCA/CAT價(jià)格鑒證師統(tǒng)計(jì)資格從業(yè)
一級建造師二級建造師消防工程師造價(jià)工程師土建職稱房地產(chǎn)經(jīng)紀(jì)人公路檢測工程師建筑八大員注冊建筑師二級造價(jià)師監(jiān)理工程師咨詢工程師房地產(chǎn)估價(jià)師 城鄉(xiāng)規(guī)劃師結(jié)構(gòu)工程師巖土工程師安全工程師設(shè)備監(jiān)理師環(huán)境影響評價(jià)土地登記代理公路造價(jià)師公路監(jiān)理師化工工程師暖通工程師給排水工程師計(jì)量工程師
人力資源考試教師資格考試出版專業(yè)資格健康管理師導(dǎo)游考試社會工作者司法考試職稱計(jì)算機(jī)營養(yǎng)師心理咨詢師育嬰師事業(yè)單位教師招聘公務(wù)員公選考試招警考試選調(diào)生村官
執(zhí)業(yè)藥師執(zhí)業(yè)醫(yī)師衛(wèi)生資格考試衛(wèi)生高級職稱護(hù)士資格證初級護(hù)師主管護(hù)師住院醫(yī)師臨床執(zhí)業(yè)醫(yī)師臨床助理醫(yī)師中醫(yī)執(zhí)業(yè)醫(yī)師中醫(yī)助理醫(yī)師中西醫(yī)醫(yī)師中西醫(yī)助理口腔執(zhí)業(yè)醫(yī)師口腔助理醫(yī)師公共衛(wèi)生醫(yī)師公衛(wèi)助理醫(yī)師實(shí)踐技能內(nèi)科主治醫(yī)師外科主治醫(yī)師中醫(yī)內(nèi)科主治兒科主治醫(yī)師婦產(chǎn)科醫(yī)師西藥士/師中藥士/師臨床檢驗(yàn)技師臨床醫(yī)學(xué)理論中醫(yī)理論