久久r热视频,国产午夜精品一区二区三区视频,亚洲精品自拍偷拍,欧美日韩精品二区

您的位置:首頁技術文章
文章詳情頁

python3.x - 求助python下高效且支持大數據量的database2excel方案

瀏覽:142日期:2022-09-02 14:05:47

問題描述

大家好。小弟目前需要一個速度較好,且支持大數據量的數據庫導出至excel(xlsx)的方案小弟的機器配置不高,4核的CPU,可用內存在8G左右(不過是虛擬機,可能性能實際還要低一點)小弟之前嘗試過以下幾種方案openpyxl:大數據量情況下經常會吃光內存。實驗生成100W條/每條6個字段的數據,經常會把小弟這8G內存吃滿。生成excel時間大概在10分鐘~11分鐘左右pyexcel_xlsx:貌似這部分引用的還是openpyxl的東東…不過貌似有一定的優化,生成生成100W條/每條6個字段的數據,消耗內存近3G,時間在8分半左右

這兩個方案效率都非常低,而且小弟目前都沒有找到中途將內存寫入文件的方法…

請各位大大指點,是否還有其他的方案,最好是能夠控制單次寫入條數,例如每寫入5W條,進行一次提交,將內存的東東寫在文件中并釋放內存,再繼續寫入這樣的。(這樣也許可以考慮配合多線程來進行并行寫入,加快效率…)謝謝各位了

問題解答

回答1:

pandas有分塊讀取的功能,關鍵詞chunksizedf = pd.read_csv('xxxx',chunksize=10000)可以去研究下文檔:http://pandas.pydata.org/pand...

標簽: python
相關文章:
主站蜘蛛池模板: 岐山县| 涟源市| 新和县| 阿克| 田阳县| 武冈市| 内乡县| 天台县| 锦州市| 波密县| 名山县| 始兴县| 敦化市| 乌兰浩特市| 开平市| 延安市| 洪江市| 临夏市| 黑山县| 清流县| 类乌齐县| 平山县| 钟祥市| 南木林县| 道真| 延吉市| 松滋市| 靖西县| 普格县| 布拖县| 河池市| 嘉祥县| 广水市| 宜良县| 班戈县| 龙里县| 桐乡市| 买车| 民权县| 博客| 平江县|