文章詳情頁
python3.x - 求助python下高效且支持大數據量的database2excel方案
瀏覽:142日期:2022-09-02 14:05:47
問題描述
大家好。小弟目前需要一個速度較好,且支持大數據量的數據庫導出至excel(xlsx)的方案小弟的機器配置不高,4核的CPU,可用內存在8G左右(不過是虛擬機,可能性能實際還要低一點)小弟之前嘗試過以下幾種方案openpyxl:大數據量情況下經常會吃光內存。實驗生成100W條/每條6個字段的數據,經常會把小弟這8G內存吃滿。生成excel時間大概在10分鐘~11分鐘左右pyexcel_xlsx:貌似這部分引用的還是openpyxl的東東…不過貌似有一定的優化,生成生成100W條/每條6個字段的數據,消耗內存近3G,時間在8分半左右
這兩個方案效率都非常低,而且小弟目前都沒有找到中途將內存寫入文件的方法…
請各位大大指點,是否還有其他的方案,最好是能夠控制單次寫入條數,例如每寫入5W條,進行一次提交,將內存的東東寫在文件中并釋放內存,再繼續寫入這樣的。(這樣也許可以考慮配合多線程來進行并行寫入,加快效率…)謝謝各位了
問題解答
回答1:pandas有分塊讀取的功能,關鍵詞chunksizedf = pd.read_csv('xxxx',chunksize=10000)可以去研究下文檔:http://pandas.pydata.org/pand...
標簽:
python
相關文章:
1. golang - 用IDE看docker源碼時的小問題2. nignx - docker內nginx 80端口被占用3. javascript - vue使用videojs+videojs-contrib-hls報錯4. io - java 文件操作,如何向指定的位置插入內容 (不是替換內容) ?5. javascript - JS 里面的 delete object.key 到底刪除了什么?6. javascript - webpack --hot 熱重載無效的問題7. dockerfile - [docker build image失敗- npm install]8. Python 爬蟲 遇到的問題(手淘問大家)9. 關docker hub上有些鏡像的tag被標記““This image has vulnerabilities””10. mysql如何配置遠程php外網鏈接數據庫
排行榜
