久久r热视频,国产午夜精品一区二区三区视频,亚洲精品自拍偷拍,欧美日韩精品二区

您的位置:首頁技術文章
文章詳情頁

python - pyspider爬取了接近1G的數據,無法導出csv?

瀏覽:117日期:2022-08-09 10:42:46

問題描述

已經增加虛擬機內存至2g,依然無法導出。

問題解答

回答1:

一般是分文件導出的,如果一個單位的數據大約是1M的話,就分成1024個文件。

另外,合成1G的csv也是不合實際的,因為1G的csv幾乎是打不開的。如果實在是要合成1G的話,把導出的一千多個文件再合成為一份CSV即可,文件合成python很容易實現。

回答2:

1G的數據月CSV處理本身就不太合理了。試試看sqlite3。

回答3:

8G一樣不夠,建議選擇數據庫作為存儲方案,1G規模的CSV是沒有存在的意義的。

回答4:

用ftp內網下載飛快.我前兩天傳8個g.感覺就是幾分鐘就下載好了

標簽: Python 編程
主站蜘蛛池模板: 景谷| 沅江市| 铅山县| 三门县| 云南省| 宿州市| 车致| 恭城| 乌兰县| 红河县| 花垣县| 庆云县| 赤峰市| 犍为县| 巴林右旗| 昆明市| 双鸭山市| 神木县| 望奎县| 中山市| 皋兰县| 阳信县| 新津县| 彰化市| 金坛市| 六安市| 泗水县| 和平县| 江津市| 六枝特区| 都江堰市| 清苑县| 峨山| 兴宁市| 太仓市| 青海省| 沙坪坝区| 澄迈县| 昌乐县| 高邑县| 左贡县|