久久r热视频,国产午夜精品一区二区三区视频,亚洲精品自拍偷拍,欧美日韩精品二区

您的位置:首頁技術文章
文章詳情頁

python - 為什么感覺 pyspider 爬取的速度好慢

瀏覽:142日期:2022-08-08 09:43:03

問題描述

為什么感覺 pyspider 爬取的速度好慢(比自己直接用 requests 和 bs慢多了),是不是因為有些網頁會 retry,不過成功率倒是比自己爬取的高多了。是不是我的使用方法不對?求解釋

問題解答

回答1:

這里可以設置 web ui 控制臺上的 rate/burst 參數來調節速度,rate 是 每秒抓取的數量,burst 是并發的數量,默認是 1/3 所以比較慢,還是對這個工具了解不夠呀

回答2:

我沒有用過框架來寫爬蟲,但是我在自己寫爬蟲的時候,并發寫起來,模型越復雜(如線程控制,線程狀態監控),效率是越低的。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 浏阳市| 拉孜县| 尼勒克县| 延吉市| 靖远县| 肥西县| 辽源市| 乌苏市| 汤阴县| 日照市| 达州市| 家居| 吴堡县| 左云县| 乌恰县| 安岳县| 古交市| 临颍县| 久治县| 资溪县| 麻栗坡县| SHOW| 平顶山市| 延庆县| 上思县| 延安市| 济阳县| 铁岭市| 区。| 岳池县| 剑阁县| 咸阳市| 吉林省| 阳江市| 宣武区| 阿克苏市| 深圳市| 莱芜市| 绿春县| 和静县| 红安县|