文章詳情頁
python - 為什么感覺 pyspider 爬取的速度好慢
瀏覽:142日期:2022-08-08 09:43:03
問題描述
為什么感覺 pyspider 爬取的速度好慢(比自己直接用 requests 和 bs慢多了),是不是因為有些網頁會 retry,不過成功率倒是比自己爬取的高多了。是不是我的使用方法不對?求解釋
問題解答
回答1:這里可以設置 web ui 控制臺上的 rate/burst 參數來調節速度,rate 是 每秒抓取的數量,burst 是并發的數量,默認是 1/3 所以比較慢,還是對這個工具了解不夠呀
回答2:我沒有用過框架來寫爬蟲,但是我在自己寫爬蟲的時候,并發寫起來,模型越復雜(如線程控制,線程狀態監控),效率是越低的。
相關文章:
1. python3.x - python連oanda的模擬交易api獲取json問題第五問2. docker - 如何修改運行中容器的配置3. nignx - docker內nginx 80端口被占用4. docker-machine添加一個已有的docker主機問題5. java - SSH框架中寫分頁時service層中不能注入分頁類6. 關于docker下的nginx壓力測試7. 為什么我ping不通我的docker容器呢???8. node.js - 我是一個做前端的,求教如何學習vue,node等js引擎?9. javascript - js代碼獲取驗證碼倒計時問題10. html5 - 百度echart官網下載的地圖json數據亂碼
排行榜
