文章詳情頁(yè)
我要在命令行同時(shí)不間斷地運(yùn)行八九個(gè)python爬蟲(chóng)程序(爬不同的網(wǎng)站)?
瀏覽:110日期:2022-08-21 18:56:02
問(wèn)題描述
但是過(guò)一段時(shí)間總有一兩個(gè)程序會(huì)無(wú)響應(yīng),好像是被掛起了,CPU占用率并不高,不到10%,內(nèi)存占用也不算多,60%左右,爬蟲(chóng)程序是去批量下載文件,平均每個(gè)幾兆到十幾兆。我設(shè)置了這幾個(gè)程序的優(yōu)先級(jí)高于普通標(biāo)準(zhǔn),但是還是會(huì)出現(xiàn)無(wú)響應(yīng)的狀況。版本 python 2.7
求問(wèn):這個(gè)問(wèn)題算不算進(jìn)程被掛起?以及應(yīng)該如何解決這個(gè)問(wèn)題?
謝謝!
問(wèn)題解答
回答1:這種問(wèn)題得自己調(diào),多打log
回答2:Python 有 GIL
上一條:flask - Python使用redis發(fā)布訂閱時(shí),監(jiān)聽(tīng)頻道時(shí)出現(xiàn)的問(wèn)題?【一句話描述不清楚,請(qǐng)各位細(xì)看內(nèi)容】下一條:python - django queryset自定義排序問(wèn)題
相關(guān)文章:
1. python3.x - python連oanda的模擬交易api獲取json問(wèn)題第五問(wèn)2. docker - 如何修改運(yùn)行中容器的配置3. nignx - docker內(nèi)nginx 80端口被占用4. docker-machine添加一個(gè)已有的docker主機(jī)問(wèn)題5. java - SSH框架中寫分頁(yè)時(shí)service層中不能注入分頁(yè)類6. 關(guān)于docker下的nginx壓力測(cè)試7. 為什么我ping不通我的docker容器呢???8. node.js - 我是一個(gè)做前端的,求教如何學(xué)習(xí)vue,node等js引擎?9. javascript - js代碼獲取驗(yàn)證碼倒計(jì)時(shí)問(wèn)題10. html5 - 百度echart官網(wǎng)下載的地圖json數(shù)據(jù)亂碼
排行榜

熱門標(biāo)簽