文章詳情頁
關于python爬蟲的問題
瀏覽:109日期:2022-07-26 11:13:25
問題描述
我使用post爬取網頁表格數據,網站如下http://www.ipe.org.cn/Industr...,現在遇到了2個問題,其中一個問題是違規類型中<input type='checkbox' name='violation' data-role='all' checked='' value='0'>,該網頁已經設定了checked,已經有默認值,而我只想要violation=1的數據,不知道該怎么辦第二個問題是在選擇國家,省份,城市過程<select name='select' onchange='setProvince_0();'>我無法直接用name 以及value選擇我想要的表單數據
跪求各位大神的解答
問題解答
回答1:他是有API用來返回數據的,你可以抓取一下,點擊篩選之后的數據流。大概是這個api,http://www.ipe.org.cn/data_as...,post方式,里面有一個參數叫itemType就是你想要的違規類型。然后對應的國家,省份,城市等信息都在api中有體現,自己跟一下就知道了。然后根據需求,構造請求你需要的數據,剩下的就是解析了。。。。
相關文章:
1. Docker for Mac 創建的dnsmasq容器連不上/不工作的問題2. javascript - 求賜教:網易郵箱Web端模擬登錄看信的加密參數_ntes_nnid、_ntes_nuid3. javascript - 使用angular 的ui-sref 中出現了中文參數,點擊跳轉后瀏覽器的地址欄里出現轉義后的%AE....%a%44. java - ConcurrentHashMap中的get()方法為什么可以不加鎖?5. javascript - QWebEngineView 如何爬 angular 的動態數據?6. html5 - 這個代碼顯示功能如何實現?7. javascript - 用JS 七牛上傳圖片出現文件已存在的錯誤(file exists)8. 工作近5年,3年Java Web ,近2年前端,未來何去何從?9. css3 - 圖片等比例縮放10. java - 字節流轉成字符串之后,在通過字符串轉成字節流后的文件為什么會不一樣?
排行榜
