久久r热视频,国产午夜精品一区二区三区视频,亚洲精品自拍偷拍,欧美日韩精品二区

您的位置:首頁技術文章
文章詳情頁

python爬蟲 - Python:網頁爬取Ajax地址,結果與瀏覽器顯示的不一致?

瀏覽:145日期:2022-08-05 13:18:28

問題描述

1.我用在火狐上獲取的Ajax地址來爬取統計局的信息:python爬蟲 - Python:網頁爬取Ajax地址,結果與瀏覽器顯示的不一致?

獲取的地址如下;

http://data.stats.gov.cn/easy...{'wdcode':'zb','valuecode':'A0201'}]&dfwds=[{'wdcode':'sj','valuecode':'199807'}]

我的理解是地址中包含了兩個參數:'A0201'和'199807'可以通過改變著兩個參數來獲取不同表中不同時間的信息我在瀏覽器中直接輸入地址參數為'199807'時顯示結果為:python爬蟲 - Python:網頁爬取Ajax地址,結果與瀏覽器顯示的不一致?參數為'199907'時顯示結果為:python爬蟲 - Python:網頁爬取Ajax地址,結果與瀏覽器顯示的不一致?證明應該是行得通的

但是當我用這個地址去爬蟲時爬下來的結果卻不是瀏覽器上看到的這些數據,應該是爬取到了別的表里的數據,但是我的參數不是已經設置好了嗎?在瀏覽器也證明參數是有效的,但是為什么就是爬不到這些數據?是不是網頁緩存方面出現了問題?應該如何解決呢?勞煩大神指教

問題解答

回答1:

server端可以驗證你的cookie從而將你拒之門外,或者返回其他錯誤數據給你也是可以的,你可以從瀏覽器復制出來里偽造cookie,放在請求頭里面。

標簽: Python 編程
主站蜘蛛池模板: 西丰县| 衢州市| 加查县| 独山县| 扶余县| 睢宁县| 新沂市| 柳林县| 广河县| 本溪| 龙里县| 光泽县| 灵武市| 博罗县| 溧阳市| 名山县| 社旗县| 蕉岭县| 黄陵县| 诸城市| 邯郸县| 宜丰县| 乡城县| 秀山| 成安县| 芮城县| 辽阳县| 武穴市| 金沙县| 铜川市| 左贡县| 府谷县| 浦县| 潮州市| 广安市| 石门县| 静安区| 深州市| 张北县| 白朗县| 麻城市|