久久r热视频,国产午夜精品一区二区三区视频,亚洲精品自拍偷拍,欧美日韩精品二区

您的位置:首頁技術(shù)文章
文章詳情頁

Python爬取YY評(píng)級(jí)分?jǐn)?shù)并保存數(shù)據(jù)實(shí)現(xiàn)過程解析

瀏覽:6日期:2022-07-23 16:44:35

前言

當(dāng)需要進(jìn)行大規(guī)模查詢時(shí)(比如目前遇到的情形:查詢某個(gè)省所有發(fā)債企業(yè)的YY評(píng)級(jí)分?jǐn)?shù)),人工查詢顯然太過費(fèi)時(shí),那就寫個(gè)爬蟲吧。

由于該爬蟲實(shí)在過于簡(jiǎn)單,就只簡(jiǎn)單概述下。

一、請(qǐng)求端

通過觀察YY評(píng)級(jí)的網(wǎng)頁信息,如下圖(F12或右擊進(jìn)入檢查,點(diǎn)擊network—>XHR—>headers)。

紅色框表明是個(gè)get請(qǐng)求(其實(shí)這種網(wǎng)頁基本都是Ajax get,需要總結(jié)實(shí)際url的規(guī)律的)。

綠色框即為實(shí)際URL,通過分析該URL,其由兩部分組成。前半部分為“https://web.ratingdog.cn/v1/search?”,后半部分為黃色框內(nèi)內(nèi)容用“&”符號(hào)連接后的結(jié)果。黃色框內(nèi)的內(nèi)容,只有企業(yè)名稱為變量,且為已知變量,那URL即可據(jù)此確定了。

Python爬取YY評(píng)級(jí)分?jǐn)?shù)并保存數(shù)據(jù)實(shí)現(xiàn)過程解析

另外需注意,YY評(píng)級(jí)需要登錄才可查詢數(shù)據(jù),在構(gòu)建頭部信息進(jìn)行訪問時(shí),一定要提前登錄,并在頭部信息中放入登錄信息和登錄狀態(tài)。

二、響應(yīng)端

通過觀察網(wǎng)頁的響應(yīng)信息(F12或右擊進(jìn)入檢查,點(diǎn)擊network—>XHR—>response),如下圖。響應(yīng)信息及其簡(jiǎn)單,我們所需要的YY評(píng)級(jí)分?jǐn)?shù)安詳?shù)靥稍谀抢铮?jiǎn)單到一個(gè)正則表達(dá)式就可以提取出該數(shù)據(jù)。正則如下:

'msg'.*?'IssuerName':'(.*?)','YYRating':'(.*?)/10','IntrinsicRating'.*?'

Python爬取YY評(píng)級(jí)分?jǐn)?shù)并保存數(shù)據(jù)實(shí)現(xiàn)過程解析

三、代碼

所需數(shù)據(jù)較少,代碼相對(duì)簡(jiǎn)單,就不建立函數(shù)了,直接一路到底吧。如下:

Python爬取YY評(píng)級(jí)分?jǐn)?shù)并保存數(shù)據(jù)實(shí)現(xiàn)過程解析

運(yùn)行代碼后,得到結(jié)果如下。安徽省的100多條數(shù)據(jù),就到了本地了

Python爬取YY評(píng)級(jí)分?jǐn)?shù)并保存數(shù)據(jù)實(shí)現(xiàn)過程解析

Python爬取YY評(píng)級(jí)分?jǐn)?shù)并保存數(shù)據(jù)實(shí)現(xiàn)過程解析

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 靖远县| 上杭县| 英超| 光泽县| 长宁区| 绥宁县| 武邑县| 佳木斯市| 和静县| 宁陵县| 桑植县| 杭锦后旗| 沾化县| 寿宁县| 阳山县| 新和县| 巴彦淖尔市| 舒兰市| 文山县| 汉源县| 彰化县| 临朐县| 墨江| 武平县| 会同县| 志丹县| 天气| 南部县| 泾源县| 磴口县| 西盟| 新晃| 岫岩| 南郑县| 普宁市| 博白县| 铜陵市| 英吉沙县| 房产| 昭觉县| 上思县|