久久r热视频,国产午夜精品一区二区三区视频,亚洲精品自拍偷拍,欧美日韩精品二区

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

python scrapy簡(jiǎn)單模擬登錄的代碼分析

瀏覽:141日期:2022-06-14 18:21:16

1、requests模塊。直接攜帶cookies請(qǐng)求頁(yè)面。

找到url,發(fā)送post請(qǐng)求存儲(chǔ)cookie。

2、selenium(瀏覽器自動(dòng)處理cookie)。

找到相應(yīng)的input標(biāo)簽,輸入文本,點(diǎn)擊登錄。

3、scrapy直接帶cookies。

找到url,發(fā)送post請(qǐng)求存儲(chǔ)cookie。

# -*- coding: utf-8 -*-import scrapyimport re class GithubLoginSpider(scrapy.Spider): name = ’github_login’ allowed_domains = [’github.com’] start_urls = [’https://github.com/login’] def parse(self, response): # 發(fā)送Post請(qǐng)求獲取Cookiesauthenticity_token = response.xpath(’//input[@name='authenticity_token']/@value’).extract_first()utf8 = response.xpath(’//input[@name='utf8']/@value’).extract_first()commit = response.xpath(’//input[@name='commit']/@value’).extract_first()form_data = { ’login’: ’pengjunlee@163.com’, ’password’: ’123456’, ’webauthn-support’: ’supported’, ’authenticity_token’: authenticity_token, ’utf8’: utf8, ’commit’: commit}yield scrapy.FormRequest('https://github.com/session', formdata=form_data, callback=self.after_login) def after_login(self, response): # 驗(yàn)證是否請(qǐng)求成功print(re.findall(’Learn Git and GitHub without any code!’, response.body.decode()))

知識(shí)點(diǎn)擴(kuò)展:

parse_login方法是提交完表單后callback回調(diào)函數(shù)指定要執(zhí)行的方法,為了驗(yàn)證是否成功。這里我們直接在response中搜索Welcome Liu這個(gè)字眼就證明登錄成功。

這個(gè)好理解,重點(diǎn)是yield from super().start_resquests(),這個(gè)代表著如果一旦登錄成功后,就直接帶著登錄成功后Cookie值,方法start_urls里面的地址。

這樣的話登錄成功后的response可以直接在parse里面寫。

# -*- coding: utf-8 -*-import scrapyfrom scrapy import FormRequest,Requestclass ExampleLoginSpider(scrapy.Spider): name = 'login_' allowed_domains = ['example.webscraping.com'] start_urls = [’http://example.webscraping.com/user/profile’] login_url = ’http://example.webscraping.com/places/default/user/login’ def parse(self, response):print(response.text) def start_requests(self):yield scrapy.Request(self.login_url,callback=self.login) def login(self,response):formdata = { ’email’:’liushuo@webscraping.com’,’password’:’12345678’}yield FormRequest.from_response(response,formdata=formdata,callback=self.parse_login) def parse_login(self,response):# print(’>>>>>>>>’+response.text)if ’Welcome Liu’ in response.text: yield from super().start_requests()

到此這篇關(guān)于python scrapy簡(jiǎn)單模擬登錄的代碼分析的文章就介紹到這了,更多相關(guān)python scrapy模擬登錄的方法內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: python scrapy requests
主站蜘蛛池模板: 铁岭市| 景泰县| 旅游| 甘泉县| 长丰县| 龙门县| 都匀市| 桐柏县| 缙云县| 马龙县| 蒙阴县| 新闻| 津市市| 阿拉尔市| 凤山县| 海原县| 寻乌县| 江津市| 山丹县| 武安市| 依兰县| 咸宁市| 新郑市| 陆良县| 大英县| 汕尾市| 嘉鱼县| 嘉善县| 铁岭市| 托克逊县| 临沧市| 永春县| 舟山市| 屏边| 白河县| 钟山县| 隆化县| 江孜县| 华安县| 额尔古纳市| 淮安市|