久久r热视频,国产午夜精品一区二区三区视频,亚洲精品自拍偷拍,欧美日韩精品二区

您的位置:首頁技術文章
文章詳情頁

python - pyspider怎樣傳遞信息給下一個函數(shù),但是不通過url

瀏覽:161日期:2022-07-01 16:28:57

問題描述

有的時候向通過pyspider直接傳遞信息給下一個函數(shù),但是沒有cral一個新的url的需求。

比如說,一個列表頁面某部分信息需要傳遞給下一個函數(shù),但是不想通過列表的url傳遞。

想過用send_message的方法來做,還有就是用self.crawl的response.save來做(url隨便寫一個比較好爬的網(wǎng)站)但是這兩個方法都不是特別好。

請問有什么好的方法嗎。

問題解答

回答1:

下一個函數(shù)已經(jīng)執(zhí)行結束了,它已經(jīng)不存在了,你怎么傳遞傳遞信息給一個不存在的東西?

回答2:

無非跳轉callback, 已出來的數(shù)據(jù)yield, 不過你還是測試一下.

def detail(self, response): next_urls = [i.attr.href for i in response.doc(’#fetch urls’)] for url in next_urls:self.crawl(url, callback=self.list_page) for i in items = [# some result]yield i

標簽: Python 編程
主站蜘蛛池模板: 天祝| 赣州市| 嘉禾县| 托里县| 上思县| 易门县| 二手房| 密山市| 榆中县| 曲松县| 卢湾区| 塔城市| 平顶山市| 临武县| 基隆市| 黑水县| 满洲里市| 喀喇| 秭归县| 临夏市| 阿拉善左旗| 科尔| 垫江县| 巴里| 察雅县| 阳泉市| 浦北县| 洛阳市| 营山县| 赤水市| 施秉县| 仁寿县| 阳山县| 文登市| 河南省| 湾仔区| 水城县| 吕梁市| 巴楚县| 冷水江市| 常熟市|