久久r热视频,国产午夜精品一区二区三区视频,亚洲精品自拍偷拍,欧美日韩精品二区

您的位置:首頁技術文章
文章詳情頁

node.js - 使用 superagent 抓取 UTF-8網站亂碼

瀏覽:198日期:2024-07-12 16:23:20

問題描述

我使用 superagent + cheerio 去抓取*東的商品 但是返回的中文亂碼 響應頭如下 是經過 gzip壓縮的 但是按道理 superagent好像會默認解壓

node.js - 使用 superagent 抓取 UTF-8網站亂碼

*東商品地址https://item.jd.com/5025518.html

我取了商品標題 結果如下node.js - 使用 superagent 抓取 UTF-8網站亂碼

核心代碼如下:

var url = ’https://list.jd.com/list.html?cat=670,671,672’ //京東電腦var totalData = [] // 存儲總數據superagent.get(url).end(function (err, res) { if (err) {return console.error(err) } var topicUrls = []; // 頁面里面的所有url var $ = cheerio.load(res.text) // 拿到頁面 $(’#plist .gl-item’).each(function (i, e) {$e = $(e)var href = ’https:’ + $e.find(’.p-img >a’).attr(’href’) // 拿到所有urltopicUrls.push(href) }) var ep = new eventproxy();// //異步調用結束后,執行某些操作 ep.after(’topic_html’, topicUrls.length, function (topics) { //接收res.texttopics = topics.map(function (topicHtml) { var $ = cheerio.load(topicHtml, {decodeEntities: false}); return ({title: $(’.sku-name’).text().trim() });});totalData.push(topics)console.log(totalData); }) topicUrls.forEach(function (e) {superagent.get(e).end(function (err, res) { ep.emit(’topic_html’, res.text);}) })})

問題解答

回答1:

這并不是亂碼啊,如果是亂碼,所有的都亂了,應該是你編碼的問題。

回答2:

我直接用postman去請求了你那個地址,并沒有出現你這種情況,所以我判斷是你IDE或者文本編輯器的問題,將格式設為 utf-8 。

相關文章:
主站蜘蛛池模板: 乃东县| 宝清县| 米泉市| 吉木萨尔县| 綦江县| 漯河市| 沅江市| 伊宁县| 揭东县| 疏附县| 永安市| 社会| 定兴县| 石景山区| 团风县| 宜兰市| 湘潭县| 秦安县| 蓬安县| 岳池县| 吴忠市| 南部县| 邹城市| 抚顺县| 武乡县| 马山县| 修武县| 普兰店市| 德惠市| 慈溪市| 崇义县| 尚义县| 大洼县| 高州市| 桂东县| 四会市| 阿城市| 孟村| 扎鲁特旗| 含山县| 泰顺县|