puppeteer安装/爬取数据

摘要:
安装:建议使用国内淘宝图片进行安装,因为使用直接NPM安装时会报告错误。国内镜像安装:npminstall gcnpm-registry=https://registry.npm.taobao.orgpuppeteer安装:cnpmipppeter以抓取数据:const puppet=require('pumpeter');(async()=˃{constbrowser=awaitpuppetteer.la

安装:

建议走国内淘宝镜像安装,因为直接走npm安装报错

国内镜像安装:

npm install -g cnpm --registry=https://registry.npm.taobao.org

puppeteer安装:

cnpm i puppeteer

爬取数据:

const puppeteer = require('puppeteer');

(async () => {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.goto('http://data.eastmoney.com/xg/kzz/default.html');
    // var test = await page.$eval('#dt_1 > thead > tr > th', el => el.textContent);
    // console.log("test:",test);
    const thArr = await page.$$eval('#dt_1 > thead > tr > th', thArr => {
        return thArr.map(thText => {
            return thText.textContent.trim();
        });
    });
    console.log("thArr:", thArr);
    const tdArr = await page.$$eval('#dt_1 > tbody > tr > td', tdArr => {
        return tdArr.map(tdText => {
            return tdText.textContent.trim();
        });
    });
    console.log("tdArr:",tdArr[tdArr.length - 1]);
  
    await browser.close();
})();

免责声明:文章转载自《puppeteer安装/爬取数据》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇C++ STL map使用MFC【exe】工程中的文件大致信息(翻译的)下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

js数组中的每一项异步请求

数组中的每一个选项,都进行一次异步请求,然后所有请求完成再操作返回值,Promise.all     getInfo = (param) => {         const { getData } = this.props // getData为接口请求         return new Promise(resolve => {    ...

delphi常用函数过程

数据类型转化 1.1.         数值和字符串转化 Procedure Str(X [: Width [ : Decimals ]]; var S); 将数值X按照一定格式转化成字符串S。Width指定S的总长度,Decimals指定小数点后的位数。 EX: Str(12.2 : 6 : 2 , S); //S=’  12.20’; Procedur...

AntDesignVue中关于Table组件的使用

1. 如何自定义表格列头: <a-table :columns="columns":dataSource="dataSource"> <span slot="customTitle"><a-icon type="smile-o"/>Name</span> </a-tabl...

C++(四十八) — string容器的基本操作

参考博客:https://blog.csdn.net/qq_37941471/article/details/82107077 https://www.cnblogs.com/danielStudy/p/7127564.html#top 1、声明一个字符串 标准库类型string表示可变长的字符序列,为了在程序中使用string类型,我们必须包含头文件:#...

export 和export default的使用和区别

我主要是从vue项目使用常量和方法角度取分析,从具体例子出发 (在js中也可以导入其他js中的数据和方法) 涉及到HelloWord.vue和common.js两个文件 一、使用export导出变量和方法 common.js //导出变量(方式1) const myName = '小明' const myEge = '18'export { myNam...

微信小程序开发记录(七)新版授权登录的实现

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/wh_xmy/article/details/86475859 背景:由于微信官方修改了 getUserInfo、authorize 接口,无法弹出授权窗口,所以现在无法实现一进入微信小程序就弹出授权...