安装uppeteer
最开始安装的是pyppeteer
感觉爬虫还是用puppeteer比较好
1、先安装npm
sudo yum install npm -y
2、安装puppeteer
npm install puppeteer -S
3、用cnpm安装
npm install -g cnpm --registry=https://registry.npm.taobao.org
cnpm i puppeteer
4、安装nodejs (版本不能低于7.6)
如果已经安装进行更新
1.产看node版本; $ node -v 2.清楚node缓存; $ sudo npm cache clean -f 3.安装node版本管理工具'n'; $ sudo npm install n -g 4.使用版本管理工具安装指定node或者升级到最新node版本; $ sudo n stable (安装node最新版本) 5.使用node -v查看node版本,如果版本号改变为你想要的则升级成功。 若版本号未改则还需配置node环境变量 1.cd进入/usr/local/n/versions/node/ 你应该能看到你刚通过n安装的node版本这里如:10.0.9;编辑/etc/profile; $ vim /etc/profile 2.将node安装的路径(这里为:/usr/local/n/versions/node/10.8.0)添加到文件末尾; export PATH="$PATH:/usr/local/n/versions/node/10.8.0" 3.wq退出保存文件,编译/etc/profile; $ source /etc/profile 4.再次使用node -v查看node版本
或者通过nvm对node进行版本的管理(推荐)
安装
curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.8/install.sh | bash
source ~/.bashrc
1、安装10.9.0版本的node:
nvm install v10.9.0
2、查看已安装node版本
nvm ls
2、使用node
nvm use v10.9.0
用nvm安装node之后,我每次启动终端 的时候都要重新nvm use v10.9.0
解决办法运行上面之后输入命令:nvm alias default stable
3、查看node版本
node -v
4、卸载
nvm deactivate
Nvm安装成功后,使用nvm命令却提示command not found,mac解决办法如下: 1、进入nvm安装到文件目录 cd ~/.nvm 2、查看目录下文件列表 ls 3、若无.bash_profile文件,则创建该文件: 创建文件步骤: 3.1 touch .bash_profile 3.2 open .bash_profile 3.3 将下部分文件粘贴至 .bash_profile文件 export NVM_DIR="/Users/magicdawn/.nvm"[ -s "$NVM_DIR/nvm.sh" ] && . "$NVM_DIR/nvm.sh" # This loads nvm加到 ~/.bash_profile , zsh的话是 ~/.zshrc (此语句是配置文件,与自己电脑有关,若不知道,可运行如下命令,会提示这段语句) curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.25.4/install.sh | bash 3.4 保存文件,关闭此文件 3.5 更新刚配置的环境变亮 source .bash_profile 4、输入nvm命令,验证是否成功, 例如nvm use 6.10.2,若已安装node 该版本node,则提示已切换至此版本, 若无安装,则提示未安装此版本,请安装。 此时,nvm可正常使用
sudo找不到npm的解决办法
sudo找不到npm的解决办法 sudo ln -s /usr/local/bin/node /usr/bin/node sudo ln -s /usr/local/lib/node /usr/lib/node sudo ln -s /usr/local/bin/npm /usr/bin/npm 使用如下命令安装cnpm sudo npm install -g cnpm --registry=https://registry.npm.taobao.org 这样以后使用npm就可以用cnpm代替了
卸载node
卸载node.js 用自带的包管理先删除一次 yum remove nodejs npm -y 手动删除残留 进入 /usr/local/lib 删除所有 node 和 node_modules文件夹 进入 /usr/local/include 删除所有 node 和 node_modules 文件夹 检查 ~ 文件夹里面的 local lib include文件夹,然后删除里面的所有node和node_modules文件夹 可以使用以下命令查找: find ~/ -name node find ~/ -name node_modules 进入 /usr/local/bin 删除 node 的可执行文件 以下步骤可选: 删除: /usr/local/bin/npm 删除: /usr/local/share/man/man1/node.1 删除: /usr/local/lib/dtrace/node.d 删除: rm -rf /home/[homedir]/.npm 删除: rm -rf /home/root/.npm
参考
https://blog.csdn.net/pzlsun/article/details/41914473
https://nodejs.org/zh-cn/download/releases/ node版本
https://github.com/zhentaoo/puppeteer-deep
https://github.com/GoogleChrome/puppeteer
https://blog.csdn.net/tlbaba/article/details/79412433
https://www.jianshu.com/p/a9a55c03f768
const browser = await puppeteer.launch({args: ['--no-sandbox', '--disable-setuid-sandbox']});