Python环境安装

1首先安装 sqlite 扩展

　　yum install sqlite-devel

2安装Python 3.6.0 

   2.1 安装python3.6可能使用的依赖包
 　　yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

   2.2 编译安装Python 3.6.0

　　 wget https://www.python.org/ftp/python/3.6.0/Python-3.6.0.tgz
　　 tar -xzvf Python-3.6.0.tgz -C  /tmp
　　 cd  /tmp/Python-3.6.0/

       ./configure    #执行配置文件

        make

        make install

3 查看pip3 命令 看系统是否安装，如没有进行如下安装

      wget https://bootstrap.pypa.io/get-pip.py

　　python3 get-pip.py   #通过Python安装

4，加载项目中用的类库

    首先进入到项目中 找到/data/www/appjoy-spider/hwsc_crawls/requirements.txt 并执行下面命令

    pip3 install -r requirements.txt

5 测试抓取页面有可能缺少模块 进行加载执行

      缺少selenium 模块 

     执行安装   pip3 install selenium   #ModuleNotFoundError: No module named 'selenium'

                   pip3 install selenium   #   ImportError: No module named http.client

6解析apk包的时候需要安装java 的aapt

　　java-1.8.0-openjdk.x86_64 1:1.8.0.242.b08-0.el7_7 @updates 

      java-1.8.0-openjdk-devel.x86_64 1:1.8.0.242.b08-0.el7_7 @updates 

      java-1.8.0-openjdk-headless.x86_64