zoukankan      html  css  js  c++  java
  • 13.App爬取相关库的安装(Charles,Mitmproxy,Appium)

    由于App没有像浏览器一样直观的后台请求工具,主要用一些抓包技术抓取数据。(目前也在学习安装,参考书籍。)

    首先呢,一些简单的接口通过Charles或mitmproxy分析,找出规律,直接用程序去抓取就行。但是遇到麻烦的接口,就需要用到mitmdump对接python来对抓取到的请求和响应进行实时处理和保存。
    规模性的采集,可以借助工具appium,自动化模拟app的点击、下拉操作。

    一.安装Charles
    1.安装Charles
    下载地址:https://www.charlesproxy.com/download/ 下载对应版本(选择试用,跟pycharm一样都是可以试用30天)

    2.解压安装包,安装到配置目录。

    3.修改证书配置
    原因:app通信应用了https协议,它的通信数据就会被加密,常规的截包方法无法请求数据。

    配置步骤 打开软件 点击Help>SSL Proxying>Install Charles Root Certificate
    点击安装证书>下一步>将所有证书放入到下列存储>浏览>受信任的根证书颁发机构>确定>下一步>完成

    二.安装 mitmproxy
    mitmproxy 是个支持http和https的抓包程序,类似fiddles,charles,它是通过控制台形式操作的。

    含有两个关键组件:
    mitdunp 命令行接口,通过它对接python脚本,实现监听后的处理。
    mitweb  是一个web程序,通过它观察到mitmproxy捕获的请求。

    这里我直接通过pip 简单安装

    pip3 install mitmproxy
    三.Appium安装
    Appium 移动端自动化测试工具 

    下载地址:  https://github.com/appium/appium-desktop/releases

    安装1.7.0版本成功 如图:



    下一步安装node.js过程参考:  http://www.runoob.com/nodejs/nodejs-install-setup.html

    下载node.js 安装包 : https://nodejs.org/dist/v4.4.3/node-v4.4.3-x64.msi

    我采取的是二进制exe文件安装 过程如图:

    四.Android开发环境配置

    使用安卓设备做app抓取:下载配置 Android SDK 安装 Android Studio(大神推荐安装)

    下载地址:https://developer.android.com/studio/index.html?hl=zh-cn (网站暂时进不去,未安装成功!)

  • 相关阅读:
    HDU 3564 Another LIS
    POJ 2104 K-th Number
    HYSBZ 1901 Dynamic Rankings
    HYSBZ 4321 queue2
    HYSBZ 3991 寻宝游戏
    工作中使用到的的MonogoDB查询语句记录。
    工作中使用到的的MySQL查询语句记录。
    python对文本文件的读写操作
    WRK的使用-lua脚本POST请求(静态数据)
    WRK的使用-lua脚本GET请求
  • 原文地址:https://www.cnblogs.com/lvjing/p/9663035.html
Copyright © 2011-2022 走看看