zoukankan      html  css  js  c++  java
  • 13.App爬取相关库的安装(Charles,Mitmproxy,Appium)

    由于App没有像浏览器一样直观的后台请求工具,主要用一些抓包技术抓取数据。(目前也在学习安装,参考书籍。)

    首先呢,一些简单的接口通过Charles或mitmproxy分析,找出规律,直接用程序去抓取就行。但是遇到麻烦的接口,就需要用到mitmdump对接python来对抓取到的请求和响应进行实时处理和保存。
    规模性的采集,可以借助工具appium,自动化模拟app的点击、下拉操作。

    一.安装Charles
    1.安装Charles
    下载地址:https://www.charlesproxy.com/download/ 下载对应版本(选择试用,跟pycharm一样都是可以试用30天)

    2.解压安装包,安装到配置目录。

    3.修改证书配置
    原因:app通信应用了https协议,它的通信数据就会被加密,常规的截包方法无法请求数据。

    配置步骤 打开软件 点击Help>SSL Proxying>Install Charles Root Certificate
    点击安装证书>下一步>将所有证书放入到下列存储>浏览>受信任的根证书颁发机构>确定>下一步>完成

    二.安装 mitmproxy
    mitmproxy 是个支持http和https的抓包程序,类似fiddles,charles,它是通过控制台形式操作的。

    含有两个关键组件:
    mitdunp 命令行接口,通过它对接python脚本,实现监听后的处理。
    mitweb  是一个web程序,通过它观察到mitmproxy捕获的请求。

    这里我直接通过pip 简单安装

    pip3 install mitmproxy
    三.Appium安装
    Appium 移动端自动化测试工具 

    下载地址:  https://github.com/appium/appium-desktop/releases

    安装1.7.0版本成功 如图:



    下一步安装node.js过程参考:  http://www.runoob.com/nodejs/nodejs-install-setup.html

    下载node.js 安装包 : https://nodejs.org/dist/v4.4.3/node-v4.4.3-x64.msi

    我采取的是二进制exe文件安装 过程如图:

    四.Android开发环境配置

    使用安卓设备做app抓取:下载配置 Android SDK 安装 Android Studio(大神推荐安装)

    下载地址:https://developer.android.com/studio/index.html?hl=zh-cn (网站暂时进不去,未安装成功!)

  • 相关阅读:
    Linux TCP/IP 连接查看和问题解决
    Linux Tomcat 7.0 管理员登录时"401 Unauthorized" 问题解决方法
    Tomcat 性能监控工具jvisualvm, JConsole
    Tomcat 实战-调优方案
    Linux Tomcat8 访问管理页面 403 Access Denied
    docker redis
    Spring Boot 定时任务
    Nginx rewrite使用
    五 python 发送邮件
    关于注解继承性的一个例子
  • 原文地址:https://www.cnblogs.com/lvjing/p/9663035.html
Copyright © 2011-2022 走看看