zoukankan      html  css  js  c++  java
  • APP爬虫(1)想学新语言,又没有动力,怎么办?

    最近Python和GO语言很火,想学但是只能看得懂21天精通这种级别的教程。公司的项目暂时不会上py或go的技术栈,给的薪资福利待遇还可以,暂时又不想辞职。没有项目实战经验,完全看不懂大神写的干货,怎么办?

    怎么办?

    既然没有别人给我们定目标,我就给我自己定一个目标。
    我在手机上发现一个卖qqyp的app叫touch,里面有个社区经常有人发帖讲述自己chg和yp的经历,配图都是这样风格的(但不局限于此),just like this!

    他趣图片

    所以我的目标是要把这些内容连同图片都爬到我的硬盘里。

    web页面里的内容我们都会爬取,无非就是用curl或者wget等工具实现http请求嘛,那么问题来了APP里的内容如何爬取?

    一位测试同学曾和我说过,某些web页面加载过程比较复杂,所以需要使用selenium这类测试框架,selenium是模拟了浏览器加载页面的过程,并可以在页面加载完成后通过页面元素来断言测试用例是否通过。

    既然web的测试框架可以获取到页面的元素,那么APP的测试框架是不是也能获取到APP指定控件(图片)的属性(url)呢?顺着这个思路我在百度里谷歌了一下,发现了appium这个工具。

    appium有很强大的功能,具体请参看下面链接。

    appium简介的链接

    自己给自己定的需求

    使用Python编写程序,通过appium操作安卓虚拟机,打开指定APP并进入帖子页面,循环获取帖子内容。

    环境准备

    1. 安装java Python nodejs环境。
    2. 安装androidSDK。
    3. 安装appium。
    4. 安装Genymotion(安卓虚拟机)。
    注:本人电脑为mac,1中的软件可以使用brew安装,234的软件请到各自的官网下载安装,如果下载速度较慢,需要FQ。

    appium安装完成后使用appium-doctor --android命令验证

    如果都打钩,就ok;如果有叉请自行检查环境变量相关配置。本人是在本地搭建的上述环境,没有使用docker。因为无论使用安卓虚拟机还是真机,docker连接起来都比较麻烦。

    用真机手机热,用虚拟机电脑热,抓到内容本人热。

    我们需要appium完成的功能:

    1. 打开APP。
    2. 欢迎页面跳过后点击按钮进入帖子列表页面。

    社区->查看全部->圈子列表->帖子列表
    3. 进入帖子详情界面,点击右上角只看楼主
    4. 获取帖子标题、内容。
    5. 获取每条回复内容,下滑循环此过程。

    需求给自己提好了,开始code。appium选择了Client/Server的设计模式。只要client能够发送http请求给server,那么的话client用什么语言来实现都是可以的。我们对Python不熟,所以这里用Python来撸代码,以此熟悉一下Python的语法。

    初始化获取driver相关参数:platformName、deviceName、appPackage、appActivity等。请参考下面链接。

    platformName写Android

    查看deviceName

    查看appPackage和appActivity

    获取APP界面上元素对象,可以通过xpath、id方式获取。请参考下面链接。

    appium元素定位

    代码撸到这里遇到了第一个坑,帖子详情页的回复是列表形式呈现,没有id。如果使用xpath方式获取只能通过下标来定位,但是安卓只会将屏幕内的元素按下标呈现,滑动到屏幕外的元素就无法通过下标找到了?这可怎么办!

  • 相关阅读:
    ASP.NET MVC下的四种验证编程方式
    tp框架下,数据库和编辑器都是utf-8, 输出中文却还是乱码
    按拼音首字母排序
    PHP 文件导出(Excel, CSV,txt)
    RedisDesktopManager 可视化工具提示:无法加载键:Scan..
    window下redis如何查看版本号
    jQuery 防止相同的事件快速重复触发
    input中加入搜索图标
    JS搜索商品(跟外卖app店内搜索商品一样) ,keyup函数和click函数调用
    JS正则对象 RegExp(有变量的时候使用),用来匹配搜索关键字(标红)
  • 原文地址:https://www.cnblogs.com/lts8989/p/11209745.html
Copyright © 2011-2022 走看看