自动化控制方式APP(方式手机元素自动化控制页面)「自动化常用的控制方式」

自动化控制APP不管是在工作还是生活方面，都可以帮助我们高效地完成任务，节省时间和精力
本文主要介绍自动化控制APP的3种常用方式
1、Python + adb这种方式需要对Android有一些基本的了解
adb是一种用于调试Android应用程序的工具
使用Python和adb可以轻松实现自动化控制移动端APP
1.1、特点这种方式最简单，但是控制效果也最粗糙
不同的手机对应的元素x,y轴的位置不同，所以不适合操作不同尺寸的所有手机
这种方式也只适合于开发者，对于普通用户使用成本过高
1.2、使用步骤1、安装Android SDK具体细节略过，自行google安装
安装完毕后，配置好ANDROID_HOME环境变量
2、安装Python具体细节略过，自行google安装
3、打开手机的开发者模式同时开启USB调试和显示指针位置
4、此时操作手机可以看到有2根轴，同时最上方会显示页面焦点元素的x,y轴位置
5、使用Python代码+adb简单控制APP

import timeimport subprocess# 点击某个位置subprocess.getoutput(f"adb -s Y2J7N17C27000069 shell input tap 564  1861")time.sleep(2)subprocess.getoutput(f"adb -s Y2J7N17C27000069 shell input tap 188  980")subprocess.getoutput(f"adb -s Y2J7N17C27000069 shell input tap 869  1808")time.sleep(4)subprocess.getoutput(f"adb -s Y2J7N17C27000069 shell input tap 320  965")# 输入数据subprocess.getoutput(f"adb -s Y2J7N17C27000069 shell input text 15850501595")# 按返回键subprocess.getoutput(f"adb -s Y2J7N17C27000069 shell input keyevent KEYCODE_BACK")subprocess.getoutput(f"adb -s Y2J7N17C27000069 shell input tap 512  1120")# 输入数据subprocess.getoutput(f"adb -s Y2J7N17C27000069 shell input text 15850501595")subprocess.getoutput(f"adb -s Y2J7N17C27000069 shell input keyevent KEYCODE_BACK")subprocess.getoutput(f"adb -s Y2J7N17C27000069 shell input tap 843  1824")

6、adb常用命令

- 查看手机设备：adb devices- 查看设备型号：adb shell getprop ro.product.model- 查看电池信息：adb shell dumpsys battery- 查看设备ID：adb shell settings get secure android_id- 查看设备IMEI：adb shell dumpsys iphonesubinfo- 查看Android版本：adb shell getprop ro.build.version.release- 查看手机网络信息：adb shell ifconfig- 查看设备日志：adb logcat- 重启手机设备：adb reboot- 安装一个apk：adb install /path/demo.apk- 卸载一个apk：adb uninstall <package>- 查看系统运行进程：adb shell ps- 查看系统磁盘情况：adb shell ls /path/- 手机设备截屏：adb shell screencap -p /sdcard/aa.png- 手机文件下载到电脑：adb pull /sdcard/aa.png ./- 电脑文件上传到手机：adb push aa.png /data/local/- 手机设备录像：adb shell screenrecord /sdcard/ab.mp4- 手机屏幕分辨率：adb shell wm size- 手机屏幕密度：adb shell wm density- 手机屏幕点击：adb -s xxxxxxxxxxxxxxxxxxxxxxxxx shell input tap xvalue yvalue- 手机屏幕滑动：adb shell input swipe 1000 1500 200 200- 手机屏幕带时间滑动：adb shell input swipe 1000 1500 0 0 1000- 手机文本输入：adb shell input text xxxxx- 手机键盘事件：adb shell input keyevent xxxx

2、Android无障碍这种方式是使用Android无障碍功能实现自动控制APP的效果
需要开启Android无障碍功能，然后编写Android代码来控制另外的APP应用
2.1、特点这种方式需要开发者对Android有一些开发经验
优点是：可以用Android开发出独立的apk安装包，安装到普通用户手机里，方便用户使用
2.2、使用步骤1、安装Android SDK、安装Android Studio具体细节略过，自行google安装
安装完毕后，配置好ANDROID_HOME环境变量
2、使用Android自带的tool工具Android在level-21和之前的低版本，安装完毕后有一个tool工具包，但是高版本移除了此工具包
所以在安装SDK时还需要加上level-21版本
使用Android自带的tool工具，主要是为了查看APP的页面布局和元素
但是monitor已经不可用了，只能使用uiAutormatorViewer
3、利用uiAutormatorViewer工具找到元素信息用uiAutormatorViewer查看页面元素所在的x,y轴的布局
然后编写Android代码控制点击等效果
此工具显示出来的界面如下：4、代码示例在AndroidManifest.xml代码里配置无障碍service，然后实现AccessibilityService类，实现onAccessibilityEvent方法
后续手机界面如果有变动，内部会自动触发调用onAccessibilityEvent方法

public class XXXXXAccessibilityService extends AccessibilityService {    @Override    public void onInterrupt() {    }    @Override    public void onAccessibilityEvent(AccessibilityEvent event) {        Log.e("无障碍", "来了");                // 创建线程去执行任务        new Thread(new Runnable() {            @Override            public void run() {                // 后续代码            }        }).start();    }}

无障碍功能本身也提供了多种寻找页面元素的方法，比如：

/  根据ID找元素 /private AccessibilityNodeInfo findNodeById(String id) {    AccessibilityNodeInfo root = getRootInActiveWindow();    if (root == null) {        return null;    }    List<AccessibilityNodeInfo> nodeList = root.findAccessibilityNodeInfosByViewId(id);    if (nodeList != null) {        for (int i = 0; i < nodeList.size(); i++) {            AccessibilityNodeInfo node = nodeList.get(i);            if (node != null) {                return node;            }        }    }    return null;}

3、Python + AppiumPython加Appium可以组合成为一种自动化测试工具，可以用于测试和自动化控制移动端APP
3.1、特点这种方式可以自动化操作APP，但是使用者基本是开发者，普通用户很难完成这一系列的操作
但是也有个优点，有些页面标记为不可点击的元素，通过这种方式是可以点击的
Appium提供了更多的寻找页面元素的方式，比如uiautomator、xpath、id等
3.2、使用步骤1、安装Python此处略过步骤，自行google
2、安装Appium老版本的Appium直接包含了Appium server 和 Appium inspector，新版本的Appium安装完毕后，需要在单独安装Appium inspector
通过Appium inspector可以查看手机当前页面的xml布局

# 安装appiumnpm i --location=global appium# 安装自动查看UI页面的驱动appium   uiautomator2driver# 安装inspector下载安装地址：https://github.com/appium/appium-inspector?tab=readme-ov-file# 启动serverappium server --use-driver=uiautomator2# 安装客户端，代码里会使用 appium-python-client 与server通信，# 然后server在将指令下发到手机里的appium端pip3 install appium-python-client

3、使用过程安装完毕后，就可以通过Python代码控制App了
启动Appium-server，appium uiautomator2driver
启动Appium inspector，配置好手机，然后点击start session，界面如下：通过Appium inspector查看页面布局和元素，找出目标元素
编写代码

device_app_info = AppiumOptions()# 操作系统device_app_info.set_capability('platformName', 'Android')# 操作系统版本# device_app_info.set_capability('platformVersion', '10')device_app_info.set_capability('platformVersion', '9')# 设备名称# device_app_info.set_capability('deviceName', '46F4C19402000952')device_app_info.set_capability('deviceName', 'Y2J7N17C27000069')# app packagedevice_app_info.set_capability('appPackage', 'cn.damai')# app activity namedevice_app_info.set_capability('appActivity', '.launcher.splash.SplashMainActivity')# 使用uiautomator2驱动device_app_info.set_capability('automationName', 'UiAutomator2')# 连接appium server，server地址查看appium启动信息driver = webdriver.Remote('http://127.0.0.1:4723', options=device_app_info)# 找到元素，控制元素buy_btn = driver.find_element(AppiumBy.ANDROID_UIAUTOMATOR, 'new UiSelector().resourceId("cn.damai:id/trade_project_detail_purchase_status_bar_container_fl")')if buy_btn:    buy_btn.click()

4、总结以上3种方式都可以用于自动化控制移动端APP，但是又各有适用的场景
读者需根据实际情况选择其中的一种方式来实现自动化控制
以上的方式也可以认为是一种爬虫
还有一些自动化的方式是：先分析api请求，然后逆向分析js或者逆向分析apk包，破解其中的加密方式
然后直接调用api，这种方式后面单独讲解
本篇完结
欢迎点赞关注收藏

原文链接：3种方式自动化控制APP、3种方式自动化控制APP - 不焦躁的程序员