Auto.js is a UiAutomator on android, does not need root access(安卓平台上的JavaScript自动化工具)
看作者的github ID hyb1996应该是个90后大佬;由于Auto.js很适合用来写安卓脚本,被国内各种灰产滥用是少不了的,毕竟很多人靠这个赚钱。
我自己比较喜欢偶尔写一些游戏脚本用用,之前一直用按键精灵写脚本,找图找色功能比较好用,但需要设备有root权限,而且用久了发现有些功能实现起来还比较麻烦,故这次打算找个新平台尝试一下。Autojs由于是基于安卓的无障碍服务,只有个别命令需要root权限,此外还支持对控件的操作,功能看上去还挺强大。
因为我的需求是能够写游戏脚本,不像一般的APP可以直接操作控件,而只能通过基于坐标的操作完成。所以Autojs里关于控件的部分可以略过不看(除了多账号登录时的登录界面可能会用到一点控件操作,其他基本用不到),大致的学习流程:
我用的是最新的Pro版,去淘宝官方店买就行,也不贵;app安装好了就可以在手机上编脚本了,但由于效率低大多数情况都是在电脑上编连接手机(或模拟器)进行测试,官方是通过VSCODE的一个插件来实现这一交互的,虽然对像我这样的非VSCODE用户(Vim党)来说不够友好,但好像只有这一条路可走。
安装好后把Auto.js-Pro-Ext这个插件装上(Vim用户再装个vscodevim),随便创建个.js文件会发现右边有个绿色的小安卓图标,点击后(或者通过快捷键Ctrl+Shift+p)发现可以通过输入IP(和电脑同一网络)、adb(插USB)两种方式连接,手机的话一般连接不会有什么问题,连接成功的话右下角会有一行提示。
要注意的是如果使用的是模拟器,这时候的网络配置就有点麻烦了。比如我用的雷电模拟器,需要开启网络桥接模式、并设置好静态IP才能连接上。
(非Vim用户直接跳过就行)Vim用户可能需要配置下自己习惯了的常用快捷键,直接在插件的设置里打开settings.json文件改就行了,范例如下:
{
"vim.easymotion": true,
"vim.incsearch": true,
"vim.useSystemClipboard": true,
"vim.useCtrlKeys": true,
"vim.hlsearch": true,
"vim.insertModeKeyBindings": [
{
"before": [
"<C-h>"
],
"after": [
"<left>"
]
},
{
"before": [
"<C-l>"
],
"after": [
"<right>"
]
},
{
"before": [
"<C-j>"
],
"after": [
"<down>"
]
},
{
"before": [
"<C-k>"
],
"after": [
"<up>"
]
},
{
"before": [
"<C-d>"
],
"after": [
"<Delete>"
]
},
],
"vim.normalModeKeyBindings": [
{
"before": [
"E"
],
"after": [
"$"
]
},
{
"before": [
"H"
],
"after": [
"^"
]
},
],
"vim.visualModeKeyBindings": [
{
"before": [
"E"
],
"after": [
"$"
]
},
{
"before": [
"H"
],
"after": [
"^"
]
},
],
"editor.formatOnSave": true,
}
连接上了之后当然是必不可少的hello world测试,常用的输出方式有3种:
toast() //输出到手机屏幕
log() //输出到日志
toastLog() //前两者之和
console.log() //输出到控制台,console模块的一个成员函数,可以通过console.show()在手机上显示
推荐学习一遍本站的JavaScript学习指南:JS入门教程(非常详细),这里只列举一些我觉得要注意的地方。
直观感受,很多语法和C\C++一模一样(除了声明变量要用var、函数要加function…)。
undefined:只声明过但未赋值的变量。
==与===: 前者是equality、后者为identity,即后者不会进行类型转换,类型不同的结果一定不等。
JS的数据类型:
var length = 7; // 数字
var lastName = "Gates"; // 字符串
var cars = ["Porsche", "Volvo", "BMW"]; // 数组
var x = {firstName:"Bill", lastName:"Gates"}; // 对象
null:类型是对象,不存在的事物。
null === undefined // false
null == undefined // true
对象: 通过关键词 “new” 来声明 JavaScript 变量,则该变量会被创建为对象。
//也可以通过person.firstName="..."的方式初始化
var person = {
firstName: "Bill",
lastName : "Gates",
id : 678,
fullName : function() { //成员函数
return this.firstName + " " + this.lastName;
}
};
在字符串中换行,需要加一个反斜杠(非ECMAScript标准):
document.getElementById("demo").innerHTML = "Hello \
Kitty!";
String和Number相加时,会将数字转为字符串;String和Number相减时,会将字符串转为数字;
数组添加元素: array.push("value")
常用对象: Date() (获取时间)、 Math() (常用数学工具)
use strict;: 定义 JavaScript 代码应该以“严格模式”执行。
JavaScript的对象通过引用来寻址:
//person是个对象
var x = person; // 这不会创建 person 的副本,x相当于person的别名,即引用
下面分几个部分把编写游戏脚本时可能用到的模块全部讲一下吧,顺便对自己也是个学习完善的过程,全部学完花的时间可能比较多,自己也还有别的事要做,尽量每天写一点吧。
官方文档地址:https://hyb1996.github.io/AutoJs-Docs/#/
获取包名: app.getPackageName(appName),与此相对的还有根据包名获取应用名,举个栗子:
appName = app.getPackageName("公主连结R")
toastLog(appName)
//输出:com.bilibili.priconne
读写系统剪切板
setClip("将剪切板设置为这段话")
//getClip()返回剪切板内容
toastLog("当前剪切板:"+getClip())
等待应用界面出现,waitForPackage(package[, period = 200])
停止脚本: exit()
设置脚本需要的安卓版本号
requiresApi(24)// 需要至少Android 7.0
requiresAutojsVersion("3.0.0")//指定Autojs最低版本号
//会自动检测当前版本号,若过低会报错
获取屏幕分辨率
var Width=device.width;
var Height=device.height;
toastLog(Width+"x"+Height);
获取设备识别码
Autojs里常用的设备标识是IMEI和ANDROID_ID。IMEI(International Mobile Equipment Identity)是15位数字组成的国际移动设备身份码,写在主板上和硬件绑定,就算刷机也没法改变。AndroidId 是一串64位的编码(十六进制字符串),是随机生成的设备的第一个引导,通过它可以知道设备的寿命;在设备恢复出厂设置或刷机后,该值可能会改变,故和系统绑定。
当脚本要商业化的时候,可以通过设备码区分不同用户;如果脚本写出来只是一个人用,获取设备码应该也没啥用。
var deviceId=device.getIMEI();
var androidId=device.getAndroidId();
toastLog(deviceId+"\n"+ androidId);
Device模块有很多功能,比如调整音量、屏幕亮度、获取内存和电量…但感觉写游戏脚本都用不到所以直接跳过吧。
稍微复杂一点的脚本可能涉及到日志记录,比如刷了多少次图、有没有error之类,所以对文件的处理还是挺有用的。
返回路径
var path1=files.cwd(); //当前工作文件夹绝对路径
var path2=files.path("."); //相对路径转绝对路径
//还有一些不太常用的如files.getSdcardPath()、files.listDir(path[, filter])
文件(夹)操作(返回bool)
var path="/sdcard/newFolder/"
if(!files.create(path)){} //创建文件或文件夹,若已存在则返回false,(需要上一级文件夹已存在)
files.createWithDirs("/sdcard/newFolder1/newFolder2"); //若不存在会创建一系列文件夹,比上一个命令更强大
//还有些如删除文件、判断空文件夹等功能、略过。
文件读写(和python好像- -)
var path = "/sdcard/1.txt";
var text = "Hello, AutoJs";
//以写入模式打开文件
var file = open(path, "w");
//open函数还可以指定文件编码
// "r":读, "w":写 , "a":从文件末尾附加
file.write(text); //还可以:file.writeline()、file.writelines()
// var text=file.read() ,或者file.readlines()
file.close();
Autojs有shell函数和shell对象,前者适合执行单次命令,后者由于使用同一个shell进程所以对多条命令效率高:
//shell函数,返回result对象;result.code返回码,成功为0;result.result,运行结果(字符串);result.error,无错误时为空,若未获取到root权限可能返回"Permission denied"。
var result=shell("ls",true);
if(result.code==0){toast("执行成功");}
//shell对象
var sh=new Shell(true); //构造函数
sh.exec("ls"); //执行命令,注意该函数没有返回值!! 并且命令执行是"异步"的,不会等待上一步执行完成。
sh.exit(); //强制退出
sh.exitAndWaitFor(); //等待执行完成并退出
Input
input text 'hello world'
input keyevent 26 # Powerkey
am
# 感觉对写脚本没太大帮助...
am start ...
am kill ...
am force-stop ...
am restart ...
pm
pm list packages #列出所有APP包,这个命令感觉有点用
pm install ...
pm uninstall ...
wm
wm size #查看屏幕尺寸
wm size 720x1280 # 修改尺寸
wm size reset #还原
sleep(n):暂停运行n毫秒,游戏脚本中最常出现的一个命令;有一些操作必须给它一定的缓冲时间才能正确运行完成。
随机数: random(min,max)指定区间、random()范围是[0,1);点击坐标时常设置一个随机偏移,防止被检测到(每次都点同一个点还是太明显了)
分辨率适配问题,setScreenMetrics(1080, 1920);、表示脚本适合的屏幕宽高为1080x1920(编脚本时基于的设备),如果在别的分辨率手机上运行则会自动放缩光标。听上去很好的一个功能,一般游戏脚本必加这一行,但具体效果如何我没有测试过。
click(x,y):点击坐标(无需root权限),返回是否成功,点击过程大约150ms,可能被其他事件中断。更长时间的点击如longClick(x,y)、持续600ms。
press(x,y,duartion):按住坐标,一般超过500ms才被系统认为是长按。
swipe(x1,y1,x2,y2,duration): 从(x1,y1)滑动到(x2,y2),持续duration。
RootAutomator
上面的几个触摸操作都是免root的,而基于RootAutomator对象的触摸需要root权限,优点是执行没有延迟,明显比click要快。
var ra=new RootAutomator(); //初始化一个对象
ra.tap(x,y,id); //id代表不同“手指”,用于多点触摸,不需要时可省略该参数
ra.swipe(x1,y1,x2,y2,duration,id)
ra.press(x,y,duration,id)
// 这些命令组合在一起就能完成复杂的操作了~
ra.touchDown(x,y,id)
ra.touchMove(x,y,id)
ra.touchUp(id)
模拟按键;(返回bool值)
if(back()){}; //按下返回键
home() //返回桌面
还有一些需要root权限的,开头字母大写:
//Home()、Back()、Power()、Menu()、OK()、KeyCode()...
颜色常用十六进制值或RGB值来表示,如蓝色可表示为#0000FF或(0,0,255),一般都是#后面带6位十六进制数,分别表示R、G、B,但Autojs是8位,前面多了一个A(Alpha)、表示透明度,即ARGB。
Autojs通过一个16进制整数或一个字符串表示一个颜色,两者可以互相转换
var myBlue=colors.toString(color.BLUE); //返回#ff0000ff,colors.BLUE代表蓝色,后面必须大写。
var numBlue=colors.parseColor("#ff0000ff"); //返回-16776961,至于为什么是这个数我也不清楚,平时还是用字符串表示比较好。
colors对象里还有一些判断两个颜色的相似度、返回A、R、G、B通道值的函数,平时也基本上用不上;颜色的用途主要体现在后面的多点找色上。
游戏脚本的灵魂所在,images主要有图片处理、找图、找色几个部分;想让脚本识别游戏的某个区域、如果该区域的位置是固定的,通过构造多点比色比较快,而如果位置不固定则常用找图的方式,虽然占用资源比较多但准确性有保障。
var img=images.read("./name.png"); //读取图片,错误时返回null
//var img=images.load(url); //从网址获取图片
//...图片操作后回收
img.recycle();
// 例外:captureScreen()返回的图片无需回收
images对象能对图像进行复制、保存、Base64编码解码、剪切、调整大小、放缩、旋转、拼接、灰度化、阈值化、颜色控件转换、二值化、模糊与平滑处理、滤波…(强是很强大,就是基本上用不上)
获取截图权限:在找图找色之前往往要先获取当前屏幕的截图,这个截图一般是临时的、不会保存到文件(也可以设置保存)。 截图之前要向系统申请一次截图权限:
if(!requestScreenCapture()){ //可指定参数true(横屏截图) 或者 false(竖屏截图)
toast("请求截图失败");
exit();
}
//在此之前记住要请求一次截图权限
var img=captureScreen(); //可以指定保存路径path
//获取某点的ARGB颜色值
var color=images.pixel(img,100,200); //img是之前创建的images对象
//首先说下region和threshold这两个参数,后面的找色函数options里都要用到:
//region、找色区域,默认全图、指定[x,y]代表左上角点,从(x,y)到右下角;指定[x,y,width,height]则代表从(x,y)到(x+width,y+height)。
//threshold、相似度临界值,0~255,默认为4;similarity=1-threshold/255,可以算出默认相似度达到了0.98,觉得太严了可以适当增大threshold
var point = images.findColor(img, "#ff0000", { region: [100, 200], threshold: 10 });
//如果找到则返回一个点,如:{463.0, 1242.0};找不到返回null。
//这里颜色值是6位,8位也行不过会忽略A通道(透明度)。
// findColorInRegion,功能和findColor一样,只是优化了下参数表示。
var point=images.findColorInRegion(img,"#ff0000",100,200,1080,1920,10);
// findColorEquals,要求颜色完全相等,相当于findColor的threshold参数设为0
var point=images.findColorEquals(img,"#ff0000",100,200,1080,1920);
var point = images.findMultiColors(img, "#ff949fc7", //第一个点
[[60, 60, "#ffe6efe6"], //颜色Array,
[60, -60, "#ffeef3e6"],
[-60, 60, "#ffe6efe6"],
[-60, -60, "#ffeef3e6"]],
{ region: [1548, 803, 140, 140] }) //指定区域
if(images.detectsColor(img,"#fed9a8",100,200,16,"diff")){}
//最后两个参数可省略,代表threshold和匹配算法;x=100,y=200
var temp1=images.read(pathToImage);
var point=images.findImage(img,temp1,{ region: [100, 200], threshold: 10 });
//同样findImageInRegion只是优化了下参数排列
//matchTemplate可以同时返回找到的多个位置,通过max控制最大的结果数量
var result=images.matchTemplate(img,temp1,{ region: [100, 200], threshold: 10 ,max:5});
//返回类型是一个MatchingResult对象,有point和similarity这两个数据成员。
在一个文件里通过module.exports =...;把某个对象导出,从而可以在另一个文件通过var name=require('file.js');导入;相当于把整个文件当做一个函数,把exports的东西当做返回值。感觉用起来也不太方便,我选择不用这个功能。
//启动一个无限循环的线程
var thread = threads.start(function(){ //用thread对象可以控制线程运行状态,如果不需要操作可以改为:
//threads.start(function(){
while(true){
log("子线程运行中...");
sleep(1000);
}
});
sleep(5000);
thread.interrupt();
threads.shutDownAll(): 停止所有通过threads.start()启动的子线程
等待线程开始执行(一般start后需要一段时间):thread.waitFor();(这里thread是前面创建的thread变量)
等待线程执行完成:thread.join();,参数可以指定一个等待时间
中断线程运行:thread.interrupt();
注意多线程中的变量问题,涉及到线程安全,文档里说的很详细
线程间的通信与传递变量,通过var connect = threads.disposable();实现;发送结果:connect.setAndNotify(s);,接收结果:connect.blockedGet(s);
auto();
threads.start(function(){ //在子线程中调用observeKey()从而使按键事件处理在子线程执行
events.observeKey(); //启用按键监听
events.on("key_down", function(keyCode, events){
//常用事件有key、key_down、key_up、exit、toast、notification、touch(触摸某点)
if(keyCode == keys.volume_up){ //音量上键关闭脚本
exit();
}
});
});
events.on("exit", function(){ //脚本停止运行时会触发exit事件
toast("脚本已结束");
});
while(true){
log("脚本运行中...");
sleep(2000);
}
这部分提供对话框支持,但由于是弹出一个全屏的消息提示框,实际体验是并不太能用上;如果脚本和用户的交互性比较强的话可以考虑一下。
控制台的作用更像是用于调试,但一般Windows下用VSCode写脚本也不需要在控制台上显示吧,所以这部分给人的感觉也是很鸡肋…不过console的UI是固定的,也可以悬浮、最小化;有时不想设计UI的时候可以偷懒直接拿console过来凑合用用。
界面设计这部分内容相当多,而且官方文档也有很多写得很简略(甚至一笔带过),要想真正从零开始设计出一个实用好看的UI出来还是有难度的;我是建议去网上多找几个模板文件运行运行,在别人的基础上修改起来就快多了,看不懂的地方再去翻翻文档解决。一般UI设计好后再和程序一对接(通过UI各组件的id),就可以打包做成apk了~
说来惭愧,作为一名二刺螈选手、PriconneR是我最近在玩的手游。一般我准备中长期玩的手游都会没事写写脚本,第一次从按键精灵转到用Autojs,就拿它作为案例练练手吧。
游戏脚本最开始要考虑的问题就是用户需求吧。如果只是自己用用,那就安卓模拟器随便选个分辨率就可以开始写了;但如果用户很多而且手机分辨率各不相同,那在一开始写的时候就要注意适配的问题。我属于前者所以用模拟器就完事了~
脚本需要实现哪些功能,这个需要对游戏有比较深的认识,至少要玩够一整天的游戏才会清楚哪些地方通过脚本实现比较方便、哪些地方手动就行了吧…把需要实现的功能全部列出来,有时候可能总结的不够全面,这时候可以看看别人是怎么写的(下载个游戏蜂窝app,看看别人写的脚本有哪些功能),毕竟论经验还是这些专门靠写脚本赚钱的人比较丰富吧。
以PriconneR为例,我总结了一些重复性高、比较枯燥的部分(每日任务),如:公会点赞、技能强化、日常探索、领取礼物和任务奖励、刷地下城、免费扭蛋、装备升星… (玩过的肯定明白吧,每天都要刷的)
对于上面这些需求,可以按顺序来编写,比如可以拍一拍脑袋、就决定先实现日常探索这个功能吧!接下来要做的就是进一步分解,把要实现这个功能的每一个步骤列出来,把每一步作为一个基础模块写成一个function或是别的。
比如日常探索这个功能,首先要进入探索页面吧,为此需要定位的基准(如游戏主页)吧,毕竟在哪个页面运行的脚本谁也说不准,那么第一个模块就是backToMainPage()了;进入探索页面后还需要决定刷哪一关、用券刷还是手动刷、手动刷的话如何判断战斗结束、用券刷那么券没有了怎么办、刷完后会弹出一些确认窗口需要处理…一开始需要考虑的问题比较多没办法,但这些模块有很多是能直接放到别的功能中的,一般写着写着就会感觉越来越顺,之后要多考虑的往往是模块间的衔接,比如加个sleep(time)保证动作能够顺利完成。
然后是整合模块进行调试,看能不能完成目标功能,如果不能那么是哪一步出问题了(图片识别失败?、动作间停顿时间过短?、没考虑意外情况出现?…)。有时候并不能立刻发现问题,而要等到用一段时间后。
这一部分没啥好说的,一个功能完成、调试也没问题之后,那就下一个呗,只到实现所有当初列的需求功能。
官方提供了很多案例,网上也有许多大佬自己做的漂亮UI,选一个自己进行修改就行了。我选择的是一个悬浮窗类型的界面,可以最小化到窗口边缘不占位置,也方便及时调整脚本的运行状态。
一般勾选框比较常用,其次是下拉选择以及按钮,功能这块最好加一个中止当前脚本运行,防止脚本不正确运行。
一般最经常调整的东西有两大块:一是间隔时间,即动作之间的sleep(time)如何决定,这个要不断地尝试改良,没别的;二是图片识别,有时候换个电脑换个模拟器脚本就没法识图了,这时往往要考虑: