github:https://github.com/PiotrDabkowski/Js2Py
在平时爬虫过程中,我们会遇到网站对js文件加密,无法爬取,现在就让我们来了解一下js2py模块,它可以对js文件进行解密。
快速入门1:
import js2py
# print('hello world')
js2py.eval_js('console.log("hello world")') # 'hello world' 实现print('hello world')
# func_js 为add()函数
func_js = """
function add(a,b){
return a+b
}
"""
add = js2py.eval_js(func_js) # 实现add()函数
print(add(1, 2)) # 3
print(js2py.eval_js('var a = "python";a')) # python
add = js2py.eval_js('function add(a,b){return a + b}')
print(add(2, 3)) # 5
快速入门2:
import js2py
# 1. 创建js环境
context = js2py.EvalJs()
# 2. 定义js函数
add1 = context.execute('function add(x, y){return x+y}')
print(add1) # None
# 3. 调用js函数
result = context.add(10, 20)
print(result) # 30
# 3. 可以定义变量
context.n = {'class': 'Hello World!'}
print(type(context.n)) # <class 'js2py.base.JsObjectWrapper'>
print(context.n) # {'class': 'Hello World!'}
翻译js文件为py文件
# 翻译js文件为py文件
import js2py
print(js2py.translate_js("console.log('hello world')"))
'''
from js2py.pyjs import *
# setting scope
var = Scope(JS_BUILTINS)
set_global_object(var)
# Code follows:
var.registers([])
var.get('console').callprop('log', Js('hello world'))'''
from js2py.pyjs import *
# setting scope
var = Scope(JS_BUILTINS)
set_global_object(var)
# Code follows:
var.registers([])
var.get('console').callprop('log', Js('hello world'))
'''
'hello world'
'''
将js文件翻译成python脚本
(1)新建test.js文件,编辑内容:console.log(“hello world”)
(2)写代码,并执行
import js2py
# 将js文件翻译成python脚本
js2py.translate_file('test.js', 'test.py')
(3)生成test.py文件,打开执行
__all__ = ['test']
# Don't look below, you will not understand this Python code :) I don't.
from js2py.pyjs import *
# setting scope
var = Scope(JS_BUILTINS)
set_global_object(var)
# Code follows:
var.registers([])
var.get('console').callprop('log', Js('hello world'))
# Add lib to the module scope
test = var.to_python()
'''
'hello world'
'''
示例1
import js2py
# 执行了一个python代码
print('sum:', sum([1, 2, 3])) # sum: 6
context = js2py.EvalJs({'python_sum': sum})
print(context) # <js2py.evaljs.EvalJs object at 0x0000000002834408> <js2py.evaljs.EvalJs 对象
js_code = '''
python_sum([1,2,6])
'''
# 执行了一个js代码
print('js_code的运行结果:', context.eval(js_code)) # js_code的运行结果: 9
示例2
import js2py
def add(x, y):
return x+y
# 1. 将python翻译成js
context = js2py.EvalJs({"add": add})
# 2. 调用函数
result = context.add(10, 20)
print(type(result)) # <class 'int'>
print(result) # 30
# 3. 或者通过 eval 函数调用
result2 = context.eval('add(10, 20)')
print(result2) # 30
示例3
import js2py
# 在js代码中导入Python模块并使用
# 使用pyimport语法
js_code = """
pyimport requests
console.log('导入成功');
var response = requests.get('http://www.baidu.com');
console.log(response.url);
console.log(response.content);
"""
js2py.eval_js(js_code)
'''
'导入成功'
'http://www.baidu.com/'
PyObjectWrapper(b'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>\xe7\x99\xbe\xe5\xba\xa6\xe4\xb8\x80\xe4\xb8\x8b\xef\xbc\x8c\xe4\xbd\xa0\xe5\xb0\xb1\xe7\x9f\xa5\xe9\x81\x93</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=\xe7\x99\xbe\xe5\xba\xa6\xe4\xb8\x80\xe4\xb8\x8b class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>\xe6\x96\xb0\xe9\x97\xbb</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>\xe5\x9c\xb0\xe5\x9b\xbe</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>\xe8\xa7\x86\xe9\xa2\x91</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>\xe8\xb4\xb4\xe5\x90\xa7</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>\xe7\x99\xbb\xe5\xbd\x95</a> </noscript> <script>document.write(\'<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=\'+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ \'" name="tj_login" class="lb">\xe7\x99\xbb\xe5\xbd\x95</a>\');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">\xe6\x9b\xb4\xe5\xa4\x9a\xe4\xba\xa7\xe5\x93\x81</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>\xe5\x85\xb3\xe4\xba\x8e\xe7\x99\xbe\xe5\xba\xa6</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>\xe4\xbd\xbf\xe7\x94\xa8\xe7\x99\xbe\xe5\xba\xa6\xe5\x89\x8d\xe5\xbf\x85\xe8\xaf\xbb</a> <a href=http://jianyi.baidu.com/ class=cp-feedback>\xe6\x84\x8f\xe8\xa7\x81\xe5\x8f\x8d\xe9\xa6\x88</a> \xe4\xba\xacICP\xe8\xaf\x81030173\xe5\x8f\xb7 <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n')
'''
以一段简单的JS脚本(add.js)为例,计算两个数的和。
// JavaScript 示例代码
function add(a, b) {
return a + b;
}
使用 Python 的os.popen或subprocess执行 node 命令,执行 JS 脚本。
首先,确保本地已经安装了 Node.js 环境:
node -v
v18.16.1
修改 JS 脚本,新增一个导出函数 init ,方便内部函数被调用:
// JavaScript 示例代码
function add(a, b) {
return a + b;
}
// 新增一个导出函数(node方式)
module.exports.init = function (arg1, arg2) {
// 调用函数,并返回
console.log(add(arg1, arg2));
};
// 调用 init 方法并传递参数
module.exports.init(parseInt(process.argv[3]), parseInt(process.argv[4]));
使用subprocess模拟node.js命令行调用并获取结果:
import subprocess
from loguru import logger
if __name__ == '__main__':
# 使用 subprocess 模块执行 Node.js 命令
result = subprocess.run(["node", "add.js", "init", "3", "5"], capture_output=True, text=True)
# 输出执行结果
logger.info(f"Node.js 执行结果: {result.stdout.strip()}")
PyExecJS 是使用最多的一种方式,底层实现方式是本地 JS 环境下运行 JS 代码,支持的 JS 环境包含:Node.js、PhantomJS 等。
首先第一步安装:
pip install PyExecJS==1.5.1
安装完成之后,即可以使用其调用 JS 脚本:
#! -*-conding=: UTF-8 -*-
from loguru import logger
import execjs
# 定义 JavaScript 代码
# js_code = """
# function add(a, b) {
# return a + b;
# }
# """
if __name__ == '__main__':
# Python 示例代码
js_code = open("add.js", "r", encoding="utf-8").read()
# 使用 PyExecJS 执行 JavaScript 代码
ctx = execjs.compile(js_code)
# 调用 JavaScript 函数,并计算结果
result = ctx.call("add", 3, 5)
logger.info(f"调用 JavaScript 函数的结果为: {result}")
这款工具既能控制浏览器,也能收发数据包,甚至能把两者合而为一。
首先安装依赖库:
pip install DrissionPage==4.0.4.22
执行 JS 脚本:
#! -*-conding=: UTF-8 -*-
from DrissionPage import ChromiumPage
if __name__ == '__main__':
page = ChromiumPage()
# 打开网页
page.get("about:blank")
# 定义 JavaScript 代码
js_code = """
function add(a, b) {
return a + b;
}
"""
# 在当前页面上执行 JavaScript 代码,并传递参数
result = page.run_js(js_code + " return add(8, 5)")
# 输出执行结果
print("JavaScript 执行结果:", result) # JavaScript 执行结果: 13
page.quit()
Playwright 是一个用于 Web 测试和自动化的框架。
首先安装依赖库:
pip install playwright==1.43.0
playwright install # 安装驱动
执行 JS 脚本:
#! -*-conding=: UTF-8 -*-
from playwright.sync_api import sync_playwright
if __name__ == '__main__':
# 启动 Playwright
with sync_playwright() as p:
# 启动 Chromium 浏览器
browser = p.chromium.launch(headless=False)
# 创建新页面
page = browser.new_page()
# 打开网页
page.goto("https://baidu.com")
# 定义 JavaScript 代码
js_code = """
function add(a, b) {
return a + b;
}
"""
page.add_script_tag(content=js_code) # 使用 page.add_script_tag() 方法将其注入到页面中,然后在页面上执行它
# 在当前页面上执行 JavaScript 代码
result = page.evaluate("add(5, 7)")
# 输出执行结果
print("JavaScript 执行结果:", result) # JavaScript 执行结果: 12
# 关闭浏览器
browser.close()
Selenium是一个用于测试网站的自动化测试工具,支持各种浏览器包括 Chrome、Firefox、Safari 等主流界面浏览器和 phantomJS 无界面浏览器。
首先安装依赖库:
pip install selenium==4.20.0
执行 JS 脚本:
#! -*-conding=: UTF-8 -*-
from selenium import webdriver
# 启动 Chrome 浏览器
driver = webdriver.Chrome()
# 打开网页
driver.get("about:blank")
# 定义 JavaScript 代码
js_code = """
function add(a, b) {
return a + b;
}
"""
# 在当前页面上执行 JavaScript 代码,并传递参数
result = driver.execute_script(js_code + " return add(3, 5)")
# 输出执行结果
print("JavaScript 执行结果:", result)
# 关闭浏览器
driver.quit()
类似的自动化工具还有很多,如果只是单纯的调用 JS 脚本,属实有点杀鸡用牛刀的赶jio。
Js2Py 作为一个纯 Python 实现的 JS 解释器,可以完全脱离 JS 环境,直接将 JS 代码转换为 Python 代码。
首先第一步安装:
pip install Js2Py==0.74
调用 JS 脚本:
#! -*-conding=: UTF-8 -*-
from js2py import eval_js
if __name__ == '__main__':
# JavaScript 示例代码
js_code = """
function add(a, b) {
return a + b;
}
"""
# 执行 JavaScript 代码
result = eval_js(js_code + "add(3, 5)")
# 输出执行结果
print("JavaScript 执行结果:", result)
PyMiniRacer 是一个 Python 模块,它提供了一个轻量级、快速且安全的方式来执行 JavaScript 代码,无需借助完整的 V8 引擎或 Node.js 环境。
不知道佬们用的多不多,据说速度比PyExecJS快不少。
直接安装:
pip install py_mini_racer==0.6.0
运行:
#! -*-conding=: UTF-8 -*-
from py_mini_racer import MiniRacer
if __name__ == '__main__':
# 创建 PyMiniRacer 实例
ctx = MiniRacer()
js_code = """
function add(a, b) {
return a + b;
}
"""
# 在 JavaScript 环境中执行代码并传递参数
ctx.eval(js_code)
result = ctx.call("add", 3, 5)
# 输出执行结果
print("JavaScript 执行结果:", result) # JavaScript 执行结果: 8
Python 中执行和调用 JavaScript 代码有多种方法:
每种工具都有其适用的场景和局限性,选择合适的工具取决于具体的需求和项目要求。