直接访问该接口时,状态521,返回如下js混淆加密代码。
- def get_content():
- url = 'http://www.gsxt.gov.cn/corp-query-entprise-info-xxgg-100000.html'
- r = requests.post(url)
- print(r.content.decode())
- print(r.status_code)
- get_content()
-
- <script>document.cookie=('_')+('_')+('j')+('s')+('l')+('_')+('c')+('l')+('e')+('a')+('r')+('a')+('n')+('c')+('e')+('=')+(-~false+'')+(3+3+'')+((1<<2)+'')+((1+[2])/[2]+'')+(+!+[]+'')+((1+[2]>>2)+'')+(1+3+'')+((2)*[2]+'')+(-~(3)+'')+([3]*(3)+'')+('.')+(([2]+0>>2)+'')+(7+'')+(-~[7]+'')+('|')+('-')+(-~false+'')+('|')+('s')+('g')+('w')+('T')+('p')+('u')+('n')+('A')+('E')+('%')+(2+'')+('B')+('H')+('D')+(1+4+'')+(~~{}+'')+('h')+('O')+(-~false+'')+('Z')+('V')+('C')+('%')+((1<<1)+'')+('B')+('q')+('v')+('T')+('S')+('F')+('A')+('%')+(1+2+'')+('D')+(';')+('m')+('a')+('x')+('-')+('a')+('g')+('e')+('=')+((1+[2]>>2)+'')+(1+5+'')+(~~false+'')+(~~''+'')+(';')+('p')+('a')+('t')+('h')+('=')+('/');location.href=location.pathname+location.search</script>
- 521
-
尝试给请求头中加上Cookie
- Cookie: __jsluid_h=d68888fc6e931f40e4508787817b806a; SECTOKEN=7333700017634149567; JSESSIONID=ed7a3f472552e3d96c432bfab4b5; tlb_cookie=S172.16.12.114; td_cookie=1577165912; __jsl_clearance=1646134602.818|0|bZ57isjV6P6ripFigR4CZ8zjj7U%3D
-
正常返回如下结果。
- def get_content():
- url = 'http://www.gsxt.gov.cn/affiche-query-area-info-paperall.html?noticeType=21&areaid=100000¬iceTitle=®Org=110000'
- headers = {
- 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36',
- 'Cookie': '__jsluid_h=d68888fc6e931f40e4508787817b806a; SECTOKEN=7333700017634149567; JSESSIONID=ed7a3f472552e3d96c432bfab4b5; tlb_cookie=S172.16.12.114; td_cookie=1577165912; __jsl_clearance=1646134602.818|0|bZ57isjV6P6ripFigR4CZ8zjj7U%3D'
- }
- r = requests.post(url,headers = headers)
- print(r.content.decode())
- print(r.status_code)
-
- get_content()
-
打开fiddler,刷新页面抓包
http://www.gsxt.gov.cn/corp-query-entprise-info-xxgg-100000.html
一共访问了三次该页面,前两次521,第三次正场返回请求页面。
第一次请求时服务端向服务器塞入第一个__jsluid_h关键cookie
- Set-Cookie: __jsluid_h=01737b0139a221e260d1061c68b4232f; max-age=31536000; path=/; HttpOnly
-
并向浏览器返回一段混淆过的js,内容如下,主要功能应该是设置cookie。
- <script>document.cookie=('_')+('_')+('j')+('s')+('l')+('_')+('c')+('l')+('e')+('a')+('r')+('a')+('n')+('c')+('e')+('=')+((+true)+'')+((1+[2])/[2]+'')+(-~false+'')+(3+6+'')+(2+2+'')+(-~[2]+'')+(~~false+'')+((2)*[4]+'')+((1+[0])/[2]+'')+(9-1*2+'')+('.')+((2)*[2]+'')+(6+'')+(1+6+'')+('|')+('-')+(-~0+'')+('|')+('w')+('Y')+('p')+('A')+('F')+('R')+('%')+(1+1+'')+('B')+(-~(4)+'')+('X')+('x')+('m')+('W')+('Y')+((1<<2)+'')+('j')+('P')+('a')+('Q')+([3]*(3)+'')+('t')+('Q')+(1+7+'')+('T')+('P')+('Z')+('i')+('E')+('%')+(3+'')+('D')+(';')+('m')+('a')+('x')+('-')+('a')+('g')+('e')+('=')+(3+'')+(3+3+'')+(~~''+'')+(~~false+'')+(';')+('p')+('a')+('t')+('h')+('=')+('/');location.href=location.pathname+location.search</script>
-
我们将这段js放入浏览器中执行,如我们所料,正是返回第二个__jsl_clearance关键性cookie。
第二次请求http://www.gsxt.gov.cn/corp-query-entprise-info-xxgg-100000.html时,浏览器发送了__jsl_clearance和__jsluid_h两个关键cookie,服务端接收后并返回了一段混淆后的js,这次没有向浏览器塞入cookie。
- Cookie: __jsluid_h=01737b0139a221e260d1061c68b4232f; __jsl_clearance=1619430857.467|-1|wYpAFR%2B5XxmWY4jPaQ9tQ8TPZiE%3D
-
第三次请求http://www.gsxt.gov.cn/corp-query-entprise-info-xxgg-100000.html时,浏览器携带了两个关键性Cookie,不过这次__jsl_clearance和之前的值发生变化,怀疑是第二次请求返回的js做了手脚。
- Cookie: __jsluid_h=01737b0139a221e260d1061c68b4232f; __jsl_clearance=1619430857.529|0|WGn9gKxiPtYUHAGBZ1a%2B%2F3o9sJE%3D
-
这次请求不仅正常的返回了页面内容,而且还往请求头中塞入了第三个SECTOKEN关键性Cookie。
- Set-Cookie: SECTOKEN=7448433543385710812; Expires=Sat, 14-May-2089 13:03:34 GMT; Path=/; HttpOnly
-
在上面的三个cookie加持下,终于成功的返回了我们想要的数据,接下来就是分析这三个cookie在代码中如何拿到。
通过requests的session对象,自动合并cookie信息,并设置请求头。
- headers = {
- 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36',
- }
- session = requests.session()
- session.headers = headers
-
通过第一次请求,服务端往客户端返回__jsluid_h作为第一个关键cookie,根据返回的js通过正则表达式拿到script标签中的js逻辑,并去除后面无用jslocation.href...
- index_url = 'http://www.gsxt.gov.cn/corp-query-entprise-info-xxgg-100000.html'
- response = session.get(index_url)
- # <script>document.cookie=('_')+('_')+('j')+('s')+('l')+('_')+('c')+('l')+('e')+('a')+('r')+('a')+('n')+('c')+('e')+('=')+(-~0+'')+(1+5+'')+(-~(3)+'')+([2]*(3)+'')+(-~{}+'')+(-~[]+'')+(1+8+'')+(1+2+'')+(1+6+'')+((1<<3)+'')+('.')+(-~1+'')+((2)*[2]+'')+('|')+('-')+(-~0+'')+('|')+(+!+[]*2+'')+('K')+(~~[]+'')+(~~''+'')+('x')+(1+8+'')+(1+[0]-(1)+'')+('t')+('K')+('k')+('s')+('y')+('I')+('D')+('m')+('r')+('r')+('a')+('n')+((2^1)+'')+('Z')+('d')+(1+8+'')+('h')+('j')+('k')+('Y')+('%')+(3+'')+('D')+(';')+('m')+('a')+('x')+('-')+('a')+('g')+('e')+('=')+((1+[2]>>2)+'')+([2]*(3)+'')+(~~false+'')+(~~''+'')+(';')+('p')+('a')+('t')+('h')+('=')+('/');location.href=location.pathname+location.search</script>
- print(session.get(index_url).content.decode(('utf-8')))
- js1 = re.findall('<script>(.+?)</script>', response.content.decode())[0].replace('document.cookie=', '').replace('location.href=location.pathname+location.search', '')
- context = js2py.EvalJs()
- context.execute('cookies2 =' + js1)
- cookies = context.cookies2.split(';')[0].split('=')
- session.cookies.set(cookies[0], cookies[1]) # 到此拿到第两个cookie
- print(cookies)
- print(session.cookies)
- print("-----------------------------------------------------------------")
-
- <script>document.cookie=('_')+('_')+('j')+('s')+('l')+('_')+('c')+('l')+('e')+('a')+('r')+('a')+('n')+('c')+('e')+('=')+((+true)+'')+(2+4+'')+(-~(3)+'')+(2+4+'')+(-~0+'')+(-~[2]+'')+((1+[2])/[2]+'')+((2<<1)+'')+(([2]+0>>2)+'')+((1+[2]>>2)+'')+('.')+(9-1*2+'')+((2)*[2]+'')+(+!+[]*2+'')+('|')+('-')+(-~0+'')+('|')+('N')+('F')+('T')+('K')+('e')+('K')+('y')+('p')+('M')+('n')+('I')+('Z')+('v')+('a')+('W')+('p')+('C')+(1+7+'')+('b')+('c')+('N')+('u')+('I')+('Y')+('U')+('n')+('A')+('%')+(1+2+'')+('D')+(';')+('m')+('a')+('x')+('-')+('a')+('g')+('e')+('=')+(-~[2]+'')+(6+'')+(~~''+'')+(~~{}+'')+(';')+('p')+('a')+('t')+('h')+('=')+('/');location.href=location.pathname+location.search</script>
- ['__jsl_clearance', '1646136453.711|-1|5rSxGpzq9%2B4x%2Bi7OuNNol2%2BFlf0%3D']
- <RequestsCookieJar[<Cookie __jsl_clearance=1646136453.711|-1|5rSxGpzq9%2B4x%2Bi7OuNNol2%2BFlf0%3D for />, <Cookie __jsluid_h=41cbdbe22570ed62cebaa19f9ca7ef14 for www.gsxt.gov.cn/>]>
- -----------------------------------------------------------------
-
第二次请求携带了前面两个关键性cookie,并返回了一段js。这里我们的cookie都存在了session中,所以不用额外处理。通过正则取出第二次返回的js中script标签中的内容。
- print(session.get(index_url).content.decode(('utf-8')))
-
就算格式化后这段代码都难以阅读,我们通过ob混淆专解测试版V0.1(http://tool.yuanrenxue.com/decode_obfuscator)进行反混淆,重新审视这段js。
逻辑就是通过调用go函数往document中塞入cookie,我们在function go(_0x2323c8)最后返回document[‘cookie’],把setTimeout的时间设置久一点。
通过上面分析我们可以通过第二次请求返回的js进行修改后,python调用生成cookie传递后被修改的__jsl_clearance关键cookie。不过很多对象在python调用时不可用,如window,document,location等等,我们可以通过jsdom库npm install jsdom实现浏览器的上下文。
- const jsdom = require("jsdom");
- const {JSDOM} = jsdom;
- const dom = new JSDOM();
- window = dom.window;
- document = window.document;
- location = new Array();
-
就这段js存入文件后,python读取文件,使用execjs实现调用,返回第二个__jsl_clearance关键性cookie,为获取SECTOKEN埋下伏笔。
- with open(r'第二次请求.js', encoding='utf-8', mode='r') as f:
- JsData = f.read()
- cookie = execjs.compile(JsData).call('request')
- print(cookie)
-
在python中为了调用go函数,还需要在js中新创建一个request函数,让go函数的数据返回给python作为cookie存入session中。
- print(session.get(index_url).content.decode(('utf-8')))
-
- # 添加jsdom实现浏览器上下文
- js2 = '''const jsdom = require("jsdom");const {JSDOM} = jsdom;const dom = new JSDOM();window = dom.window;document = window.document;location = new Array();''' + \
- re.findall('<script>(.+?)</script>', session.get(index_url).content.decode('utf-8'))[0]
- print(js2)
-
- #正则获取document['cookie'],由于每次个数不一样我们取最后一个
- cookies2_1 = re.findall(r"document\[.*?\]=(.*?)location", js2, re.S)[-1]
- print(cookies2_1)
-
- #将document['cookie']内容返回给go函数
- js3 = re.sub("};go", "return " + cookies2_1 + "};go", js2, 1)
- print(js3)
-
- #获取调用go函数时里面的参数
- request = re.findall(r"go\({(.*?)}\)", js3, re.S)[-1]
-
- # 通过python修改js生成一个request方法
- final_js = js3+"\nfunction request() {return go({"+request+"})}"
-
- # js调用request方法返回cookie并将新的__jsl_clearance塞给session中
-
- cookies3 = execjs.compile(final_js,cwd='C:\\Users\\xk\\AppData\\Roaming\\npm\\node_modules').call('request').split(';')[0].split('=')
- session.cookies.set(cookies3[0], cookies3[1])
- print(cookies3)
- print(session.cookies)
- print("---------------------------"*10)
-
利用新的__jsl_clearance和__jsluid_h发送第三次请求,服务端会向客户端返回新Cookie SECTOKEN,接下来我们打印出所有的cookie。
- session.get(index_url)
- cookies = requests.utils.dict_from_cookiejar(session.cookies)
- print(cookies)
-
- {
- '__jsl_clearance': '1619446283.778|0|DFaPnxb5OqsBcRBkaxTSCax2qLA%3D',
- 'HttpOnly': None,
- 'JSESSIONID': 'e80d7db0e1fe65e65ab6a29e8cc4',
- 'SECTOKEN': '7448640433386424422',
- '__jsluid_h': '2c8e0b64535955d16c6db3072464d199',
- 'tlb_cookie': 'S172.16.12.67'
- }
-
- import requests
- url = 'http://www.gsxt.gov.cn/affiche-query-area-info-paperall.html?noticeType=21&areaid=100000¬iceTitle=®Org=110000'
-
- data = {
- # 'draw': '0',
- 'start': '0',
- 'length': '10'
- }
- headers = {
- 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'
- }
- cookies = {'__jsl_clearance': '1646137069.231|0|dpC2mkOpeADUpLzDKuZ5otHcsPc%3D', 'HttpOnly': None, 'JSESSIONID': '5608172df8701a23751b2a238e9f', 'SECTOKEN': '7335285274506430628', '__jsluid_h': '1149506189c345fed7b0ff4cd29a1ba0', 'tlb_cookie': 'S172.16.12.116'}
- response = requests.post(url, data=data,cookies = cookies, headers=headers)
- print(response.status_code)
- print(response.content.decode())
-
- import requests
- import re
- import js2py
- import execjs
-
- headers = {
- 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36',
- }
- session = requests.session()
- session.headers = headers
-
- index_url = 'http://www.gsxt.gov.cn/corp-query-entprise-info-xxgg-100000.html'
- response = session.get(index_url)
- # <script>document.cookie=('_')+('_')+('j')+('s')+('l')+('_')+('c')+('l')+('e')+('a')+('r')+('a')+('n')+('c')+('e')+('=')+(-~0+'')+(1+5+'')+(-~(3)+'')+([2]*(3)+'')+(-~{}+'')+(-~[]+'')+(1+8+'')+(1+2+'')+(1+6+'')+((1<<3)+'')+('.')+(-~1+'')+((2)*[2]+'')+('|')+('-')+(-~0+'')+('|')+(+!+[]*2+'')+('K')+(~~[]+'')+(~~''+'')+('x')+(1+8+'')+(1+[0]-(1)+'')+('t')+('K')+('k')+('s')+('y')+('I')+('D')+('m')+('r')+('r')+('a')+('n')+((2^1)+'')+('Z')+('d')+(1+8+'')+('h')+('j')+('k')+('Y')+('%')+(3+'')+('D')+(';')+('m')+('a')+('x')+('-')+('a')+('g')+('e')+('=')+((1+[2]>>2)+'')+([2]*(3)+'')+(~~false+'')+(~~''+'')+(';')+('p')+('a')+('t')+('h')+('=')+('/');location.href=location.pathname+location.search</script>
- print(session.get(index_url).content.decode(('utf-8')))
- js1 = re.findall('<script>(.+?)</script>', response.content.decode())[0].replace('document.cookie=', '').replace('location.href=location.pathname+location.search', '')
- context = js2py.EvalJs()
- context.execute('cookies2 =' + js1)
- cookies = context.cookies2.split(';')[0].split('=')
- session.cookies.set(cookies[0], cookies[1]) # 到此拿到第两个cookie
- print(cookies)
- print(session.cookies)
- print("-----------------------------------------------------------------")
-
-
-
-
- print(session.get(index_url).content.decode(('utf-8')))
-
- # 添加jsdom实现浏览器上下文
- js2 = '''const jsdom = require("jsdom");const {JSDOM} = jsdom;const dom = new JSDOM();window = dom.window;document = window.document;location = new Array();''' + \
- re.findall('<script>(.+?)</script>', session.get(index_url).content.decode('utf-8'))[0]
- print(js2)
-
- #正则获取document['cookie'],由于每次个数不一样我们取最后一个
- cookies2_1 = re.findall(r"document\[.*?\]=(.*?)location", js2, re.S)[-1]
- print(cookies2_1)
-
- #将document['cookie']内容返回给go函数
- js3 = re.sub("};go", "return " + cookies2_1 + "};go", js2, 1)
- print(js3)
-
- #获取调用go函数时里面的参数
- request = re.findall(r"go\({(.*?)}\)", js3, re.S)[-1]
-
- # 通过python修改js生成一个request方法
- final_js = js3+"\nfunction request() {return go({"+request+"})}"
-
- # js调用request方法返回cookie并将新的__jsl_clearance塞给session中
-
- cookies3 = execjs.compile(final_js,cwd='C:\\Users\\xk\\AppData\\Roaming\\npm\\node_modules').call('request').split(';')[0].split('=')
- session.cookies.set(cookies3[0], cookies3[1])
- print(cookies3)
- print(session.cookies)
- print("---------------------------"*10)
-
-
-
- session.get(index_url)
- cookies = requests.utils.dict_from_cookiejar(session.cookies)
- print(cookies)
-