携程eleven参数

前言

最近遇到了一个比较好玩的反爬--携程eleven参数的生成。

说好玩的原因是请求一个接口后，会返回js代码，只要稍微调试下，便可以在浏览器上得到eleven参数了。

但如果想要在node或者无头浏览器之类的东西完成的话，只会报错。

(需要代码的大佬可以跳到最后(node环境+油猴+py, 通过websocket给油猴和py代码通信))

 

爬取目标

说一下我们要爬的数据吧。(如下内容) https://hotels.ctrip.com/hotel/beijing1#ctm_ref=hod_hp_sb_lst

这些数据来自于此接口

是一个post请求，在请求体中便是著名的eleven参数了。

如果eleven参数错误的话，是不会返回上面的数据的。

Eleven参数

前面说过了，Eleven参数来自于一段js代码(这段js代码是请求一个url后直接返回的)

下面便是那个所要请求的url

 

请求此url后返回的js代码

1. 测试返回的js代码

我们新开一个标签页，然后将返回的js代码复制到控制台执行。会发现报了一个错

 应该是缺少了其它js代码造成的

// 这样可以产生一个与上图相似的错误 Function.prototype.toString.call(1);

我们还可以将返回的js代码复制到携程页面的控制台运行下，发现并没有报错，但我们的页面被重定向到了登陆页面

因此猜测返回的js代码的只能被执行一次(毕竟就是在携程的页面执行的。)

2. 下断点(看看返回的js代码是怎么运行的)

怎么下断点？搜索url中的关键字? 下xhr断点。

当时我用的方式是搜索url中的关键字， oceanball。那天是直接可以搜索到的。但今天没有了。

下xhr断点是不可能断下来的。因为他用到是jsonp来请求的。

那用啥方法呢?

看这个请求的发起者。

鼠标移到下面红色箭头指的位置便可以看到这个请求的发起者

点击第二个发起者(js @cQuery_110421.js:formatted:823那行)

为什么是第二个，因为第一个不行，可以自行尝试

如图 下一个断点(823行，也是第二个发起者代码执行行数)

我们其实也可以在 "欢迎度排序" 和 "好评优先" 之间来回切换，不然总是刷新的话，效率不高

如果页面刷新了，或者如上切换了选项的话。页面会在我们之前下的断点停住。

注意下右边的 call stack(调用栈)

我们如下图点击一下 ，来到上一层的执行环境。

  

往上翻一下，就会发现这部分便是那个url从发起请求到处理返回结果的所有细节

如下图所示

其实只要在返回的js代码里加上如下内容

// 这里的o是请求url中callback参数。
window[o] = function (e){ console.log(e()); // 这样便可以输出结果了。 } // 下面是请求url后返回的js代码

这样代码便可以在浏览器中输出结果了

 

 

好了，重点部分来了。

3. 如何批量生成eleven参数

我不能说我手动复制到浏览器中运行，然后复制下结果吧。

在node环境中运行难度比较大，他会严格检测执行环境。

也别想断点调试。见过一个函数被调用18多万次吗？

是不是想问我是怎么知道这些的?

我是通过Object.defineProperty 劫持了 navigator.userAgent。

当这个js代码想要获取 navigator.userAgent 时，代码便会在此就会停住

Object.defineProperty(navigator, "userAgent", {
   get(){
          debugger;
          return  navigator.userAgent;     
    } 
})

 

然后慢慢堆栈时发现某一个函数貌似便是用于检测环境的函数啥的。然后那个函数被调用了18万多次。

检测的内容非常多，不光是node环境，还有无头浏览器啥的，你听过的没听过的都有。

处理方法

已经有大佬在node环境中模拟了这个浏览器环境了，像我这种菜鸡，估计是难做到了。

我的想法很简单，还是通过浏览器执行那些js代码，但是需要自动执行。

vscode的自动保存便刷新页面的插件给了我启发，他是通过websocket进行通信，服务器会将最新的html传给客户端，客户端可以做一定的处理

1. 首先需要使用nodejs搭建一个websocket的环境，可以使用 nodejs-websocket 模块搭建

代码如下

需要安装下node环境(node官网下载，像装软件一样安装即可。)

var ws = require("nodejs-websocket");
console.log("开始建立连接...")

var cached = {

}
var server = ws.createServer(function(conn){
    conn.on("text", function (msg) {
        if (!msg) return;
        // conn.sendText(str)
        // console.log(str);
        if (msg.length > 1000){
            console.log("msg 这是js代码")
        }else{
            console.log("msg", msg);
        }
        var key = conn.key;
        if ((msg === "Browser") || (msg === "Python")){
            // browser或者python第一次连接
            cached[msg] = key;
            console.log("cached",cached);
            return;
        }
        console.log(cached, key);
        if (Object.values(cached).includes(key)){
            console.log(server.connections.forEach(conn=>conn.key));
            var targetConn = server.connections.filter(function(conn){
                return conn.key !== key;
            })
            console.log(targetConn.key);
            console.log("将要发送的js代码");
            targetConn.forEach(conn=>{
                conn.send(msg);
            })
        }
        // broadcast(server, str);
    })
    conn.on("close", function (code, reason) {
        console.log("关闭连接")
    });
    conn.on("error", function (code, reason) {
        console.log("异常关闭")
    });
}).listen(8014)
console.log("WebSocket建立完毕")


// var server = http.createServer(function(request, response){
//     response.end("ok");
// }).listen(8000);

2. 其次， 需要安装浏览器插件 油猴(英文名 tampermonkey),需要FQ。

 

 

点击应用后就会有 谷歌应用商店(需要FQ)，然后搜索 油猴便可以了。

关于油猴的代码

// ==UserScript==
// @name         携程websocket
// @namespace    http://tampermonkey.net/
// @version      0.1
// @description  try to take over the world!
// @author       You
// @match        https://hotels.ctrip.com/hotel/beijing1
// @grant        none
// ==/UserScript==

(function() {
    var mess = document.getElementById("mess");
    if(window.WebSocket){
        ws = new WebSocket('ws://127.0.0.1:8014/');
        ws.onopen = function(e){
            // console.log("连接服务器成功");
            ws.send("Browser");
        }
        ws.onclose = function(e){
            console.log("服务器关闭");
        }
        ws.onerror = function(){
            console.log("连接出错");
        }

        ws.onmessage = function(e){
            var data = e.data;
            var execJS = document.getElementById("execJS");
            if (execJS){
                document.body.removeChild(execJS);
            }
            execJS = document.createElement("script");
            execJS.id = "execJS";
            execJS.innerHTML = data;
            document.body.appendChild(execJS);
        }

        }
    // Your code here...
})();

 

说明一下，为什么需要油猴?

使用油猴，使得js代码的运行环境直接就是携程的网页，而不是单独打开的页面。

(注意，携程的服务器每天验证的严格程度都不太一样。)

那天测试的时候，我是直接写了一个html文件的，然后本地打开。就可以直接用了。

如果没有装油猴，可以先试试我下面提供的html文件。如果验证没有通过，就需要使用油猴环境

<!doctype html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Document</title>
    <style>
        #mess{text-align: center}
    </style>
</head>
<body>
    <script id="execJS"></script>
    <script>
        var mess = document.getElementById("mess");
        var execJS = document.getElementById("execJS");
        if(window.WebSocket){
            var ws = new WebSocket('ws://127.0.0.1:8010/');
            ws.onopen = function(e){
                // console.log("连接服务器成功");
                ws.send("Browser");
            }
            ws.onclose = function(e){
                console.log("服务器关闭");
            }
            ws.onerror = function(){
                console.log("连接出错");
            }

            ws.onmessage = function(e){
                var data = e.data;
                var execJS = document.getElementById("execJS");
                if (execJS){
                    document.body.removeChild(execJS);
                }
                execJS = document.createElement("script");
                execJS.id = "execJS";
                execJS.innerHTML = data;
                document.body.appendChild(execJS);
            }
            
        }
    </script>
</body>
</html>

返回的eleven参数是正确的，请求也成功了。但是今天测试时失败了，然后我对比了一下在携程的控制台下和我本地路径下的html的控制台的结果

# 21e3255d0f89cdf5c3a347d61e7dafbcf15db34f7afe97cda2b5a7ec578652ee_1965113742
# 21e3255d0f89cdf5c3a347d61e7cafbcf15db34f7afe97cda2b5a7ec578652ee_1965113417

如果不仔细看的话，还看不出来。最后的三位是不一样的，应该是对location的检测。

油猴的作用是在携程的网站打开时注入我们的js代码，然后接下来要运行的代码环境便是携程的了。这样产生的eleven参数便是正确的。

 

3. python代码的编写

python的作用其实是连接websocket服务，发送我们需要运行的js代码，node会帮我们将js代码传给前端页面(油猴插件)。

当js代码在携程的环境里运行完毕后，它会将eleven参数通过websocket传给node，node会把结果返回给我们。这样我们的py代码就能获取到eleven参数了。

import requests
import time
import datetime
import execjs
import os

from ws4py.client.threadedclient import WebSocketClient


class CG_Client(WebSocketClient):
    def opened(self):
        print("连接成功")
        # req = open("../a.js").read()
        self.send("Python")

    def closed(self, code, reason=None):
        print("Closed down:", code, reason)

    def received_message(self, resp):
        print("resp", resp)
        currentDate = time.strftime("%Y-%m-%d")
        today = datetime.datetime.now()  # 今天，如 "2020-05-11"
        last_time = today + datetime.timedelta(hours=-24)
        tomorrow = last_time.strftime("%Y-%m-%d")  # 明天，如 '2020-05-10'
        data = {
            "__VIEWSTATEGENERATOR": "DB1FBB6D",
            "cityName": "%E5%8C%97%E4%BA%AC",
            "StartTime": today,
            "DepTime": tomorrow,
            "RoomGuestCount": "1,1,0",
            "txtkeyword": "",
            "Resource": "",
            "Room": "",
            "Paymentterm": "",
            "BRev": "",
            "Minstate": "",
            "PromoteType": "",
            "PromoteDate": "",
            "operationtype": "NEWHOTELORDER",
            "PromoteStartDate": "",
            "PromoteEndDate": "",
            "OrderID": "",
            "RoomNum": "",
            "IsOnlyAirHotel": "F",
            "cityId": "1",
            "cityPY": "beijing",
            "cityCode": "010",
            "cityLat": "39.9105329229",
            "cityLng": "116.413784021",
            "positionArea": "",
            "positionId": "",
            "hotelposition": "",
            "keyword": "",
            "hotelId": "",
            "htlPageView": "0",
            "hotelType": "F",
            "hasPKGHotel": "F",
            "requestTravelMoney": "F",
            "isusergiftcard": "F",
            "useFG": "F",
            "HotelEquipment": "",
            "priceRange": "-2",
            "hotelBrandId": "",
            "promotion": "F",
            "prepay": "F",
            "IsCanReserve": "F",
            "k1": "",
            "k2": "",
            "CorpPayType": "",
            "viewType": "",
            "checkIn": today,
            "checkOut": tomorrow,
            "DealSale": "",
            "ulogin": "",
            "hidTestLat": "0%7C0",
            "AllHotelIds": "",
            "psid": "",
            "isfromlist": "T",
            "ubt_price_key": "htl_search_noresult_promotion",
            "showwindow": "",
            "defaultcoupon": "",
            "isHuaZhu": "False",
            "hotelPriceLow": "",
            "unBookHotelTraceCode": "",
            "showTipFlg": "",
            "traceAdContextId": "",
            "allianceid": "0",
            "sid": "0",
            "pyramidHotels": "",
            "hotelIds": "",
            "markType": "0",
            "zone": "",
            "location": "",
            "type": "",
            "brand": "",
            "group": "",
            "feature": "",
            "equip": "",
            "bed": "",
            "breakfast": "",
            "other": "",
            "star": "",
            "sl": "",
            "s": "",
            "l": "",
            "price": "",
            "a": "0",
            "keywordLat": "",
            "keywordLon": "",
            "contrast": "0",
            "PaymentType": "",
            "CtripService": "",
            "promotionf": "",
            "allpoint": "",
            "page_id_forlog": "102002",
            "contyped": "0",
            "productcode": "",
            "eleven": resp.data,
            "orderby": "3",
            "ordertype": "0",
            "page": "1",
        }
        headers = {
            "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
            "referer": "https://hotels.ctrip.com/hotel/shanghai2",

            "cookie": 请在此处写入你的cookie,因为携程会检测cookie的ip字段(经过混淆加密)
        }
        url = "https://hotels.ctrip.com/Domestic/Tool/AjaxHotelList.aspx"
        a = requests.post(url, data=data, headers=headers)
        print(a.text)

        # resp = json.loads(str(resp))
        # data = resp['data']
        # if type(data) is dict:
        #     ask = data['asks'][0]
        #     print('Ask:', ask)
        #     bid = data['bids'][0]
        #     print('Bid:', bid)


def getTime():
    return str(time.time()).replace(".", "")[0:13]


def getCallbackParam():
    f = open("./callback.js")
    context = execjs.compile(f.read())
    return context.call("getCallback")


def getContent():
    t = getTime()
    callback = getCallbackParam()
    print(callback)
    url = "https://hotels.ctrip.com/domestic/cas/oceanball?callback=%s&_=%s" % (
        callback,
        t,
    )
    headers = {
        "user-agent": "Mozilla/5.0 (darwin) AppleWebKit/537.36 (KHTML, like Gecko) jsdom/16.2.2",
        "referer": "https://hotels.ctrip.com/hotel/shanghai2",
    }
    r = requests.get(url, headers=headers)

    code = (
        """
        window["%s"] = function (e) {
        var f = e();
        console.log(f);
        ws.send(f);
    };;
    """
        % callback
        + r.text
    )
    print(code)
    ws.send(code)


# getContent()

ws = None
try:
    ws = CG_Client("ws://127.0.0.1:8014/")
    ws.connect()
    getContent() # 如果想要多次请求，可在此处再写一个
    ws.run_forever()

except KeyboardInterrupt:
    ws.close()

 

python代码需要依赖一个callback.js文件，内容如下

// callback.js function e(e) { var t = ["A", "B", "C", "D", "E", "F", "G", "H", "I", "J", "K", "L", "M", "N", "O", "P", "Q", "R", "S", "T", "U", "V", "W", "X", "Y", "Z", "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z"], a = "CAS", o = 0 for (; o < e; o++) { var i = Math.ceil(51 * Math.random()); a += t[i] } return a } function getCallback() { return e(15); }

4. 代码的启动顺序

1. 启动node websocket服务 (node app.js)

2. 刷新携程网页，F12后查看是否连接上了node websocket服务

3. 启动python代码

5. 注意事项

如果有端口占用错误(如果是mac，这个现象很正常，可以npm i nodemon, 然后nodemon app.js 启动。这样我们只要保存app.js，就会重启)

如果python代码运行后一直收不到结果，可以先看看node有没有报错，然后刷新下携程的页面

 

6. 关于运行速度

基本就是浏览器运行js脚本的速度，(浏览器引擎的解释速度可能比node快很多，毕竟浏览器专门做这个的)。

只有中间websocket通信的时耗，并且websocket是复用的，不是用一次就连接一次。

7. 关于canvas指纹

如果大量采集的话，会是一样的canvas指纹。可以选择hook canvas相关的api。

8. 关于爬取评论的py代码

import requests
import time
import datetime
import execjs
import os

from ws4py.client.threadedclient import WebSocketClient

callback = ""


class CG_Client(WebSocketClient):
    def opened(self):
        print("连接成功")
        # req = open("../a.js").read()
        self.send("Python")

    def closed(self, code, reason=None):
        print("Closed down:", code, reason)

    def received_message(self, resp):
        global callback
        print("resp", resp.data)
        headers = {
            "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.35",
            "referer": "https://hotels.ctrip.com/hotel/shanghai2",
            "cookie": 请在此处输入你的cookie,
        }
        eleven = resp.data
        params = {
            "MasterHotelID": "608516",
            "hotel": "608516",
            "NewOpenCount": "0",
            "AutoExpiredCount": "0",
            "RecordCount": "1659",
            "OpenDate": "",
            "card": "-1",
            "property": "-1",
            "userType": "-1",
            "productcode": "",
            "keyword": "",
            "roomName": "",
            "orderBy": "2",
            "currentPage": "2",
            "viewVersion": "c",
            "contyped": "0",
            "eleven": "",
            "callback": callback,
            "_": str(time.time()).replace(".", "")[0:13],
        }
        
        comment_url = (
            "https://hotels.ctrip.com/Domestic/tool/AjaxHotelCommentList.aspx?"
        )
        r = requests.get(comment_url, params=params, headers=headers)
        print(r.url)
        print(r.text)
        # a = requests.post(url, data=data, headers=headers)
        # print(a.text)

        # resp = json.loads(str(resp))
        # data = resp['data']
        # if type(data) is dict:
        #     ask = data['asks'][0]
        #     print('Ask:', ask)
        #     bid = data['bids'][0]
        #     print('Bid:', bid)


def getTime():
    return str(time.time()).replace(".", "")[0:13]


def getCallbackParam():
    # f = open("./callback.js")
    callbackCode = """
        function e(e) {
            var t = ["A", "B", "C", "D", "E", "F", "G", "H", "I", "J", "K", "L", "M", "N", "O", "P", "Q", "R", "S", "T", "U", "V", "W", "X", "Y", "Z", "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z"], a = "CAS", o = 0
            for (; o < e; o++) {
                var i = Math.ceil(51 * Math.random()); a += t[i]
            }
            return a
        }
        function getCallback() {
            return e(15);
        }
    """
    context = execjs.compile(callbackCode)
    return context.call("getCallback")


def getContent():
    global callback
    t = getTime()
    callback = getCallbackParam()
    print(callback)
    url = "https://hotels.ctrip.com/domestic/cas/oceanball?callback=%s&_=%s" % (
        callback,
        t,
    )
    headers = {
        "user-agent": "Mozilla/5.0 (darwin) AppleWebKit/537.36 (KHTML, like Gecko) jsdom/16.2.2",
        "referer": "https://hotels.ctrip.com/hotel/shanghai2",
        "cookie": 请在此处输入你的cookie,
    }
    r = requests.get(url, headers=headers)

    code = (
        """
        window["%s"] = function (e) {
        var f = e();
        console.log(f);
        ws.send(f);
    };;
    """
        % callback
        + r.text
    )
    # print(code)
    ws.send(code)

    # open("a.js", "w").write(code)
    #
    # os.system("node a.js")


# getContent()

ws = None
try:
    ws = CG_Client("ws://127.0.0.1:8014/")
    ws.connect()
    getContent()
    ws.run_forever()

except KeyboardInterrupt:
    ws.close()

 

运行成功的截图