航空公司与爬虫的战争：特价票的真相与内幕

    所谓道高一尺魔高一丈，只要有一丝丝希望，“产品”经理就不会放弃：他们充分的利用各种资源，比如利用购买或者租用的云机房、IDC 中的 IP 资源，甚至会改造了路由器，待买家购置家中后，便直接转化成了为他们服务的爬虫种子。

    其目的：将单一 IP 的访问动作稀释到成千上万的 IP 中去。

    岂安科技风险情报专家笑天分析了 2016 年某三个月的爬虫来源分布图，也证明这一点，他们分布的十分广泛，调用顺序也毫无规律可循。

    综上所述，对于一个完整的风控体系而言，仅通过访问频率、Useragent 观测角度肯定不是最全面的的风控维度。

    抽丝剥茧看爬虫

    爬虫绕开技术层出不穷，防爬虫的技术也日新月异，风险黑名单可能是大多风控部门采用的方式，这种存在一定局限性，从行为轨迹和用户画像角度出发一定是风控的大趋势。

    针对航司的爬虫，需求表明目前最迫切的是防止黑代理将IP分散到世界各地绕开访问频率的监控，我们必须增加更多途径实时访问流量中获得更多有价值信息。(前提：一定不允许在 APP 、Web 中增加代码，大型企业对这些非常看重)。

01 访问元素丰富度

    普通用户在打开网页时会有比较丰富的地址访问，而自动爬虫通常只有少数固定的页面访问，比如航司活动专版、舱位价格页面、航线动态等。

图为岂安科技风控产品监控界面

02 访问轨迹连贯性

    用户在进行页面访问时，通常是有一个合理的访问轨迹，如从首页跳转到机票搜索，但爬虫在自动获取数据时，往往是对页面地址进行逐个访问，没有连贯的轨迹。比如首次访问就是登录页面，正常应该从搜索或者广告页跳转而来。

03 访问静态资源比例

    爬虫获取数据时往往只关心具体的文字内容和数据，但不会查看图片以及加载页面上的 CSS 或者 JS 信息，这就为风控平台提供了一个较为显著的判断因素，这一点不用多加解释。

04Click 间隔时间

    爬虫在获取页面信息时，会出现连续两个 Click 间隔时间过短，不匹配合理的人肉点击间隔时间，这就是典型的区别人机判断机制。

    篇幅有限，仅仅列出以上这些在航司常出现的风险特征。

    小结

    一入票代深似海，从此节操是路人。

    对于各航空公司，爬虫仅仅是一个风险的开始。岂安科技的安全专家 James 和 Bogomil 通过调研，得出在航司还存在着信息泄露、短信轰炸、虚假注册、羊毛党、扫号撞库、密码找回等诸多风险问题。

    针对航司的行业特点，岂安科技开发了 Warden(看门者)产品，通过大数据分析、风控专家梳理，研制开发了航旅版业务风险决策系统，已陆续在各大航司、OTA 中交付使用，并得到了非常好的反馈。

    作者简介

    岂安情报产品经理浩源，10 年以上的人机识别、风险情报分析、黑产调研相关的工作经验，在风险管理方面主张创新，专注于互联网金融、支付、航空、电商的反欺诈产品的调研和开发。

（编辑：财气旺网 - 海宁网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!