-
-
[原创]北京调低防控等级后:机票查询暴增,恶意爬虫涌动
-
发表于: 2020-6-23 17:25 4804
-
4 月 29 日下午消息,北京市宣布公共卫生应急响应级别调至二级后。多家OTA网站数据显示:消息发布的60分钟内,北京出发的机票预订量较上一时段暴涨15倍,北京进出港机票成交量比前一天同时段增长超500%,北京至成都、昆明、重庆、上海、杭州、长沙等航线价格快速上涨,度假、酒店等其他旅游产品搜索量也上涨数倍。
在暴增的机票查询数据背后,有普大喜奔的人民群众,更有被人操控的恶意“爬虫”。顶象反欺诈中心数据显示:多家航空公司B2C网站虚假搜索量猛增,部分B2C的热门航线的虚假搜索查询量高达99%。
所谓恶意“爬虫”,就是用来批量、自动化采集网站数据的程序。部分航空服务代理人通过“爬虫”,非法抓取航空公司B2C网站或官方App等平台上的机票信息。不仅大量浪费了航空公司带宽资源,白白消耗航空查询费用(各家航空公司,每年要向中航信缴纳不等额的航线机票查询费用,一般是根据查询量计费)。更关键的是,虚假的搜索查询量会导致航空公司收益管理系统算法产生误判,给出不符合实际情况的运价调整(即机票价格),严重损害消费者权益以及平台的口碑。
此外,有部分代理人利用“爬虫”抓取下航班票务信息后,通过虚假的身份信息预订航线机票。在航空公司允许的订票付款账期内,加价转售给真正需要购票的消费者。这就导致部分机票并未售出,但消费者在航空公司查看时却显示已售罄。这种“虚假占座”行为你不仅损害消费者的合法权益,更给航空公司带来经济损失,也扰乱航空公司的正常运营。
恶意“爬虫”的几个显著特征
在长期的反欺诈的攻防实战中,顶象业务安全专家总结出了恶意“爬虫”的几个特征:
1、访问的目标网页比较集中:“爬虫”代理人目标明确,主要是爬取班次、价格、数量等核心信息,通畅只浏览访问几个固定页面,不访问其他页面。
2、查询订票等行为很有规律:由于“爬虫”是程序化操作,按照预先设定的流程进行访问等,因此呈现出毫无思维、但很有规律、有节奏且持续的行为。
3、同一设备上有规模化的访问和操作:“爬虫”的目的是最短时间内抓取最多信息,因此同一设备会有大量离散的行为,包括访问、浏览、查询等。
4、访问来源IP地址异常:正常情况下用户在查询、购买时,用户的IP地址比较稳定,而且访问来源IP比较;“爬虫”、“虚假占座”等操作时,IP来源地址呈现不同维度上的聚集,而且浏览、查询、购票等操作时不停变化IP地址。
5、设置UA模拟浏览器和频繁使用代理IP:很多“爬虫”程序伪装成浏览器进行访问,比如在程序头或者UA中默认含有类似python-requests/2.18.4等固定字符串;并且通过购买或者租用的云服务、改造路由器、租用IP代理、频繁变更代理IP等进行访问。
6、操作多集中非业务时间段:“爬虫”程序运行时间多集中在无人值守阶段。此时系统监控会放松,而且平台的带宽等资源占用少,爬虫密集的批量爬取不会对带宽、接口造成影响。如凌晨1-5点是恶意“爬虫”的运行高峰时段。
如何有效防范虚假查询和虚假占座?
传统的手段或措施无法对恶意“爬虫”进行辨别,这就需要一套从客户端到业务端的全链路防控体系。
首先,基于设备指纹对实现对各类风险和模拟器、真机的识别,以及Dinsight风险决策引擎毫秒级实时决策对行为分析,实现对恶意“爬虫”行为的有效识别。
其次,通过智能无感验证的人机交互防护,直接拦截“爬虫”对敏感数据的爬取。
再有,利用Xintell智能模型平台建立基于业务场景的策略模型,从而对反爬效果进行实时优化,良好防范恶意爬取的风险。
依据多年攻防对抗实战经验,顶象数据反爬解决方案提供了动态策略的纵深防护,避免“爬虫”的单点绕过,多维度防御,有效拦截各种恶意“爬虫”行为,有效反爬又不影响正常用户体验。
后疫情时代,数字化助力航空公司整合发展
新冠肺炎疫情对全球航空运输业造成巨大冲击,多国的航空需求几乎完全停止,全球各航空公司损失惨重。英国航空公司将裁去多达12000名员工、弗莱比航空公司已宣布破产、维珍澳大利亚航空公司更是急寻买家。
麦肯锡最近的一篇报告显示,2020年4月的全球航空客运量比2019年同期下降70%-80%。全球60%的客运飞机受此影响停飞。预计2020年全球旅游航空业受影响的产值将超过九千亿美元,如果疫情持续,全球大部分的航司目前的短期现金流只能维持3-6个月。
面对疫情对市场冲击,航空公司除了内控成本、外求支援外,加大业务数据资源整合,引入政府等外部数据,加快数字化场景开发应用,实施精益生产,推进精准营销,开展精细化服务,数字化对提高生产效率,基于旅客出行与货物运输,整合应用与深度挖掘客货需求,利于航司创新供应链管理、优化生产流程,从而提高生产效率和资本回报率。
推荐文章
•“2019人工智能案例TOP100”榜发布,顶象与众邦银行均入选 原创
[注意]传递专业知识、拓宽行业人脉——看雪讲师团队等你加入!