被动式全栈设备指纹技术调研
zoerywzhou@163.com
http://www.cnblogs.com/swje/
作者：Zhouwan
2017-4-9
前言
1、传统的设备识别技术：
早先的设备指纹技术，通过安装插件获取设备信息生成设备ID，是主动采集终端用户设备乃至隐私信息，用户体验苛刻，同时在跨App及跨网页时存在技术壁垒。因此在面对更隐性的移动黑产时往往有心无力。
2、被动式全栈设备指纹技术：
“全栈被动式设备指纹”识别技术对用户完全透明，通过OSI协议栈快速获取上网设备的软件、硬件、网络等多层次指纹信息，为每个入网设备生成跨平台的唯一设备ID，作为虚拟空间的“身份证”，打造开放化平台的隐形账号体系。
仅仅依靠分析每个移动设备发出的普通HTTP请求，就能从中提取出每个设备独特的“指纹”，设备实时识别准确率高于96%。
既可以做到精准的识别手机、平板、电脑、智能家电、智能汽车等多种多样的移动设备，同时又不依赖在用户终端植入脚本的方式获取所需的信息。
“全栈”指的是通过收集网络通讯7层协议全栈中所有可用的信息作为特征，以及物理时空（Temporal-Spatial）信息进行核心运算获得设备“指纹”以识别设备。
“被动式”指的是不主动从用户终端获取信息，无需在用户终端植入任何代码，因此可以做到100%保护用户隐私安全。
技术要点整合
从以下几个角度对被动式全栈设备指纹技术进行分析：
Saas 平台系统：
欺诈等行为的解决方案主要是由 Maxent 独立开发的 Saas 平台系统实现的。
猛犸反诈欺 Saas 服务平台：基于 Maxent 自身的专利机器学习技术及 DFP 技术自动发现新的诈欺模式，持续地自行进行反诈欺算法的优化，根据客户交易平台的实时活动事件及历史数据，挖掘海量数据以分辨真实或可疑的设备。
动态实时更新规则：实时监测诈欺行为，主动优化诈欺算法
诈欺指数 MoMA Score：提供各类交易的分析页面，将数据简单化、可视化。综合设备 IP、地理位置、交易速度等用户数据打分，排查出有风险的设备
自动核算 + 人工审核：系统自动计算诈欺指数，并且对单笔交易提供接受 or 拒绝的选项，简化全人工审核到了流程
底层技术的优势：
Maxent 使用多种底层技术共同支撑猛犸反诈欺平台的动态诈欺模式挖掘，建立了各种风险模型，其底层技术的优势主要归结为以下两方面：
设备身份识别：被动式全站设备指纹技术是将同一设备在不同应用、不同场景、不同网络中的行为做关联，产生精准的设备画像，帮助线上交易风控系统定向识别在线诈欺行为。
机器学习：动态地发现欺诈特征，以非监督或者半监督的方式动态调整参数训练的算法模型，由系统自动推断出诈欺风险。在此过程中，当机器需要大量数据不断修正参数去训练模式及算法的时候，根据用户的指令、机器的自我学习，久而久之机器就可以自动计算出用户需要的结果。
也就是说随着单个 B 端企业用户使用次数的增加，算法进行自我学习的过程中也会进行自我优化，最终随着不同行业给出的数据和反馈，渐渐机器就适应了每个单个的客户，机器计算出的结果会越来越契合用户的业务需求。
技术门槛：
Maxent 的技术门槛就体现在：通过分析协议栈里的信息或者通过算法就可以分析出来单用户的多设备关联链接，多种底层技术各有侧重和优势。
在不侵犯用户隐私的前提下 仅依靠收集授权及公开的设备信息做数据挖掘、无侵入式追踪，遵守国际隐私法规。
有一句话说得好：
大数据很多情况下陷入了数据的误区，而公司想要解决的问题就是如何更好地利用现有数据为决策做支撑。
主动式、被动式、混合式的比较
主动式主要通过SDK或JS代码在客户端主动收集设备信息，来实现设备的精准识别，响应速度和准确度相对较高，但使用场景常因为隐私保护而受限。
被动式主要通过在服务器端收集通信协议和网络的特征来识别设备， 100%保护用户隐私，因而有更大的适用范围，尤其是一些对隐私信息非常敏感，不便于植入SDK或JS代码的场景，如互联网金融行业。同时，被动式设备指纹也有着算法和系统复杂度高、响应时间较长、研发难度大等局限。
混合式设备指纹技术指将主动式和被动式设备指纹技术整合在同一个设备识别与跟踪的架构中，将主动式设备指纹技术在客户端生成的设备标识符，与被动式设备指纹技术在服务器端收集的、协议栈相关的特征信息对应起来，使得所有的设备都有一个唯一的设备识别ID。
跨设备行为关联问题中：
在需要将同一用户在移动Web和App中的行为关联起来的场景中，混合式设备指纹技术有着比主动式更大的应用范围。
一个典型的案例是，当一个消费者点击到一个移动网络广告以获取一个新应用时，广告主希望知道此次广告点击是否最终带来了新用户。而由于嵌入Web页面的Javascript代码和移动APP中的SDK收集的设备特征不同，导致生成的设备指纹标识符也不相同。因此主动式设备指纹技术无法将同一用户在移动Web和App中的行为关联起来，而被动式和混合式可以根据相同的协议栈特征，来判断移动WEB和APP发送的消息是否来自于同一台移动设备。
最后我想说：被动式全栈设备指纹技术没有那么简单就能实现：
Maxent创业团队简介：
通付盾创业公司CEO简介：
先打基础功，从小事做起吧
首先要清楚地明白OIS七层网络结构：OSI七层与TCP/IP五层网络架构详解
然后再说然后吧……先确立个小目标，比如先把机器学习学精通，再比如DFP技术，再比如反欺诈领域相关的各种背景和技术。
参考资料
Maxent：被动式全栈设备指纹技术跟手指头还真没什么关系，主做互联网金融反欺诈解决方案，增强小贷公司金融寒冬中御寒能力
补充：
看到知乎上有一篇还不错的文章，比较详细地解释了从流量报文中解析出相关应用的问题的技术（DPI）。或许对我们研究被动式全栈设备指纹技术有所帮助，与君共勉：