zoukankan      html  css  js  c++  java
  • 【京东基于spark的风控系统架构实践和技术细节】学习记录

    文章来源地址:https://www.infoq.cn/article/jingdong-risk-control-system-architecture-based-on-spark

    1.背景

    a)黄牛囤货:让正常用户失去了商家给予的优惠让利。

    b)商家刷单刷好评:干扰用户合理购物选择,搅乱市场秩序。

    c)机器注册账号

    d)恶意下单

    在技术层面上来讲,

    风控领域由传统的“rule-base”(基于规则判断)发展到大数据为基础的实时 + 离线双层识别。

    Hadoop,Spark 等大数据大集群分布式处理框架的不断发展为风控技术提供有效的支撑。

    2.京东天网

    “天网“作为京东风控的核心利器,目前搭建了风控专用的基于 spark 的图计算平台,主要分析维度主要包括:用户画像,用户社交关系网络,交易风险行为特性模型。

    前端业务风控系统和后端数据支撑系统

    3.前段业务风控系统

    a) 交易订单风控系统

    b) 爆品抢购风控系统

    c) 商家反刷单系统

    前端业务系统发展到今天,已经基本覆盖了交易环节的全流程,从各个维度打击各种侵害消费者利益的恶意行为。

    4.后台支撑系统

    a)风险信用服务(RCS)

    风险信用服务(RCS)是埋藏在各个业务系统下的风控核心引擎,它既支持动态规则引擎的高效在线识别,又是打通沉淀数据和业务系统的桥梁。

    它是风控数据层对外提供服务的唯一途径,重要程度和性能压力不言而喻。

    1) 各个前端业务风控系统针对各个业务场景进行风险识别,其结果数据将回流至风险库用户后续离线分析及风险值判定。

    2) 风险库针对业务风控识别进过数据进行清洗,人工验证,定义并抽取风控指标数据,经过此道工序风险库的元数据可以做到基本可用。

    3) 后台数据挖掘工具对各来源数据,依据算法对各类数据进行权重计算,计算结果将用于后续的风险值计算。

    4) 风险信用服务一旦接收到风险值查询调用,将通过在 JIMDB 缓存云中实时读取用户的风控指标数据,结合权重配置,使用欧式距离计算得出风险等级值,为各业务风控系统提供实时服务。

    5.风险数据支撑系统

  • 相关阅读:
    阿里云oss云存储-----ossutil工具的使用
    Saltstack的安装
    SaltStack自定义modules模块
    Hadoop综合大作业
    理解MapReduce
    熟悉常用的HBase操作
    熟悉常用的HDFS操作
    爬虫大作业
    Hadoop综合大作业
    理解MapReduce
  • 原文地址:https://www.cnblogs.com/hongchenlianxinlu/p/12769633.html
Copyright © 2011-2022 走看看