风控数据分析

做风控十分依赖数据，所以以下三个事情将是很重要的：

  • 合理的数据分析发展过程

  • 合理的数据存储和ETL

  • 强劲的分析工具

合理的数据分析发展过程

站在公司角度，业务有优先级，风险也有不同严重性。 站在团队角度，人力总是有限的，技术的积累也是有先后的。 所以一个公司风控的发展是有次序的，在数据分析的建设上也是有次序的。其实不仅风控数据分析是这样，大部分数据分析都是这样。

对于这个发展过程，我个人比较认同玖富数据总监孙微先生的总结，思考比我深入。会议上孙微先生是站在业务运营的角度来提的，但是大部分思想和风控运营是一样的。

包含GrowingIO字样的截图取自于「 GrowingIO 2018 增长大会上海站」,已得到GrowingIO授权

团队组织

首先是团队组织，孙微先生列出的这些条都很好，我结合风控的特点补充一些。

务实：最近几年安全行业是一个热门的行业，各种新奇名词频出。对新趋势保持关注是必要的，但是数据分析并不是找几个模型这么简单，靠几个“微创新”就可以有大幅提高。耐心的梳理各业务数据、一步步推演整套分析架构这些略显“枯燥”的事目前仍是重要的事。

合作：安全风控部门往往需要对接很多业务，如果是大公司，有几十个大大小小的业务是很常见的。更不用说乙方公司要对接的是大量的公司。风控部门天然就是合作非常多的部门，沟通能力是招聘时一定要考虑的因素。

团队建设阶段1

团队建设阶段2

团队建设阶段3

以下结合风控的特点补充一些：

打通数据链路、打破孤岛：风控刚开始的时候，往往每个业务的防控比较独立。稍微成熟一点之后肯定会出一些跨业务的策略，也就是说联防联控。例如“登录高危用户，在参加活动时也是高危”。要是想实现这种规则，那么就有以下要求：

宏观上，关联的业务数据应该可以关联分析 微观上，在行为链路中，后续的风险点应该可以关联之前风险点的情况（风险等级等）。 我认为这是实现精细化运营的必要步骤，技术上需要规则引擎、数据处理、缓存的顶层设计，逻辑上需要熟悉业务的专家耐心梳理。

需要指出的事，对安全部门而言“打通数据链路、打破孤岛”是一件辛苦的“脏活”，有时候对业务方而言是一件“添麻烦”的事。大家都认同价值，但是价值又很难评估。大家都认同这件事的专业性，但是又认为这件事很传统、没有创新。在普遍不踏实的互联网文化下，能做好这件事并不容易。

案例：爱奇艺业务风控系统

以下内容取自于“爱奇艺技术产品团队”微信公众号、中国系统架构师大会、唯品会SRC城市沙龙的公开内容

业务风险点

爱奇艺作为国内领先的娱乐公司，以下是爱奇艺安全团队需要应对的业务风险点

会员：撞库盗号，账号分享，批量注册 视频：盗播盗看，广告屏蔽，刷量作弊 活动：薅羊毛 直播：挂站人气，恶意图文 电商：恶意下单，订单欺诈 支付：盗号盗卡，洗钱，恶意下单，恶意提现 其他：钓鱼邮件，恶意爆破，短信轰炸

问题——缺少统一完善的风控系统

一.各自为战

各业务方多以安全事件驱动, 多数仅做事前单点防御, 经验数据无法共享 单点防御容易被黑产各个击破,无法做到跨业务跨团队的联防联控 低水平重复建设, 平台资源浪费

二.拍脑袋”规则”

大量的风控规则是专家决策为主,阈值基本拍脑袋而定 没有引入数据分析或者机器学习等能力,对事件本质缺乏足够认识及数据支撑, 造成正常用户误杀, 损伤用户体验, 导致用户流失

三.反应过慢

不能快速识别攻击变化进行调整,无法进行积极对抗 业务代码耦合,依赖业务开发, 测试和上线,占用业务排期 某些前置/内置规则容易成为业务关键路径,对业务稳定性造成影响

四.手段单一

可用特征维度不多, 严重依赖于IP, 公共出口误杀严重,引发投诉 2. 以限频, 限流, 黑白名单, 图文验证为主, 黑白名单难以维护, 无生命周期

解决方案

一.联防联控

各业务联合, 在模型,规则,数据等方面进行共享, 联合布控协同防御

二.数据驱动, 智能对抗

全站全网数据支撑, 基于数据进行决策 利用机器学习实现智能异常特征发现

三.策略灵活, 有效对抗

独立服务, 快速迭代 支持业务的风险多样运营需求 模型,规则, 策略快速实施, 快速反应

四.维度和拦截手段多样

不依赖单一维度和单一行为 云和端结合, 多种拦截手段应对

五.延迟可控, 低耦合可降级

在实时风控场景下, 快速决策, 不能明显增加业务延迟, 自身有问题情况下, 不能影响业务

六.快速实现, 高效部署

能够快速完成架构. 实现和持续迭代 能够面向私有云的复杂拓扑, 快速部署

系统架构

整体系统架构

我们的风控服务是由三大子服务组成：

麦哲伦 主要包括业务接入(接入层)，三大服务引擎(数据查询，规则执行，模型调用)，面向风控团队的管理平台(服务资源管理, 模型规则管理，生命周期管理，上下线管理，维度数据管理)，面向业务方的运营平台(风险事件管理，仿真，风险处置，监控预警，数据查询和仪表盘，规则清单)。

麦哲伦业务承接

麦哲伦部署方案

哥伦布 主要面向对业务数据的特征工程，大规模异常检测和深度学习，知识图谱，实时特征，离线特征，环境特征以及安全画像，并对外提供模型可实时调用接口或者模型输出缓存。

大数据层

郑和 是安全知识仓库，是面向业务风控和其他安全控制所需的各类安全基础数据和威胁情报。

多渠道业务数据采集和处理

数据处理

数据类型 技术选型 应用 延迟时间 实时数据 Apache Flink 图特征工程, 多维频次特征，多数据流Complex Event Processing 毫秒级 近实时数据 Apache Spark 异常检测,流式特征工程 秒级 离线数据 Apache Spark / Impala / Hive 安全画像，用户画像，全业务数据 小时/天级

设备指纹

设备指纹

风控需要一个好的设备指纹的服务，要让所有的端都能够采集设备纬度，形成一个指纹，这个指纹多维签发的, 而且在云端会做大量的黑产分析，联合安全画像进行沉淀。

因为这些数据都是用户提供上来的，必须要做一个防伪的检测，从多维度数据里面查出提供的维度数据矛盾和不真实。

验证手段

图文验证码: 传统的复杂图文验证码 滑动验证码: 基于滑动的人机行为识别进行验证 上下行短信验证: 发送下行或者上行短信进行验证 基于信任设备的验证: 信任设备可以为其他端进行授权和验证 基于安全盾APP的验证: 安装爱奇艺安全盾APP可以为其他应用进行动态口令(OTP), 推送一键确认, 扫码确认

风控服务的心得

拥抱业务：安全只有拥抱业务才能体现价值 云端结合：立足于云，服务为云，结合与端 精细运营：业务安全需要持续运营 协同联动：多点多层次跨业务防御 二八原则：优先解决主要风险 数据驱动：充分挖掘数据价值

写在最后

花了不少时间写这本笔记，希望能有人读到并收获一些东西。

安全和风控是一个永远没有尽头的东西。

最近几年互联网金融在中国的兴起。安全和风控是互联网金融的核心，而中国互联网公司中从事风险控制的人才很少，仅有的人中大部分在BAT这样的巨型公司中，因此会给中小型的互联网金融公司带来不小的挑战。

如果不能招聘到优秀的人才，那就应该自己一点一滴的学起，积累更多经验，保护我们的用户。

参考资料

https://github.com/WalterInSH/risk-management-note/blob/master/%E5%BB%BA%E8%AE%BE%E9%A3%8E%E6%8E%A7%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%9B%A2%E9%98%9F.md