毕业设计-风控大数据算法.zip

@toc # **一、互联网业务风控** # 1. 不同场景下的业务风控 ## 1.1 账户业务风控 ### 1.1.1账户安全 - 账号安全是所有强账号体系应用的基础，强账号体系，如电商、网游、第三方支付、社交网络、即时通讯等；是需要登录后产生数据和交互的应用，而搜索、导航、杀毒客户端不需要登录也能用、属于弱账号体系应用。 - 对用户来说，账号安全涉及用户个人隐私的信息的安全、用户体验以及资金安全等方面；对于互联网平台，账户安全涉及广告投放、流量购买、营销活动以及战略决策等方面。 ### 1.1.2账户安全环节 - **注册** - 对于羊毛党来说、平时需要养号，等到促销之类的活动集中使用。垃圾注册、虚拟小号是垃圾抢购和欺诈钓鱼的源头、账号安全需要从源头收紧。 - 对抗垃圾注册的手段：图片验证码、邮件验证码、短信验证码、语音验证码。对于使用分布式代理的注册机，如果有账号风控系统的可以根据来源属性和机器人行为特征标注恶意灰度，从而给与不同级别的验证码。 - **登录** - 登录环节的问题包括撞库、暴力破解、盗号登录、非常用设备登录、黑产小号和僵尸号登录等。 - 使用风控系统对比用户画像检测登录地域来源、ip属性、可信设备、登录频率、代理使用习惯等从而推送不同复杂等级的验证码或者开启多要素验证。或者根据离线数据、即一段时间内的请求异常，再调用风控的接口推送二次认证要求做人机识别。 - **密码找回/密保** - 在认证设备之间提供异地登录提醒、异常登录提醒、破解账号提醒。对找回密码业务进行人机识别、防止批量找回、密码重置等接口的机器行为。 - **多设备登录** - 多平台设备时，应保证同平台不能“串号”----同一账号可以在PC端和APP端同时登录，但不能在两个PC端登录一个账号，或不同的手持设备上登录一个账号。多设备同时登录时应支持交叉验证，例如PC端的可疑登录自动发起2FA请求到手机端，经由手机端确认后才能从PC端登录。 - **账号共享体系** - 大型平台一般有很多应用，凭借一个的登录token直接无障碍登录所有子应用在安全上不是一个很好的设计，一旦被XSS盗取token就相当于全线溃防。 - 所以在功能和应用入口较多的平台，应对业务划分权重、分类分级、涉及个人认证信息、个人隐私、支付类的一般属于高级web安全域，对于高安全域的应用，登录除了SSO token之外，引入第二层的secure token，只有两个token齐备才能继续登录。 ### 1.1.3账户安全相关算法 维护账户安全的手段主要有网络层防护、数据层防护以及业务层防护。 相应的手段不局限于WAF、设备指纹、验证码、生物探针、数字证书、安全SDK。 这些防护手段从技术原理上可以总结为加密/解密、人机识别两大类。 - 黑产手段：群控设备、养卡平台、养号平台、打码平台 - 算法选择：K-means、高斯混合（GMM）；OPTICS、DBSCAN - 应用方法： 1. 如果两个注册用户时的ip地址段相同、则两个用户的之间的边权重增加1，如果邮箱后缀也相同，则权重就为2，以此类推，我们就可以把某段时间内子互联网平台上注册的账号关联成一张权重无向图。 2. 再使用**图嵌入（embedding）表征**的方法得到每个账号节点高维向量，然后将这些高维向量联合基础特征进行聚类。可以识别有聚集性的注册垃圾账号的团体。 ## 1.2 电商平台风控 ### 1.2.1电商平台安全 电商平台最核心的业务就是交易，而交易又衍生出其他业务。商家为了达到提升排名、引流、商品冷启动、增加商品评论数等目的，会通过多种渠道来做虚假交易。典型的虚假交易是指通过虚构交易流程、伪造物流、资金流信息等手段，提到**DSR**(Detail Seller Rateing，即商铺信用、商品销量和店铺动态评分)分数，实现提升店铺和商品排名的目的。 - **恶意下单** 拍下商品但不付款，旨在侵占库存，一般的对策是在高峰时段下单使用验证码，下单后一段时间不付款订单自动失效，限制下单频率，有风控数据源可以对恶意账单进行标记、冻结下单。 - **黄牛抢单** 黄牛一般事前批量注册小号、抢购前准备好抢单机器人程序。对于恶意养号，风控系统一般会根据小号、僵尸号的行为与正常账户的区别标注、登录的途径、登录地域、登录设备指纹、收货地址来分类标记 - **刷优惠券和奖励** 首先要在账号层面根据大数据标记账号恶意灰度，其次优惠券跟账号绑定，无法流通和交易。跟网游中的经济体系数值类似，建立阶梯模型，给优质账户高额回馈，给低信誉账号小额优惠。 - **反价格爬虫** 价格爬虫主要是竞争对手比价。爬虫所在的IP段，访问的申请头，以及是否会解析JavaScript，浏览器行为等特征可以作为人机识别模型的有用特征。 - **交易风控** 1. 账户安全 2. 客户端安全（反钓鱼、反木马） 3. 认证机制（证书、令牌、多因素认证） 4. 风险评估（账号历史行为、账户历史征信、交易和用户异常、模型和策略） ### 1.2.2刷单流程和危害及其措施 刷单主体：商家、刷手、刷单中介和上下游利益团体（泛指卡商、账号批发商、物流）。 - 刷单流程： 1. 商家发布刷单需求。 2. 刷手接任务、浏览、下单、付款、发货、收货、评论。 3. 商家和刷手按协议返回佣金 - 刷单危害： 1. 虚假交易产生的商誉、信用、评论会严重误导消费者、影响购物决策。 2. 刷单会验证干扰算法所需数据的准确性，并且刷单短期的ROI高于广告、因此广告主会减少广告投入而转向刷单、导致平台收入减少。 - 刷单识别角度： 1. 交易的行为主体：主体包括商家和用户，可以从商家和用户的账号中提取业务特征。 2. 交易的行为流程：我们可以在每个交易的环节提取虚假交易的特定模式，如注册和登陆的渠道占比、商品浏览时长与分布、购物车操作的模式等。 3. 交易的第三方依赖：主要有支付和物流，支付账号的资金流转情况和物流的走件与时效性都可以从中去判断交易的真实性 ### 1.2.3电商平台风控手段 - 虚假交易识别技术体系的发展 1. 初期阶段：专家规则、人工审核 2. 中期阶段：机器学习、近实时计算 3. 发展阶段：深度学习、实时计算 4. 未来阶段：无监督学习、图网络学习、实时图计算。 - 数据源 1. 交易信息：账户、金额、日期、时间、币种、渠道、商户、产品信息等； 2. 欺诈记录：是或者否； 3. 其他信息：用户IP、账户、设备等。 - 算法选择：Louvain算法（风险时间的后置挖掘）、FRAUDAR算法（全量事件的前置挖掘） - Louvain算法介绍 1. 模块度：描述社区内的紧密程度。 2. 模块度增量：把孤立的节点放入社区后，模块度前后的变化。3.节点/社区权重:社区内指向节点的边权重之和 3. 算法过程：先把每个点做社区，然后考虑每个社区的邻居节点，将其合并到邻居节点的社区，分别计算模块度增量，将点合并到最大增量的社区，将新社区作为新的节点，依次迭代，直至社区划分不在变动。 4. 算法复杂度：速度非常快，时间复杂度O(N) ## 1.3 社交平台风控 ### 1.3.1社交平台风控手段 - 黑产手段：垃圾邮件、虚假关注/转发、水军评论、买卖粉丝、群控点赞。 - �