没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
基于互联网的高性能系统架构
-----魏子栋(QQ1320655768)
本文简介了基于互联网高并发与海量数据存储的三个系统架构。
智能推荐主要是针对需要实时展示服务端采集到用户行为数据的要求。采集端与接口端对并发量
有较大要求。用到了 map/reduce、通道锁、内存数据库、分布式主键等技术。
数据中心存储架构为大型互联网站提供在线结构化数据存储与非结构化数据存储。
一、智能推荐系统架构
推荐服务((LB或主备)
推荐管理系统
(主备)
人工推荐服务
Mysql 推荐业务库
(主备)
数据调度服务
(主备)
用户行为采集服务
(LB)
中心数据调度服务
(主备)
消息总线
2、接收热度消息
热度推荐服务
推荐接口服务
(LB)
缓存服务
Mysql 管理数据库
(主备)
5、搜索结果集更新缓存
4、HTTP获取数据
3、数据入库(物理存储、内存存储)
1、获取EPG数据
HTTP配置管理
2、推荐服务
1、查找缓存
3、写缓存
配置与数据源
技术路线:
推荐管理系统,采用主备结构,远程管理配置推荐服务。管理数据库保存推荐管理系统策略、推
荐位等数据。
推荐服务提供配置接口(远程调用 UI 方式)与搜索接口服务(http)。配置数据与推荐源数据保
存在推荐业务库。推荐不能有重复,要考虑去重情形。
1. 人工推荐服务从数据调度服务请求数据(HTTP,SQL 参数),数据调度服务查询结果后放到缓
存服务后通知人工推荐服务,人工推荐服务从缓存服务器获取数据。(可以采用数据调度服务
中线程锁的方式避免相同的查询)。
2. 热点推荐服务器仅从缓存服务器获取数据,由数据调度服务器定时更新。热度在本地缓存 10
秒。
用户行为采集服务,通过 http 接收终端信息,采用嵌入式数据库 sqlLite 的内存数据库保存数据。
采用分布式主键将信息均匀分散到各服务器。每台服务器收到信息后通过终端编号的 hashcode
计算分布式主键,根据分布式主键将信息路由到实际保存用户数据的服务器(http 方式,这样避
免要产生领导的情形)。所有的采集服务路由信息时如果网络失败,暂停向这个服务路由信息,
并启动心跳探测,直到失败的服务回到线上。(心跳检测采用 zookper)。采集服务订阅 mapTVTopic,
接收到 map 消息时生成以分组的统计信息打包返回给中心或分中心的数据调度服务(通过配置中
资源评论
wtd1218
- 粉丝: 0
- 资源: 7
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功