深解京东个性化推荐系统演进史(3)

特征服务平台。负责为个性服务提供特征数据和特征计算，特征服务平台主要针对 特征数据，进行有效的声明、管理，进而达到特征资源的共享，快速支持针对不同的特征进行有效的声明、上线、测试以及A/B实验效果对比。

个性化技术（橙色模块），个性化主要通过特征和算法训练模型来进行重排序，达到精准推荐的目的。特征服务平台主要用于提供大量多维度的特征信息，推荐场景回放技术是指通过用户实时场景特征信息反馈到推荐排序，在线学习（Online-Learning）和深度学习都是大规模特征计算的个性化服务。

个性化推荐系统的主要优势体现为支持多类型推荐和多屏产品形态，支持算法模型A/B实验快速迭代，支持系统架构与算法解耦，支持存储资源与推荐引擎计算的解耦，支持预测召回与推荐引擎计算的解耦，支持自定义埋点功能；推荐特征数据服务平台化，支持推荐场景回放。

数据平台

京东拥有庞大的用户量和全品类的商品以及多种促销活动，可以根据用户在京东平台上的行为记录积累数据，如浏览、加购物车、关注、搜索、购买、评论等行为数据，以及商品本身的品牌、品类、描述、价格等属性数据的积累，活动、素材等资源的数据积累。这些数据是大规模机器学习的基础，也是更精确地进行个性化推荐的前提。

数据收集

用户行为数据收集流程一般是用户在京东平台（京东App、京东PC网站、微信手Q）上相关操作，都会触发埋点请求点击流系统（专门用于收集行为数据的平台系统）。点击流系统接到请求后，进行实时消息发送（用于实时计算业务消费）和落本地日志（用于离线模型计算），定时自动抽取行为日志到大数据平台中心。算法人员在数据集市上通过机器学习训练模型，这些算法模型应用于推荐服务，推荐服务辅助用户决策，进一步影响用户的购物行为，购物行为数据再发送到点击流，从而达到数据收集闭环。

离线计算

目前离线计算平台涉及的计算内容主要有离线模型、离线特征、用户画像、商品画像、用户行为，离线计算主要在Hadoop上运行MapReduce，也有部分在Spark平台上计算，计算的结果通过公共导数工具导入存储库。团队考虑到业务种类繁多、类型复杂以及存储类型多样，开发了插件化导数工具，降低离线数据开发及维护的成本。数据离线计算架构如图 5 所示。

图5　数据离线计算架构

在线计算

目前在线计算的范围主要有用户实时行为、用户实时画像、用户实时反馈、实时交互特征计算等。在线计算是根据业务需求，快速捕捉用户的兴趣和场景特征，从而实时反馈 到用户的推荐结果及排序，给用户专属的个性化体验。在线计算的实现消息主要来源于Kafka集群的消息订阅和JMQ消息订阅，通过Storm集群或Spark集群实时消费，推送到Redis集群和HBase集群存储。数据在线计算框架如图 6 所示。

图6　数据在线计算架构

（编辑：ASP站长网）