深解京东个性化推荐系统演进史(6)

特征服务平台

特征就是一种属性的描述，特征是个性化推荐的基础，常用的特征分为单边特征和双边特征。单边特征是指对象本身的属性描述，如商品的颜色；双边特征是指两个对象交互程度的描述，如某用户最近一小时浏览的品牌与候选集中品牌的匹配程度。从特征生成的场景来说，分为离线特征和实时特征。离线特征是通过算法模型提前生成，实时特征是通过实时计算的方式生成的。特征的质量直接影响推荐的效果、特征计算的性能，同时影响个性化推荐的处理能力。另外，共享和复用特征可以提高算法的迭代速度并节约人力成本。

特征服务管理平台主要针对特征数据和特征计算，进行有效声明和管理，进而达到特征资源的共享和复用。特征服务平台能快速满足针对制定不同的特征进行有效的声明、上线、测试以及A/B实验效果对比的需求，做到特征的可维护、可说明、可验证。特征服务平台的主要功能如下：离线特征的定制化使用，在线特征的定制化使用，由定制化特征产生新的特征，部分特征、模型在线申明，不同特征效果快速A/B。特征服务平台架构如图 12 所示。

图12　特征服务平台架构

场景特征回放技术

推荐的一般处理逻辑是每次请求会召回一批商品，然后根据用户的行为数据和用户模型计算出每个商品的特征。算法模型会根据每个商品的特征计算出每个商品的得分，最后选出得分最高的几个商品推荐给用户。

线上计算特征这种行为是一次性的，不会被记录下来。因此在线下训练模型的时候，如果想利用上述的特征，就需要在线下机器上再次计算一遍这些特征。遗憾的是，线下计算出来的特征往往不能和线上特征完全相同，这就导致了模型训练的效果较差。场景特征回放示意图如图 13 所示，推荐业务调用推荐引擎，推荐引擎将场景特征通过特征回放服务记录下来，推送至大数据平台，机器学习根据场景特征数据重新训练算法模型，进而影响推荐引擎中的排序，形成一个场景闭环推荐，达到更准确的个性化推荐。

图13　场景特征回放示意图

场景特征回放技术架构如图 14 所示，场景特征回放技术实现过程如下。线上特征一般是一系列的数值，我们将这些特征按照一定的规则组装成一个字符串，然后将特征使用HTTP的POST方法异步发送到服务端。

图14　场景特征回放技术架构

服务端使用Openresty接收这些HTTP请求，并把HTTP请求中的特征数据落地到本地磁盘文件中。Openresty是一种高性能的Web服务器，能够承受很高的QPS，并且具有很高的稳定性，它的这两点特性保障了服务的稳定。

数据抽取系统把服务器集群磁盘上的数据抽取到临时仓库。

数据抽取系统对数据进行压缩和过滤处理，然后推送到Hive表中。不同类型的请求会放到不同的分区中，更加方便算法工程师使用这些数据。

个性化推荐系统是一个系统工程，依赖产品、数据、架构、算法、人机交互等进行场景推荐，本节重点从这几个维度阐述了京东的个性化推荐系统。推荐系统随着业务发展和社会生活方式的改变而进行不断升级，经历了从PC时代到移动互联时代，从关联推荐走向个性化推荐，从纯商品推荐到多类型推荐的转变。个性化推荐系统已经实现了千人千面。诚然，个性化的效果也有待提升，有些体验类的问题也在逐步完善。目前正在进行或有待提高的方面包括：算法方面丰富知识图谱、深度学习广泛应用；推荐系统方面会更好地支持海量召回、高维特征计算、在线学习，推荐更实时，更精准；产品方面已向“满屏皆智能推荐”方向迈进。最后，希望个性化推荐系统能让购物变得简单，变得更人性化、更丰富、更美好。

End.

作者： fisherman

来源：http://www.36dsj.com/archives/104981

（编辑：ASP站长网）