阿里技术嘉年华系列讲座（2012）

3条路径：搜索、导航、推荐

目标

1.提高客单价

2.提高转化率

分类

1.个性化

2.非个性化：热门，榜单

推荐与搜索的关系

主动，被动关系

推荐与广告的关系

相同点：基于用户行为

不同：广告目的是帮助商家推广商品

推荐系统帮助用户找到想要的商品

推荐系统的核心：产品、算法、系统

产品

1.同类或者相关商品、店铺推荐

2.买了还买

3.彩泥喜欢

4、热门

5.群体信息检索

系统

1.数据

2.算法（online & offline）
3.消息分发系统

4.搜索引擎

5.NoSQL

6.分布式计算

7.效果评测

数据

1.显示数据，explicit

1.1 用户收藏

1.2用户评价

2.隐式数据，implicit

2.1 浏览、停留、访问次数

算法

1.离线

用户类目偏好、用户购买力、关联分析、相似矩阵计算

2.在线

排序、过滤、增量计算

3.大量的业务规则

多样性、

消息系统

消息系统与其他系统解耦，消息转发

大型系统不可或缺的一部分

搜索引擎

1.文本分析，抽取关键词

2.信息检索

NoSQL

1.简单

2.高性能

3.方便定制

分布式计算

MR\HIVE\HADOOP

数据特点：

1.数据量巨大

商品问题

1.同类商品有多个卖家

2.标类，非标类

3.类目属性正确性

4.恶意收藏，刷信誉

应用场景

非常多，可以应用在任意的落地页

推荐系统的核心算法

1.基础算法

聚类算法、预测算法

LR、贝叶斯、聚类算法用于降维折中的方式

基于内容的推荐

兴趣标签：简单、无冷启动问题。但是无法区分商品的品质，不能发现用户的新兴趣。

基于协同的推荐

行为数据 

优点:新奇特，个性化程度高

缺点：冷启动问题。稀疏性问题

关联规则

类目的相关性

商品的相关性

人的相关性

效果评测

offline：给定输入输出，验证系统的输出

online：ABtest

衡量标准：CTR、转化率

系统的设计

提供统一的平台管理各个推荐模块

提供高性能分布式存储

提供算法的ABtest和效果统计

提供灵活算法配置

应用层：

推荐系统层：

核心数据层：

离线计算层：相似矩阵计算，用户偏好计算