???? 在推荐系统中，主要有3种评测推荐系统的方法。即离线实验（offline experiment），用户调查（user study），在线实验（online experiment）。
???? 1.离线实验
????????????? 离线实验一般由如下几个步骤组成：
???????????????????? （1）通过日志系统获得用户的行为数据，并按照一定格式生成一个标准的数据集。
???????????????????? （2）将数据集按照一定的规则分成训练集和测试集。
???????????????????? （3）在训练集上训练用户兴趣模型，在测试集上进行预测
???????????????????? （4）通过事先定义好的离线指标评测算法在测试集上测试结果
| ? 优点 | 缺点 |
|
不需要有对实际系统的控制权 不需要用户参与实验 速度快，可以测试大量算法 |
无法计算商业上关心的指标 离线实验的指标和商业指标存在差距 |
????? 2.用户调查
????? 3.在线实验(AB测试)
?
评测指标
????? 1.用户满意度
???????????? (1)问卷
???????????? (2)可以通过点击率、用户停留的时间和转化率等指标度量用户的满意度
????? 2.预测准确度
???????????? (1)评分预测
?????????????????? RMSE（均方根误差）
?????????????????? MAE（平均绝对误差）
?????????????????? 比较用户的实际评分，和预测评分
?????????? （2）TopN推荐
??????????????? 一般通过准确率（precision）/召回率（recall）度量
?????????? （3）覆盖率
??????????????????? 描述的是对长尾的挖掘能力。
???????????? (4) 多样性
???????????? (5)新颖性
???????????? (6)惊喜度(serendipity)：可以理解为与用户的历史兴趣并不同，但却让用户满意，那么就说惊喜度很高.
???????????? (7)信任度
???????????? (8)实时性
???????????? (9)健壮性
???????????? (10)商业目标
?????? 评测维度
???????????? 用户维度
???????????? 物品维度
?? ????????? 时间维度
?
?????????????
?????
?
?
?
?
