损失函数 (Loss Function)

损失函数是模型训练过程中最基础的优化目标，不同任务类型选择不同的损失函数：

分类任务

• Logloss (对数损失)：
  • 公式：$L = -\frac{1}{N}\sum_{i=1}^N[y_i\log(p_i) + (1-y_i)\log(1-p_i)]$
  • 特点：对预测错误的惩罚是指数级的
  • 应用：CTR/CVR预估等二分类任务
  • 优化特性：对错误预测的惩罚更重，促使模型关注难样本

回归任务

• MSE (均方误差)：
  • 公式：$MSE = \frac{1}{N}\sum_{i=1}^N(y_i - \hat{y_i})^2$
  • 特点：对异常值更敏感
  • 适用场景：预测值分布较为集中的情况
• MAE (平均绝对误差)：
  • 公式：$MAE = \frac{1}{N}\sum_{i=1}^N|y_i - \hat{y_i}|$
  • 特点：对异常值不敏感，更稳健
  • 适用场景：预测值分布离散或有异常值的情况

实践经验

• Logloss通常是模型优化的第一步，其收敛往往意味着CTR/CVR等业务指标的提升
• 当Logloss下降到一定程度后会收敛，此时需要结合其他指标来评估模型
• 在实际应用中，往往会结合多个损失函数：$L = \alpha L_{main} + \beta L_{auxiliary}$
• 损失函数的选择要考虑：
  • 任务特点（分类/回归）
  • 数据分布特征
  • 业务优化目标
  • 计算效率要求

准确率 (Accuracy)

准确率是最直观的评估指标，表示模型预测正确的样本占总样本的比例。

定义与计算

$$Accuracy = \frac{TP + TN}{TP + TN + FP + FN}$$

• TP (True Positive)：正样本预测为正，真阳性
• TN (True Negative)：负样本预测为负，真阴性
• FP (False Positive)：负样本预测为正，假阳性
• FN (False Negative)：正样本预测为负，假阴性

特点

• 优点：
  • 直观易懂：最容易理解的评估指标
  • 计算简单：实现成本低
  • 适用于样本分布均衡的场景
  • 结果易于解释：直接反映正确率
• 缺点：
  • 在样本不均衡时失效：如90%负样本的情况
  • 无法反映模型在少数类别上的表现
  • 不适合推荐系统等正负样本比例悬殊的场景
  • 没有考虑预测的置信度

使用场景

• 适合场景：
  • 分类任务中正负样本比例接近1:1
  • 各类别预测错误代价相近
  • 需要快速评估模型效果
• 不适合场景：
  • 推荐系统（正负样本比例悬殊）
  • 疾病诊断（漏诊成本远大于误诊）
  • 欺诈检测（欺诈样本极少）

改进方法

• 样本均衡：
  • 上采样少数类
  • 下采样多数类
  • SMOTE等数据增强
• 使用其他指标：
  • 精准率-召回率
  • F1-Score
  • AUC

精准率 (Precision)

精准率衡量模型预测为正的样本中真实正样本的比例，是评估模型预测质量的重要指标。

定义与计算

$$Precision = \frac{TP}{TP + FP}$$

• 分子：预测正确的正样本数（TP）
• 分母：所有预测为正的样本数（TP + FP）
• 直观理解：在所有预测为正的结果中，预测正确的比例

特点与应用

• 关注模型预测为正样本的准确性
• 不受负样本数量的影响
• 适合评估推荐的准确性
• 精准率越高，模型预测为正样本的是真实正样本的概率就越高
• 特别适合评估结果质量要求高的场景

应用场景

• 推荐系统

  • 衡量推荐内容的准确性
  • 评估用户点击/购买的预测准确度
  • 用于优化用户体验

• 广告系统

  • 评估广告投放的精准度
  • 优化广告展示效果
  • 提高广告转化率

• 搜索引擎

  • 评估搜索结果的相关性
  • 优化排序算法
  • 提升用户搜索体验

优化策略

• 提高精准率的方法：

  • 提高预测阈值
  • 增加特征质量
  • 优化模型结构
  • 改进样本质量

• 需要注意的问题：

  • 精准率和召回率的权衡
  • 避免过度追求精准率而损失覆盖
  • 结合业务场景选择合适的阈值

实践建议

• 根据业务需求设定合理的精准率目标
• 监控精准率的稳定性
• 结合其他指标综合评估
• 定期评估和优化模型表现

召回率 (Recall)

召回率衡量真实正样本中被模型正确预测的比例。

定义与计算

$$Recall = \frac{TP}{TP + FN}$$

• 分子：预测正确的正样本数（TP）
• 分母：所有真实正样本数（TP + FN）

特点与应用

• 关注正样本的覆盖程度
• 反映模型发现正样本的能力
• 召回率越高，模型预测为正样本的集合中包含全部真实正样本的概率就越高

实际案例

考虑5正100负的正负样本悬殊情况：

• 准确率先失效：全蒙错的时候准确率也好看
• 精准率会失真：如果只猜了一个正样本还对了，精准率100%但模型其实不好
• 召回率更有价值：此时召回率20%，更好地描述了模型的实际表现

F1-Score

F1-Score是精准率和召回率的调和平均数，提供了一个综合的评估指标。

定义与计算

$$F1 = \frac{2}{1/Precision + 1/Recall}$$ $$F1 = \frac{2 * (Precision * Recall)}{Precision + Recall}$$ $$F1 = \frac{2TP}{2TP + FP + FN}$$

特点

• 同时考虑精准率和召回率
• 对极端值更敏感
• F1-Score越高，精准率和召回率会不同程度上提高，直到收敛
• 适合评估不平衡数据集
• 提供了单一的综合评价标准

扩展：F-β Score

$$F_\beta = (1+\beta^2)\frac{precision * recall}{(\beta^2 * precision) + recall}$$

• β > 1：更重视召回率，适用于召回率更重要的场景
• β < 1：更重视精准率，适用于精准率更重要的场景
• β = 1：即标准F1-Score，精准率和召回率同等重要
• 常用的β值：
  • β = 2：更看重召回率
  • β = 0.5：更看重精准率

应用场景

• 文本分类
• 信息检索
• 推荐系统
• 异常检测

优化建议

• 根据业务需求选择合适的β值
• 监控F1-Score的稳定性
• 结合其他指标综合评估
• 注意模型在不同场景下的表现

ROC (Receiver Operating Characteristic)

ROC曲线是反映模型分类性能的重要工具，通过展示不同决策阈值下的模型表现来评估分类器的性能。

基本概念

• 横轴：假正率(FPR) = FP / (FP + TN)，表示误报率
• 纵轴：真正率(TPR) = TP / (TP + FN)，表示召回率
• 每个点代表一个决策阈值下的(FPR, TPR)对
• 曲线从(0,0)到(1,1)连续变化

曲线特征

• 对角线(y=x)：随机猜测的表现基准线
• 左上角(0,1)：完美分类器的位置
• 曲线越靠近左上角，模型性能越好
• 曲线下面积就是AUC值

曲线解读

对于FPR = x且TPR = y的点表示：

• 把正样本里面y%识别出来了（好事）
• 把负样本里面x%误判为正样本（坏事）
• 不同位置的含义：
  • 左下角：保守预测，高精准率低召回率
  • 右上角：激进预测，高召回率低精准率
  • 中间区域：平衡预测

实践应用

• 阈值选择

  • 根据业务需求在ROC曲线上选择合适的操作点
  • 考虑正负样本识别的权衡
  • 结合业务成本和收益

• 模型比较

  • 比较不同模型的ROC曲线
  • 观察在不同FPR下的TPR表现
  • 分析模型在不同阈值下的稳定性

优点

• 不受样本分布影响
• 可视化效果好
• 直观反映模型性能
• 便于模型比较

局限性

• 无法反映正负样本的分布
• 可能掩盖局部的重要差异
• 需要配合其他指标使用

AUC (Area Under the ROC Curve)

AUC是ROC曲线下的面积，是最广泛使用的排序型评估指标，它提供了模型区分正负样本能力的整体度量。

多重定义

• 几何定义

  • ROC曲线下的面积
  • 取值范围[0,1]，0.5表示随机猜测，1表示完美分类
  • 实际应用中一般要求>0.8才算好的模型

• 概率定义

  • 随机抽取一对正负样本，正样本得分大于负样本的概率
  • $AUC = P(score_{pos} > score_{neg})$
  • 反映了模型的排序能力

• 统计意义

  • 等价于Mann-Whitney U统计量
  • 可用于检验两个分布的差异
  • 提供了模型性能的统计学解释

优点详解

• 排序能力评估

  • 直接反映模型区分正负样本的能力
  • 特别适合推荐、广告等排序任务
  • 能够评估模型的整体排序效果

• 样本无关性

  • 不受样本分布影响
  • 适用于样本不均衡场景
  • 提供了公平的评估标准

• 阈值无关性

  • 不需要设定分类阈值
  • 评估更客观
  • 便于模型间比较

缺点详解

• 线上线下差异

  • 原因：样本分布差异
  • 解决方案：
    • 加强线上样本收集
    • 定期更新模型
    • 监控样本分布变化

• 粒度问题

  • 只关注类间排序
  • 忽略类内排序信息
  • 例如：预测分数0.9和0.8的两个正样本，AUC不关心其真实标签差异
  • 可能掩盖重要的局部差异

• 实践局限

  • 对极端情况不敏感
  • 可能掩盖局部的重要差异
  • 需要结合其他指标综合评估

实践建议

• 多指标结合

  • AUC + Logloss：互补评估
  • AUC + 业务指标：确保实际效果
  • 分层AUC：细粒度评估

• 动态监控

  • 监控线上实时AUC
  • 观察AUC变化趋势
  • 及时发现模型退化

• 改进方向

  • 特征工程优化
  • 模型结构改进
  • 样本质量提升

重要性

AUC是精排模型最重要的离线评估指标，其提升通常意味着线上核心指标的改善。但在实践中，建议将其与其他指标结合使用，以获得更全面的模型评估。AUC比Logloss更细致，能更好地反映模型的排序能力。