机器学习笔记（机器学习实战）

机器学习笔记(1)——L1正则化与L2正则化的原理与区别

L1正则化，也称Lasso回归，通过向损失函数中添加权值向量w中元素绝对值之和，促使模型形成稀疏权重矩阵，有助于特征选择，有时可以减少过拟合的风险。相反，L2正则化，即Ridge回归，通过添加元素平方和的平方根作为惩罚，其目标是使权重更小且分散，有助于提高模型的泛化能力，防止过拟合。

L1和L2正则化通过添加额外的约束到参数解空间，限制模型的复杂度。L1正则化约束形成菱形区域，倾向于产生稀疏权值矩阵；L2正则化约束形成圆形区域，倾向于产生更小且分散的权值。具体来说，L1约束下的解空间是一个菱形，等值线与菱形端点相交的概率远高于中间，导致一些参数取值为0，实现特征选择。

梯度角度：L1正则化的损失函数梯度更可能促使参数接近0，而L2正则化的梯度变化较为平滑，参数接近0的可能性较低。先验角度：L1正则化通过Laplace分布促使参数接近0，而L2正则化则通过Gaussian分布使得参数集中在0周围。

在机器学习中，选择L1正则化或L2正则化的场景如下：当参数分布接近高斯且希望平滑噪声时：选择L2正则化。L2正则化对数据中的噪声有良好的平滑效果，适合参数分布接近高斯的情况。当追求模型的稀疏性时：选择L1正则化。

逻辑回归采用对数损失函数作为优化目标。对数损失函数适合分类问题，通过最小化该函数来优化模型的预测能力。正则化：正则化是防止模型过拟合的一种技术。L1正则化和L2正则化通过增加惩罚项来调整模型的复杂度。L1正则化更容易实现特征选择，即让一些特征的系数变为0，从而实现特征降维。

机器学习笔记(八):集成学习之Bagging和stacking

1、若个体学习器同质，集成学习则包括bagging和boosting系列，如随机森林便是典型代表。反之，当个体学习器异质时，如决策树、支持向量机等，集成学习倾向于采用stacking系列。在bagging框架下，同质个体学习器之间没有强依赖关系，可以并行生成。

2、stacking是一种模型组合方法，将一组模型的输出组合起来给出预测结果。初始模型通常是与预测任务不同的模型，训练在完整训练数据集上。然后使用第一个模型的输出作为特征，训练二级元模型，学习如何结合初始模型的输出来降低训练误差。

3、随机森林是集成学习中的一种重要方法，它通过构建多个模型并集成它们的结果来提升预测性能。集成算法汇总多个评估器的建模结果，从而获得比单一模型更优的回归或分类结果。集成算法主要有三种类型：装袋法、提升法和stacking。随机森林是装袋法（Bagging）的代表性算法，它以决策树作为基模型。

4、集成学习中，个体学习器“好而不同”至关重要，即每个学习器都应有较高的准确性和一定的多样性，避免学习器之间存在高度相关性。随着个体学习器数量的增加，集成的错误率将呈指数级下降，最终趋近于零。常见的集成学习框架包括bagging、boosting和stacking。

5、Stacking原理与应用分析Stacking是一种在机器学习中常用的集成方法，它通过构建两层结构的模型来增强预测性能。基本流程是：首先训练多个基础分类器（base-classifiers），然后使用这些模型的预测结果作为新的元特征输入到一个元分类器（meta-classifier）中，进行二次预测。

6、问题2：将随机森林基学习器替换为线性分类器或K-近邻是否可行？分析与解随机森林属于Bagging类集成学习，Bagging好处是降低方差。线性分类器或K-近邻模型本身方差小，使用Bagging并不能显著改进性能，甚至可能增加集成分类器的偏差。

机器学习基础系列笔记18—EMA指数滑动平均原理

1、EMA是指数滑动平均，用于机器学习训练中，以增强模型在测试数据上的稳定性和鲁棒性。工作原理：加权平均：EMA是一种利用历史数据加权平均的方法，对训练参数进行动态调整。衰减系数：通过一个衰减系数逐渐融合历史参数值，使得早期的值影响逐渐减小。影子变量：维护一个影子变量，其初始值等于参数值。

2、机器学习训练中，指数滑动平均（Exponential Moving Average， EMA）技术有助于增强模型在测试数据上的稳定性和鲁棒性。简单来说，滑动平均是一种利用历史数据加权平均的方法，它对训练参数进行动态调整，衰减过去的值以适应当前的模型状态。想象训练参数a随时间变化，每个epoch后更新为a1， a2， a3等。

3、滑动平均（exponential moving average， EMA）是一种统计方法，用于估计变量的局部均值，同时考虑了历史取值的影响。在时间序列分析或预测中，EMA 可以提供更平滑、响应更快的均值估计，相比传统的移动平均（如简单移动平均或加权移动平均），它更加侧重于近期数据。

4、在深度学习领域，指数滑动平均（EMA）是一种对模型参数进行平均处理的方法，以提高模型表现。相较于普通的算术平均，EMA赋予了近段时间数据更高的权重，通过近似求平均来优化模型参数。