机器学习模拟笔记（机器学习实战）

机器学习基础系列笔记3—反卷积Deconvolution

1、本文探讨机器学习基础系列笔记中的反卷积Deconvolution，此操作在图像处理中用于上采样，恢复图像分辨率。反卷积也称为转置卷积或分数步长卷积，相较于插值方法，反卷积更具有灵活性，能学习到优化的上采样策略。插值方法由人工定义规则，缺乏对不同图像的优化适应性。反卷积操作使得网络能够学习最优上采样方案。

2、Deconvolution的意思是反卷积。以下是对Deconvolution的 基础定义：反卷积是一种数学运算过程，主要用于处理卷积运算的逆过程。在信号处理、图像处理等领域中，卷积操作通常用于模拟信号通过系统时的变化。反卷积则是试图从输出信号中恢复原始信号的过程。

3、首先，理解反卷积的输出尺寸计算基于卷积的基本原理。卷积的输出尺寸计算公式为：[公式] 输出尺寸 = （输入尺寸 - 卷积核尺寸 + 2 * 填充） / 步幅 + 1 当步幅为1时，反卷积与卷积输出尺寸相同。

4、最大的区别在于反卷积过程是有参数要进行学习的（类似卷积过程），而上池化和上采样是无反向传播过程的. 理论上反卷积可以实现UnPooling和unSampling，只要卷积核的参数设置的合理。

机器学习基石笔记14:正则化(Regularization)

防止过拟合的核心手段之一是正则化，旨在将假设函数的复杂度降低，避免模型在训练集上表现优秀，但在未见数据上泛化能力不足。正则化通过加入限制条件，如将多项式函数的次幂降低，实现这一目标。以10次多项式和二次式为例，通过正则化，将多项式函数简化为二次函数，显著降低了模型的复杂度。

正则化（regularization）是为了提升模型泛化能力，避免过拟合的一种手段。在使用神经网络时，防止模型在训练集上表现优秀，而测试集上效果不佳，是通过正则化来实现这一目标。常用的正则化方法包括L1正则化（Lasso回归）、L2正则化（Ridge回归）和Dropout正则化。

总结来说，正则化是机器学习中一个重要的手段，其核心目标是通过约束模型，防止模型过拟合，提高模型的泛化能力。通过在模型设计或训练过程中引入正则化项，我们可以实现对模型复杂度的有效控制，从而在训练数据之外也能保持良好的预测性能。

理解正则化（Regularization）的关键在于把握“欠拟合”与“过拟合”的概念与解决策略。首先，“欠拟合”指模型在训练数据上表现不佳，无法充分捕捉数据中的特征和模式。面对此问题，可通过增加模型复杂度、增加特征数量或减少正则化强度来解决。

正则化（regularization）在机器学习与深度学习领域中，是提升模型泛化能力的关键策略之一。本文将从多角度讨论泛化与正则化，旨在帮助读者理解模型泛化问题，并从泛化角度解释机器学习与深度学习中多种方法，包括但不限于范数惩罚（norm penalty）、权重衰减（weight decay）、丢弃层（dropout）等。

【西瓜书】周志华《机器学习》学习笔记与习题探讨(三)⑤

1、【西瓜书】周志华《机器学习》学习笔记与习题探讨（三）⑤ 在第3章中，我们通过对比两种常用的评估方法来探讨线性模型的误差估计。10折交叉验证法与留一法旨在通过不同的数据划分策略评估模型性能。

2、神经网络的强大表示能力可能导致过拟合问题。为缓解此问题，常用策略包括“早停”和“正则化”。早停策略通过在训练集和验证集上监控误差，当训练集误差下降但验证集误差上升时停止训练。正则化策略在误差目标函数中添加描述网络复杂度的部分，如连接权和阈值的平方和，以减少过拟合。

3、在周志华的《机器学习》西瓜书里，作者通过一个生动的例子来讲解假设空间规模的概念。想象我们想通过观察西瓜的色泽（3种可能）、根蒂（2种状态）和敲击声（2种反应）来判断其好坏。通常情况下，我们可能会简单地将这些可能取值相乘，即3*2*2。

4、徐亦达，悉尼科技大学副教授，机器学习开源讲义作者：“南瓜书”补充和拓展了数学基础知识，是“西瓜书”的理想伴侣。

5、强化学习探讨了如何让“机器”在复杂环境中通过与环境交互来学习和改善其行为的过程。任务通常通过马尔可夫决策过程（MDP）描述，其中环境的状态、动作、状态转移概率和奖励函数是关键元素。强化学习的目标是找到能最大化长期累积奖励的策略。

机器学习基础系列笔记18—EMA指数滑动平均原理

1、机器学习训练中，指数滑动平均（Exponential Moving Average， EMA）技术有助于增强模型在测试数据上的稳定性和鲁棒性。简单来说，滑动平均是一种利用历史数据加权平均的方法，它对训练参数进行动态调整，衰减过去的值以适应当前的模型状态。想象训练参数a随时间变化，每个epoch后更新为a1， a2， a3等。

2、滑动平均（exponential moving average， EMA）是一种统计方法，用于估计变量的局部均值，同时考虑了历史取值的影响。在时间序列分析或预测中，EMA 可以提供更平滑、响应更快的均值估计，相比传统的移动平均（如简单移动平均或加权移动平均），它更加侧重于近期数据。

3、在深度学习领域，指数滑动平均（EMA）是一种对模型参数进行平均处理的方法，以提高模型表现。相较于普通的算术平均，EMA赋予了近段时间数据更高的权重，通过近似求平均来优化模型参数。