超参数机器学习（什么是超参数）

Hyperopt初步认识

Hyperopt是一个强大的超参数优化工具，它能自动寻优并通常比手动调参更快地找到更优结果，免去了繁琐的手动过程。以下是Hyperopt使用的基本流程和参数空间定义方法：Hyperopt的核心是它的fmin函数，它基于图模型的优化算法TPE。

什么是参数

1、参数是指在数学、计算机科学、统计学等领域中，用于描述和控制变量的特定量或变量。参数的概述 参数是指在某个模型、函数或系统中，用来描述其特性和行为的变量或常量。它们可以是数值、符号或其他类型的数据。参数的值可以影响模型或系统的输出结果，因此对于理解和预测模型或系统的行为具有重要作用。

2、参数：参数是很多机械设置或维修上能用到的一个选项，字面上理解是可供参考的数据，但有时又不全是数据。对指定应用而言，它可以是赋予的常数值；在泛指时，它可以是一种变量，用来控制随其变化而变化的其他的量。简单说，参数是给我们参考的。

3、参数是指在数学、统计学和计算机科学中，用于描述和定义一个系统或模型的变量。参数的概念 参数通常用于描述函数、方程或模型中的变量。在数学和统计学中，参数表示一组数值，可以用来确定一个特定的函数或概率分布。在计算机科学和机器学习领域，参数用于定义算法或模型中的权重、偏置和超参数。

4、参数是指能够影响数学方程或函数行为的变量或常数。参数的概念：参数可以是实数、整数、向量、矩阵等不同类型的数值。它们可以在方程中起到控制、调整和改变方程性质的作用。通过改变参数的值，我们可以观察和分析方程的解、图像、性质等方面的变化。相关案例：在函数的定义中，我们通常使用字母表示参数。

5、参数的解释表明任何现象、设备或其工作过程中某一种 重要 性质 的量。如，汽轮机中蒸气的压力、温度等，是该汽轮机蒸气的参数； 电阻 、电感和电容，就是电路的参数。 词语分解 参的解释 参 （参） ā 加入在内：参加。 参与 。参政。参赛。参议。 相间，夹杂：参杂。参半。

AutoML框架系列四:Optuna

1、Optuna 是一个专门为机器学习设计的自动超参数优化软件框架。它具有命令式、define-by-run 风格的 API。这种 API 设计使得用 Optuna 编写的代码模块化程度很高，用户可以动态地构造超参数的搜索空间。

2、探索性数据分析 （EDA）初步观察训练数据，总结三个难点：难点一：结构化数据描述缺失采用自动化学习为主，人工特征分析为辅。利用AutoML与AutoSklearn进行超参数调节与特征筛选，自动化过程包括超参数调节与特征筛选。数据处理、特征处理与模型调参部分采用自动化，利用Optuna优化超参数。

机器学习4种调参自动优化方法,第二款是我的最爱!

首先，网格搜索尝试所有给定超参组合，而随机搜索则通过随机采样寻找最优组合，随机搜索在处理参数重要性不均衡时更具优势。贝叶斯优化则是针对黑盒函数设计的，它通过构建代理模型（如高斯过程）预测超参组合的性能，通过期望改进等采集函数指导搜索过程，寻找全局最优。

进行调参有两种方法：方法一通过tuninginstancesinglecrite和tuner训练模型，方法二通过autotuner训练模型。mlr3还支持同时设定多个性能指标，并提供简便的写法。参数依赖也是超参数调整中的一个重要问题。某些超参数只有在特定条件下才有效，如SVM的degree参数在kernel为polynomial时才有效。

自动调参方法主要分为两类：简单搜索方法和基于模型的序贯优化方法。简单搜索方法如随机搜索和网格搜索，前者采用随机生成数据点的方式，效果不稳定但避免陷入最优解；后者遍历预设数据点，但可能错过最优配置。对比两者，随机搜索在特定情况下可能找到更好解。

其次，如果训练过程中的数据集很大，这种调参方法就会显得非常低效。BF调参是机器学习模型调优过程中常用的调参方法。这种方法可以应用于各种模型，例如支持向量机（SVM）、神经网络（NN）和决策树（DT），以发现最佳的超参数组合来优化模型的性能。