机器学习入门（吃瓜第五章 神经网络）

目录

1 支持向量机概述

2 基本概念

2.1 间隔（Margin）

2.2 函数间隔与几何间隔

3 最大间隔与支持向量

4 最优化问题

4.1 原始问题

4.2 对偶问题

5 核函数

 5.1 引入核函数

5.2 常用核函数

6 软间隔与支持向量回归

6.1 软间隔

6.2 优化问题

7 SMO 算法

8 总结

参考文献

---

1 支持向量机概述

支持向量机（Support Vector Machine, SVM）是一种用于分类和回归分析的监督学习算法。它因在处理小样本、非线性和高维数问题方面表现优异而备受关注。SVM 的基本思想是通过寻找一个能够最大化类间间隔的超平面，以实现对数据的最佳分类。

2 基本概念

2.1 间隔（Margin）

间隔是指数据点到决策边界（超平面）的距离。SVM 通过最大化这个间隔来提高模型的泛化能力，即使模型能够更好地适应未见过的数据。间隔越大，模型的泛化能力通常越强。

2.2 函数间隔与几何间隔

• 函数间隔：对于给定的超平面 ，样本点 的函数间隔定义为 。函数间隔反映了样本点与超平面的相对位置。
• 几何间隔：几何间隔是函数间隔归一化后的结果，定义为。几何间隔表示样本点到超平面的实际距离。

  3 最大间隔与支持向量

  • 最大间隔分类器：SVM 的目标是找到能够最大化几何间隔的超平面，即使决策边界尽可能远离所有训练样本。最大间隔分类器不仅能有效分类训练数据，还能提高对新数据的预测准确性。
  • 支持向量：支持向量是指那些位于决策边界附近的样本点，即满足 的点。这些点直接影响超平面的定位和方向，它们是 SVM 模型中最重要的样本点。

    4 最优化问题

    4.1 原始问题

    SVM 的核心是一个优化问题，其目标是最大化几何间隔，这可以通过最小化 来实现。该优化问题的约束条件是所有样本点必须满足 。

    4.2 对偶问题

    通过拉格朗日乘子法，可以将原始优化问题转化为对偶问题，从而简化求解过程。对偶问题的形式为：

    

    其中，拉格朗日函数 定义为：

    

    对偶问题通过求解拉格朗日乘子来获得最优解。

    5 核函数

     5.1 引入核函数

    在处理非线性可分的数据时，SVM 引入了核函数的概念。核函数允许我们在高维空间中进行线性分类，而无需显式地进行高维映射，从而简化计算。

    5.2 常用核函数

    • 线性核：。适用于线性可分的数据。
    • 多项式核：。可以处理非线性关系，参数 和 控制多项式的复杂度。
    • 高斯核（径向基函数）：。适用于高度非线性的数据，参数 控制函数的宽度。
    • Sigmoid 核：。类似于神经网络中的激活函数。

      6 软间隔与支持向量回归

      6.1 软间隔

      在实际应用中，数据集可能包含噪声和异常值，导致严格的间隔约束难以满足。为此，SVM 引入了软间隔的概念，允许一些数据点违反间隔约束，从而提高模型的鲁棒性。

      6.2 优化问题

      软间隔 SVM 的优化问题引入了松弛变量，目标函数变为：

      
      

      其中， 是一个常数，用于平衡间隔的大小和违反约束的程度。优化问题的约束条件变为 ，且 。

      7 SMO 算法

      序列最小优化算法（Sequential Minimal Optimization, SMO）是一种用于高效求解 SVM 对偶问题的算法。SMO 通过每次仅优化两个拉格朗日乘子，大大简化了计算复杂度。它不仅能加速求解过程，还能有效处理大规模数据集。

      8 总结

      支持向量机 (SVM) 是一种用于分类和回归分析的监督学习算法，擅长处理小样本、非线性和高维数据问题。SVM 通过最大化类间间隔寻找最佳分类超平面，并引入核函数来处理非线性数据。其优化问题包括原始问题和对偶问题，通过拉格朗日乘子法简化求解。软间隔的引入提高了模型的鲁棒性，而序列最小优化 (SMO) 算法则有效地简化了对偶问题的求解过程，适用于大规模数据集。

      参考文献

      [1] 【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导

      [2] 周志华.机器学习[M].清华大学出版社,2016.

      [3] 谢文睿 秦州 贾彬彬.机器学习公式详解第2版[M].人民邮电出版社,2023.