机器学习入门（吃瓜第六章 支持向量机）

目录

1. M-P 神经元

2. 感知机（分类模型）

2.1 sgn 函数

2.2 感知机

1）模型

2）策略

3）算法

3. 神经网络

3.1 优点

3.2 缺点

3.3 经典神经网络——多层前馈网络

3.4 神经网络训练方法——BP 算法

3.5 反向传播算法

4. 总结

参考文献

---

1. M-P 神经元

M-P 神经元，全称为 McCulloch-Pitts 神经元，是一种用于模拟生物神经元功能的数学模型。该模型由 Warren McCulloch 和 Walter Pitts 于 1943 年提出，是人工智能和计算神经科学领域的重要早期模型。

M-P 神经元接收 n 个输入（通常来自其他神经元），并对各个输入赋予权重，计算加权和，然后与神经元特有的阈值 θ 进行比较（作减法）。最后，经过激活函数（模拟“抑制”和“激活”）处理得到输出（通常传递给下一个神经元）：

单个 M-P 神经元可以构成感知机（使用 sgn 作为激活函数）或对数几率回归（使用 sigmoid 作为激活函数），多个 M-P 神经元可以构成神经网络。

2. 感知机（分类模型）

2.1 sgn 函数

sgn 函数，或称为符号函数（sign function），是一个用于确定实数符号的数学函数。sgn 函数的定义如下：

• 当 x>0x > 0x>0 时，sgn(x) = 1
• 当 x=0x = 0x=0 时，sgn(x) = 0
• 当 x