多层感知机

一、单层感知机

1、感知机是二分类问题

2、虽然都是一个输出，但线性回归输出是一个实数；与softmax相比，softmax有多少类就有多少输出元素，是一个多分类问题；而感知机输出的是一个离散的类，是一个二分类问题，可以0、1，也可以1、-1。

3、yi是标号，[+b]是预测，只有这两个同号才说明分类是对的；如果不对，标号乘以样本加权重做权重更新，偏差也做更新；循环直至所有类分类正确。

4、对损失函数，如果分类正确y大于0，损失函数值取0，就没有梯度不用更新；若分类错误，就进入上面的if循环，进行权重及偏差更新。

5、收敛定理

||w||^2+b^2