神经网络的中间层相当于“黑箱”，不用知道也不太能知道“特征”都是什么
激活函数
- 一定是非线性的，否则肯定能被一个线性的替换
- 为神经网络引入了非线性
神经元死亡：激活函数始终没有激活
损失函数
回归问题
平均绝对误差(Mean Absolute Error, MAE) / L1 Loss
对异常值鲁棒
0处不可导
均方误差(Mean Squared Error, MSE) / L2 Loss
对异常值敏感（平方放大异常值）
Smooth L1
±1之间用L2，以外用L1
分类问题（二分类、多分类）
交叉熵误差(Cross Entropy Error)
损失函数取最小值 → 当前为最优参数
数值微分
导数的极限没有那么极限之后
x —forward→ y
x + h —forward→ y’
h不能太小，小心浮点误差
中心差分
不用单独的x + h 来求，用x ± h的两个点求，误差更小
.jpg?table=block&id=2cb05109-5451-8092-a42a-ffaf40797495&t=2cb05109-5451-8092-a42a-ffaf40797495)
