神经网络的基础知识


损失函数

非常不喜欢这个名字,从字面上其实比较难以理解这个东西,即使是英语(Loss Function)。

这个函数其实是用来度量模型的最终输出与真实值之间的差异程度的函数。叫差异度或者差距其实更合适。这个值非常重要,它决定了模型反向传播的个参数更新的梯度起点,能 不能学的好,就看它了,定义的不好就容易失去梯度了。

这个函数的输入的参数就是模型输出值与真实值。

\(\alpha\) 从统计学的角度,有很多标准的方法来衡量样本和期望值