返回第254章 无敌少侠【1w大章求追订】  我去不早说首页

关灯 护眼     字体:

上一页 目录 下一页

进一步分摊给了数据收集同事。

这个分摊的过程,每一步都是通过数学上的链式法则精确计算的。最终,每个员工都得到了一个明确的“责任分数”(梯度)。

根据每个人的“责任分数”告诉他们如何改正。例如:“a,下次收集数据时,应该更侧重x方面;b,分析逻辑应该调整y参数。”

这个“告诉”的过程就是参数更新,通常使用梯度下降算法:新参数=旧参数-学习率责任分数(梯度)。

下一次做报告时,团队就会表现得更好。反复多次,团队(神经网络)就会越来越出色。

这就是反向传播的全内容。

“反向传播?”

路明非看着上面的话语,虽然他看懂了,也知道这只不过是一个反复往前归因的过程,但是怎么看都是一个非常繁杂的神秘知识!

老唐也看傻了,哥们高中肄业,你给我整这?

“有没有一种可能,托子哥你说的这个不是中文,而是某些小众语种。”老唐呢喃自语道。

“正经中国人谁说这些啊!”老唐嘶吼。

路明非怒吼:“你也不是中国人吧!”

路明非:“……”

老唐:“……”

现场一片寂静。

而林托的意识进入到眼前的屏幕之后,效率可谓是比语音输入还要快上许多倍,他的思维所到之处,哪里就是文本的书写。

“反向传播的数学心脏是微积分中的链式法则。它解决了如何将最终输出的误差,高效地分摊给网络中成千上万个参数的问题。”

“神经网络是一个由许多复合函数嵌套组成的复杂函数。”

“损失函数衡量的是输出与目标的差异。”

“我们想知道的是:‘损失函数关于每一个权重参数的变化率是多少?’(即梯度)。”

“链式法则允许我们从输出层开始,一层一层地、递归地将误差梯度向后传递,直到最初的输入层。每一层只需要计算局部梯度,然后乘以从后面传过来的梯度即可。”

“这个过程之所以强大,是因为它避免了对每个参数进行单独、重复的复杂计算,而是用系统化的方式一次算出所有参数的梯度,效率极高。”

“……”

林托呢喃自语,声音无比轻灵,像是光里柔和的天使,又像是慈悲的神明。

路明非和老唐顿时意识到这玩意儿是天阶功法,没准他们两个之后还有可能会用到,顿时露出了欣喜若狂的神色。

而林托这边倒也不是完全依靠着自己的想法来,而是跟随着正向传播的定义来进行理解。

正向传播即就是从输入到隐藏层到输出。

没有正向传播,就没有误差;没有反向传播,就无法知道如何减少误差。

反向传播的重要性,同样倚靠其高效。

它巧妙地利用链式法则,一次反向传播就能计算出网络中所有权重和偏置的梯度,计算复杂度与正向传播相当。

而且通用性同样拉满,它是一个通用框架,只要网络组件层、网络组件激活函数是可微分的,就可以融入这个框架进行训练。

而也正是反向传播的出现,使得训

章节内容不完整,请退出阅读模式查看完整内容!
『加入书签,方便阅读』

上一页 目录 下一页