3Blue1Brown 神经网络第一课:权重、偏置与激活函数

3Blue1Brown 神经网络第一课拆解:神经元、权重、偏置、分层结构与激活函数各自的作用,以及这期适合谁看、什么情况下可以跳过。

But what is a neural network? | Deep learning chapter 1
解读视频But what is a neural network? | Deep learning chapter 1

YouTube · 3Blue1Brown

本文由诀.com 原创整理,内容与判断来自这条视频;引用请以原视频为准。

这是 3Blue1Brown 深度学习系列的第一章,主题是神经网络的底层结构。视频挑的例子是识别手写数字:一张 28×28 像素的图片,每个像素对应一个数字,这些数字在层与层之间被反复计算,最后得出对数字的判断。

它讲的重点不是怎么调用框架,而是网络里到底在算什么。每个连接上的权重、每个神经元自带的偏置、汇总信息用的加权和,以及把结果压成非线性输出的激活函数,这些量合起来就是训练时要调的东西。

适合的读者是第一次接触神经网络、看过一些调包教程但对内部机制没什么概念的人。下面把视频讲到的概念过一遍,再说说什么样的人可以直接跳过。

先补齐这几个词

激活值:神经元里保存的那个数字,代表它当前输出的大小。在手写数字这个例子里,图片的每个像素就是最底层的一个激活值,也是后面所有计算的原料。

加权和:把上一层每个神经元的激活值乘上对应权重,再把结果相加。视频用它说明一个神经元怎样把上一层的信息汇总成一个数,作为自己判断的依据。

参数:权重和偏置的合称,是网络在训练过程中被调整的量。视频里提到,识别手写数字的网络有成千上万个这样的参数,它们决定了网络最终能学到什么。

视频给出的清单

名称它是什么视频的推荐理由
神经元网络的基本计算单元,保存一个激活值,并根据前一层的输出算出自己的值视频把它当作构成网络的最小零件,先讲清它,后面的组合才有意义
权重连接两个神经元的数值,衡量前一层特征对后一层影响的大小,有正有负视频强调它是网络判断「哪个像素更重要」的载体,也是训练要调的主要对象
偏置附加在神经元上的数值,决定加权和要到多高这个神经元才会被激活视频把它和权重并列为可调参数,说明激活是有门槛的
分层结构神经元按层排列,前一层的输出作为后一层的输入,低层看细节、高层看整体视频用它解释网络为什么能从边缘和线条一步步组合出数字
Sigmoid把任意实数映射到 0 到 1 之间的 S 型函数视频把它作为早期的激活函数介绍,用来描述神经元的激活状态
ReLU输入大于 0 时原样输出,小于等于 0 时输出 0视频指出它取代 Sigmoid 成为现代网络的常见选择,形式简单、训练深层网络更有效

每一条的要点

神经元是网络里最小的计算单位,它做的事就一件:把上一层传来的数按权重加总,加上偏置,再经激活函数处理,得到一个数字存下来。视频把手写数字的像素作为最底层神经元的激活值,整个网络就是这一串数字的层层传递。

权重决定了上一层哪个特征对当前神经元更重要,正负号表示这个影响是促进还是抑制。训练网络,本质上就是在调整这些数值。用「哪个像素更重要」来理解权重,比直接看矩阵公式直观得多。

偏置是激活的门槛。加权和再大,如果偏置把门槛抬上去,神经元也不会被激活;反过来说,偏置低一些,神经元就更容易被点亮。它和权重一样,是训练中被调整的量。

分层结构是这套机制能成立的原因。视频的设想是,靠前的层识别边缘和基本线条,靠后的层把这些线条组合成笔画,最后拼出数字的形状。这种从简单到复杂的抽象不需要人为指定每一层学什么,是网络自己从数据里学出来的。

Sigmoid 是早期网络常用的激活函数,把任意实数压到 0 到 1 之间,可以理解成神经元的兴奋程度。视频提到它在训练很深的网络时会遇到困难。要弄清它在什么条件下失效,得另找反向传播和梯度相关的资料,这一章不涉及。

ReLU 的形式更简单:输入为正就原样输出,否则输出 0。视频认为它在实践中更容易训练深层网络,因此在现代网络里比 Sigmoid 更常见。

怎么挑适合自己的

想搞清楚神经网络内部在算什么的人,这一期值得完整看一遍。它不写代码、不调用框架,全部时间花在结构上,正好补上动手类教程里缺失的那部分。

急着跑通一个模型、拿到结果的人可以跳过。视频不涉及数据处理、训练流程和代码实现,看它并不能让模型跑起来,先找能上手操作的教程更划算。

已经系统学过一遍权重、偏置和激活函数的人,这一期的内容基本是重复的。拿它当复习可以,但不必指望有新的细节。

这条视频的边界

视频给出的只是识别手写数字这一条路径上的结构概念,训练过程、参数如何更新、代码怎么落地都不在其中,这些需要另找资料。它也没有给出网络在真实数据上的准确率一类的量化结果,判断一个网络好不好,这一章不负责回答。

内容核验说明

这条清单把 3Blue1Brown 第一章的六个概念拆开,逐条写清它讲什么、讲到哪一步停住。价值在于它标出了几条边界:偏置和权重是两类参数,层级分工属于设计直觉而非保证,Sigmoid 与 ReLU 的对比只到定性层面。适合刚接触深度学习、想先建立直觉再去看公式和代码的人,找调参和工程细节的人读它会落空。

文中没有作者自述的实测或量化数据,只有视频本身的概念讲解与举例。28x28 像素是视频举例用的规格,未说明图片来自哪个数据集;Sigmoid 与 ReLU 的取舍属于视频发布时的说法,诀.com 未独立验证,需以官方文档和当下主流实践核对。

原始来源

原作者:3Blue1Brown(@3blue1brown)

本文对公开来源内容进行了结构化整理,原观点与内容归原作者所有。

查看原文