茂易网站建设机械加工类网站

茂易网站建设,机械加工类网站,成都网页设计与网站建设,wechat网页版登陆从感知机到神经网络 神经网络和上一章介绍的感知机有很多共同点。这里#xff0c;我们主要以两者 的差异为中心#xff0c;来介绍神经网络的结构。 神经网络的例子 用图来表示神经网络的话#xff0c;如图3-1 所示。我们把最左边的一列称为 输入层#xff0c;最右边的一列称…从感知机到神经网络神经网络和上一章介绍的感知机有很多共同点。这里我们主要以两者的差异为中心来介绍神经网络的结构。神经网络的例子用图来表示神经网络的话如图3-1 所示。我们把最左边的一列称为输入层最右边的一列称为输出层中间的一列称为中间层。中间层有时也称为隐藏层。“隐藏”一词的意思是隐藏层的神经元和输入层、输出层不同肉眼看不见。另外本书中把输入层到输出层依次称为第0 层、第1 层、第2 层层号之所以从0 开始是为了方便后面基于Python 进行实现。图3-1 中第0 层对应输入层第1 层对应中间层第2 层对应输出层。图3-1 中的网络一共由3 层神经元构成但实质上只有2 层神经元有权重因此将其称为“2 层网络”。请注意有的书也会根据构成网络的层数把图3-1 的网络称为“3 层网络”。本书将根据实质上拥有权重的层数输入层、隐藏层、输出层的总数减去1后的数量来表示网络的名称。只看图3-1 的话神经网络的形状类似上一章的感知机。实际上就神经元的连接方式而言与上一章的感知机并没有任何差异。那么神经网络中信号是如何传递的呢复习感知机在观察神经网络中信号的传递方法之前我们先复习一下感知机。现在来思考一下图3-2 中的网络结构。图3-2 中的感知机接收x1x_1x1​和x2x_2x2​两个输入信号输出y。如果用数学式来表示图3-2 中的感知机则如式3.1所示。y{0(bw1x1w2x2⩽0)1(bw1x1w2x20)\begin{align*} y \begin{cases} 0 (b w_1 x_1 w_2 x_2 \leqslant 0) \\ 1 (b w_1 x_1 w_2 x_2 0) \end{cases} \end{align*}y{01​(bw1​x1​w2​x2​⩽0)(bw1​x1​w2​x2​0)​​b 是被称为偏置的参数用于控制神经元被激活的容易程度而w1w_1w1​和w2w_2w2​是表示各个信号的权重的参数用于控制各个信号的重要性。顺便提一下在图3-2 的网络中偏置b 并没有被画出来。如果要明确地表示出b可以像图3-3 那样做。图3-3 中添加了权重为b 的输入信号1。这个感知机将x1x_1x1​、x2x_2x2​、1 三个信号作为神经元的输入将其和各自的权重相乘后传送至下一个神经元。在下一个神经元中计算这些加权信号的总和。如果这个总和超过0则输出1否则输出0。另外由于偏置的输入信号一直是1所以为了区别于其他神经元我们在图中把这个神经元整个涂成灰色。现在将式3.1改写成更加简洁的形式。为了简化式3.1我们用一个函数来表示这种分情况的动作超过0 则输出1否则输出0。引入新函数h(x)将式3.1改写成下面的式3.2和式3.3yh(bw1x1w2x2)\begin{align*} yh(bw_1x_1w_2x_2) \end{align*}yh(bw1​x1​w2​x2​)​h(x){0(x⩽0)1(x0)\begin{align*} h(x) \begin{cases} 0 (x \leqslant 0) \\ 1 (x 0) \end{cases} \end{align*}h(x){01​(x⩽0)(x0)​​式3.2中输入信号的总和会被函数h(x) 转换转换后的值就是输出y。然后式3.3所表示的函数h(x)在输入超过0 时返回1否则返回0。因此式3.1和式3.2、式3.3做的是相同的事情。激活函数登场刚才登场的hx函数会将输入信号的总和转换为输出信号这种函数一般称为激活函数activation function。如“激活”一词所示激活函数的作用在于决定如何来激活输入信号的总和。现在来进一步改写式3.2。式3.2分两个阶段进行处理先计算输入信号的加权总和然后用激活函数转换这一总和。因此如果将式3.2写得详细一点则可以分成下面两个式子。abw1x1w2x2(3.4)a b w_1 x_1 w_2 x_2 \tag{3.4}abw1​x1​w2​x2​(3.4)yh(a)(3.5)y h(a) \tag{3.5}yh(a)(3.5)首先式3.4计算加权输入信号和偏置的总和记为a。然后式3.5用h()函数将a转换为输出y。之前的神经元都是用一个○表示的如果要在图中明确表示出式3.4和式3.5则可以像图3-4 这样做。如图3-4 所示表示神经元的○中明确显示了激活函数的计算过程即信号的加权总和为节点a然后节点a被激活函数h() 转换成节点y。本书中“神经元”和“节点”两个术语的含义相同。这里我们称a和y 为“节点”其实它和之前所说的“神经元”含义相同。通常如图3-5 的左图所示神经元用一个○表示。本书中在可以明确神经网络的动作的情况下将在图中明确显示激活函数的计算过程如图3-5的右图所示。下面我们将仔细介绍激活函数。激活函数是连接感知机和神经网络的桥梁。本书在使用“感知机”一词时没有严格统一它所指的算法。一般而言“朴素感知机”是指单层网络指的是激活函数使用了阶跃函数A 的模型。“多层感知机”是指神经网络即使用sigmoid函数后述等平滑的激活函数的多层网络。