感知机

感知机（perceptron）这一算法。感知机是由美国学者Frank Rosenblatt在1957年提出来的。

感知机是作为神经网络（深度学习）的起源的算法。

因此，学习感知机的构造也就是学习通向神经网络和深度学习的一种重要思想。

文章中提到的感知机应该称为"人工神经元”或“朴素感知机””，但是因为很多基本的处理都是共通的，所以这里就简单地称为“感知机"

感知机是什么

感知机接收多个输入信号，输出一个信号。

这里所说的“信号”可以想象成电流或河流那样具备“流动性”的东西。

像电流流过导线，向前方输送电子一样，感知机的信号也会形成流，向前方输送信息。

但是，和实际的电流不同的是，感知机的信号只有“流/不流”(1/0)两种取值。

在本书中，0对应“不传递信号”，1对应“传递信号”。

感知机的多个输入信号都有各自固有的权重，这些权重发挥着控制各个信号的重要性的作用。也就是说，权重越大，对应该权重的信号的重要性就越高。

权重相当于电流里所说的电阻。
电阻是决定电流流动难度的参数，电阻越低，通过的电流就越大。
而感知机的权重则是值越大，通过的信号就越大。不管是电阻还是权重，在控制信号流动难度（或者流动容易度）这一点上的作用都是一样的。

简单逻辑电路

与门 (AND gate)

与门是有两个输入和一个输出的门电路。

这种输入信号和输出信号的对应表称为“真值表”。
如图所示，与门仅在两个输入均为1时输出1，其他时候则输出0。

阈值是指一个效应能够产生的最低值或最高值。它类似于一个界限，当达到或超过这个值时，某种特定的结果或反应就会发生。
在自动控制系统中，阈值是能产生校正动作的最小输入值。

def AND(x1, x2):
    w1, w2, theta = 0.5, 0.5, 0.7
    tmp = x1*w1 + x2*w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1
AND(0, 0) # 输出0
AND(1, 0) # 输出0
AND(0, 1) # 输出0
AND(1, 1) # 输出1

这样我们就实现了与门。

与非门(NAND gate)

仅当

和
同时为1时输出0

要表示与非门，可以用

这个可以被看作是神经网络中某一层的参数设置。

权重（Weights）

权重是连接神经网络中神经元的参数，它们决定了输入信号的重要性。权重的值影响着信号在网络中的传递方式。
在前向传播过程中，输入数据通过权重与神经元的连接进行加权求和，这个加权求和的结果将被传递到下一层或作为输出。
在训练过程中，权重通过反向传播算法进行调整。这个过程涉及到计算损失函数关于权重的梯度，并使用优化算法（如梯度下降）来更新权重值，目的是减少预测误差。

偏置（Biases）

偏置是加在神经元输出上的一个常数项，它允许模型在没有输入信号的情况下也能产生输出。
偏置项提供了模型的灵活性，使得模型能够更好地拟合数据。在数学上，偏置项可以看作是将输入数据平移一个固定量，从而影响激活函数的输出。
与权重类似，偏置在训练过程中也会被更新。它们同样通过反向传播算法来调整，以最小化损失函数。

或门

或门是“只要有一个输入信号是1，输出就为1”的逻辑电路。那么我们来思考一下，应该为这个或门设定什么样的参数呢？

这里决定感知机参数的并不是计算机，而是我们人。
我们看着真值表这种“训练数据”​，人工考虑（想到）了参数的值。

而机器学习的课题就是将这个决定参数值的工作交由计算机自动进行。学习是确定合适的参数的过程，而人要做的是思考感知机的构造（模型）​，并把训练数据交给计算机。

我们已经知道使用感知机可以表示与门、与非门、或门的逻辑电路。

这里重要的一点是：与门、与非门、或门的感知机构造是一样的。

实际上，3个门电路 只有参数的值（权重和阈值）不同 。

也就是说，相同构造的感知机，只需通过适当地调整参数的值，就可以像“变色龙演员”表演不同的角色一样，变身为与门、与非门、或门。

与非门和或门的代码实现

def NAND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([-0.5, -0.5]) # 仅权重和偏置与AND不同！
    b = 0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

def OR(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5]) # 仅权重和偏置与AND不同！
    b = -0.2
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

感知机的局限性

我们已经知道，使用感知机可以实现与门、与非门、或门三种逻辑电路。现在我们来考虑一下异或门(XOR gate)

异或门

异或门也被称为逻辑异或电路。

实际上，用前面介绍的感知机是无法实现这个异或门的。为什么用感知机可以实现与门、或门，却无法实现异或门呢？

线性和非线性

无法用一条直线分开，但是如果将“直线”这个限制条件去掉，就可以实现了。

感知机的局限性就在于它只能表示由一条直线分割的空间。

感知机的可视化：灰色区域是感知机输出0的区域，这个区域与或门的性质一致

感知机的可视化：灰色区域是感知机输出0的区域，这个区域与或门的性质一致

那么，换成异或门的话会如何呢？能否像或门那样，用一条直线作出分割图2-7中的○和△的空间呢？

○和△表示异或门的输出。可否通过一条直线作出分割○和△的空间呢？

○和△表示异或门的输出。可否通过一条直线作出分割○和△的空间呢？

想要用一条直线将图2-7中的○和△分开，无论如何都做不到。事实上，用一条直线是无法将○和△分开的。

○和△无法用一条直线分开，但是如果将“直线”这个限制条件去掉，就可以实现了。

使用曲线可以分开○和△

使用曲线可以分开○和△

感知机的局限性就在于它只能表示由一条直线分割的空间。

这样弯曲的曲线无法用感知机表示。

这样的曲线分割而成的空间称为非线性空间，由直线分割而成的空间称为线性空间。

线性、非线性这两个术语在机器学习领域很常见。

多层感知机

感知机不能表示异或门让人深感遗憾，但也无需悲观。

实际上，感知机的绝妙之处在于它可以“叠加层”。

这里，我们暂且不考虑叠加层具体是指什么，先从其他视角来思考一下异或门的问题。

已有门电路的组合

异或门的制作方法有很多，其中之一就是组合我们前面做好的与门、与非门、或门进行配置。

这里，与门、与非门、或门用图的符号表示。

另外，图中与非门前端的○表示反转输出的意思。

与门、与非门、或门的符号

与门、与非门、或门的符号

将与门、与非门、或门代入到“​？​”中，就可以实现异或门！

感知机的局限性，严格地讲，应该是“单层感知机无法表示异或门”或者“单层感知机无法分离非线性空间”​。接下来，我们将看到通过组合感知机（叠加层）就可以实现异或门。

通过组合与门、与非门、或门实现异或门

异或门的真值表

异或门的真值表

异或门的实现

下面我们试着用Python来实现异或门。使用之前定义的AND函数、NAND函数、OR函数，可以像下面这样（轻松地）实现。

def XOR(x1, x2):
    s1 = NAND(x1, x2)
    s2 = OR(x1, x2)
    y = AND(s1, s2)
    return y

这个XOR函数会输出预期的结果。

XOR(0, 0) # 输出0
XOR(1, 0) # 输出1
XOR(0, 1) # 输出1
XOR(1, 1) # 输出0

下面我们试着用感知机的表示方法（明确地显示神经元）来表示这个异或门

用感知机表示异或门

用感知机表示异或门

异或门是一种多层结构的神经网络。这里，将最左边的一列称为第0层，中间的一列称为第1层，最右边的一列称为第2层。

感知机与前面介绍的与门、或门的感知机形状不同。

实际上，与门、或门是单层感知机，而异或门是2层感知机。

叠加了多层的感知机也称为多层感知机(multi-layered perceptron)。

感知机总共由3层构成，但是因为拥有权重的层实质上只有2层（第0层和第1层之间，第1层和第2层之间）​，所以称为“2层感知机”​。不过，有的文献认为图2-13的感知机是由3层构成的，因而将其称为“3层感知机”​。

在图所示的2层感知机中，先在第0层和第1层的神经元之间进行信号的传送和接收，然后在第1层和第2层之间进行信号的传送和接收，具体如下所示。
01.第0层的两个神经元接收输入信号，并将信号发送至第1层的神经元。
02.第1层的神经元将信号发送至第2层的神经元，第2层的神经元输出y。

这种2层感知机的运行过程可以比作流水线的组装作业。
第1段（第1层）的工人对传送过来的零件进行加工，完成后再传送给第2段（第2层）的工人。
第2层的工人对第1层的工人传过来的零件进行加工，完成这个零件后出货（输出）​。
像这样，在异或门的感知机中，工人之间不断进行零件的传送。通过这样的结构（2层结构）​，感知机得以实现异或门。
这可以解释为“单层感知机无法表示的东西，通过增加一层就可以解决”​。
也就是说，通过叠加层（加深层），感知机能进行更加灵活的表示。