深度学习算法简介

神经（jīng）网络：基础

神经（jīng）网络是（shì）一个具有相互连接的节点的（de）计算系统（tǒng），其（qí）节点的工作（zuò）方式更像是人脑中的神经元。这些神经（jīng）元在它（tā）们之间进（jìn）行处理并传递信息。每个神经网（wǎng）络都是一系列的算法，这些算法试图通过一个模拟人类大脑运作的过程（chéng）来（lái）识别一组数据中的潜在关系。

深度学习算法（fǎ）和经典神（shén）经网（wǎng）络之（zhī）间有什（shí）么区别呢？最明显（xiǎn）的区别是：深度（dù）学习（xí）中（zhōng）使用的（de）神经网络（luò）具有更多隐藏层。这（zhè）些层位于神经元的第一（yī）层(即输入层)和（hé）最后一层(即（jí）输（shū）出层)之（zhī）间。另外，没有必要将不同层的所有神经元连接起（qǐ）来。

您应该知道的9种深度学习算法

＃1反（fǎn）向传播

反向（xiàng）传播算法是（shì）一种非常流行的用于训练前（qián）馈神经网络的监督（dū）学习算法。本质上，反向传播（bō）计（jì）算成本函数的导数的表达式，它是每一层（céng）之间从左到（dào）右的导数乘积，而（ér）每一层之间的权重梯（tī）度是对部分（fèn）乘积的简单修改（“反向传播误差”）。

我（wǒ）们向网络提供数据，它产生一个输出，我们将输出与期望的输出进行比较(使用损失函数（shù）)，然后根据差异重新调整（zhěng）权重。然后（hòu）重复此过程（chéng）。权重（chóng）的调（diào）整（zhěng）是通过一（yī）种称为（wéi）随机（jī）梯度下降的非线性优化技术来实现的（de）。

假设由（yóu）于（yú）某种（zhǒng）原因，我们想（xiǎng）识别图像中（zhōng）的树（shù）。我们向（xiàng）网络提供任（rèn）何种类（lèi）的图像，并产生输出。由于我（wǒ）们知道图像（xiàng）是（shì）否实际（jì）上有一棵树，因此（cǐ）我们（men）可以将输出（chū）与真实情况进行比较并调整网络（luò）。随（suí）着我（wǒ）们传递越（yuè）来（lái）越多的图像，网络的错误（wù）就会越来越（yuè）少（shǎo）。现在我（wǒ）们可以给（gěi）它（tā）提（tí）供一个未知（zhī）的图（tú）像，它将告诉我们该图像是否包含（hán）树。

＃2前馈神经网络（FNN）

前馈神经网（wǎng）络（luò）通常是（shì）全连接，这意味着层中的每个（gè）神经（jīng）元都与下一层中的所有其他神（shén）经（jīng）元相连。所描述的结构称为“多层感知器”，起源于1958年。单（dān）层感知器只能学习线性可分离的模式（shì），而多层感知器则可以学习数据之间的非（fēi）线（xiàn）性的（de）关系（xì）。

前馈网络的目标是近似某个函数（shù）f。例如对于分类，=（x）将输入（rù）x映（yìng）射（shè）到类别y。前馈网络（luò）定义了一个映射y = f（x;θ），并（bìng）学习了导致最佳函数逼近的参数θ的（de）值。

这些模型（xíng）之（zhī）所以称为（wéi）前馈，是因（yīn）为从x到定（dìng）义f的中间计算（suàn），最后到输（shū）出（chū）y，没有反馈连接（jiē）。没有将模型的输出反（fǎn）馈到（dào）自身的反馈连接（jiē）。当前馈神经网络扩展为包（bāo）括（kuò）反（fǎn）馈连接时，它们称为循环神经（jīng）网络（luò）。

＃3卷积神经网络（CNN）

卷积神经（jīng）网络除了为机器人和自动驾驶汽车的视觉提供帮助外，还成功（gōng）的应用（yòng）于人脸（liǎn）识别，对象监测和交通（tōng）标志（zhì）识别等（děng）领域（yù）。

在数学中（zhōng），卷（juàn）积是一个函数越过另一个函（hán）数时两个函数重叠多少的积（jī）分度量。

绿（lǜ）色曲线表示蓝色和红色（sè）曲线的卷积（jī），它是t的函（hán）数（shù），位置由垂直（zhí）的绿色（sè）线表示。灰色区域表示乘积g(tau)f(t-tau)作为t的（de）函（hán）数，所以它的面积作为t的函数就是卷积。

这两个函数在x轴上每（měi）一点的重叠的乘积就是它们（men）的（de）卷积。

在某种程度上，他们尝试对前馈网络进行正则化（huà），以避免过度拟合(当模型只学习预先看（kàn）到的数据而不能泛化时)，这（zhè）使（shǐ）得他们（men）能（néng）够很好地识别数据（jù）之间的空间（jiān）关系。

＃4循环（huán）神经（jīng）网络（RNN）

循（xún）环神经（jīng）网络在（zài）许多（duō）NLP任务中都非常成功。在传统的神经网络中，可以（yǐ）理解所有输入和（hé）输出（chū）都是独立（lì）的。但是，对于许多任务，这是不合适的。如果要预测句子中的下一个（gè）单词（cí），最好考虑一下（xià）它前面的（de）单词。

RNN之所以称（chēng）为循环（huán），是因为它们（men）对序列的每个元素执行（háng）相同的任务，并且输出（chū）取决于先前的（de）计算。RNN的另一种解释（shì）：这些网络具有“记忆（yì）”，考虑（lǜ）了先（xiān）前的信息。

例如，如果序列是5个单词的句子，则由5层组成，每个单词一（yī）层。

在RNN中定（dìng）义计（jì）算的公式如下：

x_t-在（zài）时间步t输入。例如，x_1可以是与句子的第二个单词相（xiàng）对应的one-hot向（xiàng）量。

s_t是步骤t中（zhōng）的隐藏（cáng）状态。这（zhè）是网络的“内存”。s_t作（zuò）为函数（shù）取决于先（xiān）前的状态和（hé）当前（qián）输入x_t：s_t = f（Ux_t + Ws_ {t-1}）。函数f通常是非线性的（de），例如tanh或ReLU。计（jì）算第一个隐藏状态所需（xū）的s _ {-1}通（tōng）常（cháng）初（chū）始化（huà）为零（零（líng）向量）。

o_t-在步骤t退出（chū）。例如，如果我们要预测句（jù）子中的（de）单词，则输出可能（néng）是字典中的概率向量。o_t = softmax（Vs_t）

图像描述的生（shēng）成

与（yǔ）卷积神经（jīng）网络一（yī）起，RNN被用作模型的（de）一部分，以生成未标记图像的描述。组合模型（xíng）将生（shēng）成的单词与图（tú）像中的（de）特征相结合：

最常用的RNN类型是LSTM，它比（bǐ）RNN更好地捕获（存（cún）储）长期依赖关系。LSTM与（yǔ）RNN本质上（shàng）相同，只是它们具有（yǒu）不同的（de）计算隐藏状态的方（fāng）式。

LSTM中的memory称（chēng）为cells，您可以将其视为接受先（xiān）前状态h_ {t-1}和当前输入参数x_t作为输入的黑盒（hé）。在内（nèi）部（bù），这些cells决（jué）定保存（cún）和删除哪（nǎ）些memory。然后，它（tā）们将先前的状态（tài），当前memory和输入参（cān）数组合在一起。

这些类（lèi）型的单（dān）元在捕获(存储)长期依赖关系方面非常有效。

＃5递（dì）归神经网络

递归神经（jīng）网络是循环网（wǎng）络的另一种形式（shì），不同之（zhī）处在于它们是（shì）树形结构。因（yīn）此，它（tā）们可（kě）以在训练数据（jù）集中建模层次结构。

由于其与（yǔ）二（èr）叉树、上下文和基于自然（rán）语（yǔ）言的解（jiě）析器的关系，它们通常（cháng）用于音频（pín）到文本转录和情绪分（fèn）析等NLP应用程序中。然（rán）而，它们往往比递归（guī）网络慢得多

＃6自编码（mǎ）器

自编（biān）码器可（kě）在输出处恢复输入信号（hào）。它们内部有一个隐（yǐn）藏层。自编码器设计为无（wú）法将输入准（zhǔn）确（què）复制到输出（chū），但是为了（le）使误差最小化，网（wǎng）络被迫学习选择（zé）最（zuì）重要（yào）的特征。

自编（biān）码器可（kě）用于预训（xùn）练，例如，当有（yǒu）分（fèn）类任务且（qiě）标记（jì）对太少时（shí）。或降低数据中的维度以供以后（hòu）可视（shì）化。或（huò）者，当您只需要学习（xí）区分输入信号的有用属性时。

＃7深度信念网络和受限玻尔兹（zī）曼机器（qì）

受限玻尔兹曼机是一（yī）个随（suí）机神经网络（神经（jīng）网络，意味着我们有类似神经（jīng）元的单元，其binary激活取（qǔ）决于它们所（suǒ）连接的（de）相（xiàng）邻单元；随机意味着这些激活（huó）具有概率（lǜ）性（xìng）元素（sù）），它包（bāo）括：

可见单位层

隐藏单元层

偏差（chà）单元

此（cǐ）外，每个可见单元连接到所有的（de）隐藏单元（yuán）(这（zhè）种连（lián）接（jiē）是无向（xiàng）的，所以每个隐藏单元也连接到所有（yǒu）的可见单元)，而偏差单（dān）元连接到所有的可见单元和所有的隐藏单元。

为（wéi）了使学习更容易，我们对网络进行了限制（zhì），使（shǐ）任何可见单元都不连接到任何其他可见单元，任何隐藏单元都不（bú）连接到任何其他隐（yǐn）藏单元。

多个RBM可以（yǐ）叠加形成（chéng）一个深度信念网络（luò）。它们看起来完全像全连（lián）接层，但但（dàn）是它（tā）们的训练方式不（bú）同。

＃8生成对抗网络（GAN）

GAN正在（zài）成为一种流行的在线零售机器学习（xí）模型，因为（wéi）它（tā）们能够以越来越（yuè）高的准确度理解和重建（jiàn）视觉内容（róng）。用例包括:

从轮廓（kuò）填充图像（xiàng）。

从（cóng）文本（běn）生（shēng）成逼真的图像（xiàng）。

制作产品（pǐn）原型的（de）真实感描述。

将黑白（bái）图（tú）像转换（huàn）为彩色图像。

在视频制作中，GAN可（kě）用于：

在框架内模（mó）拟人类（lèi）行为和运动（dòng）的模式。

预测后续的视频帧。

创（chuàng）建deepfake

生成（chéng）对（duì）抗网（wǎng）络（GAN）有（yǒu）两个部分：

生成器学习生（shēng）成可（kě）信的数据（jù）。生成的实（shí）例（lì）成为（wéi）判（pàn）别器的负面训练实例。

判别器学（xué）会从（cóng）数据中分辨出（chū）生成器的假数据。判别器（qì）对产生不（bú）可信结果的发生器进（jìn）行惩罚。

建（jiàn）立（lì）GAN的第（dì）一步是识别所需的最终（zhōng）输出，并根据这（zhè）些参数收集（jí）初始（shǐ）训练数据集。然后将这些数据随机化并（bìng）输入到生成器中，直到获得生成输出的基本精度为止。

然（rán）后，将生成的图像（xiàng）与原始概（gài）念（niàn）的实际数据点一起馈（kuì）入判别器（qì）。判（pàn）别器对信息进（jìn）行过滤，并返回0到1之（zhī）间的概率来表（biǎo）示（shì）每个图像（xiàng）的真实性（1与真相关，0与假相（xiàng）关）。然后检（jiǎn）查这些值（zhí）是否成功，并不断重复，直到达到预期（qī）的结果。

＃9Transformers

Transformers也（yě）很（hěn）新，它们主要用于语（yǔ）言（yán）应用。它它（tā）们基（jī）于一个叫做（zuò）注意力的概念，这个概念被（bèi）用来（lái）迫（pò）使网络将（jiāng）注意力集中在特定的数（shù）据点上。

由于LSTM单（dān）元过于复杂，因（yīn）此可以使用注意（yì）力（lì）机（jī）制根（gēn）据其（qí）重要性对输入的不同部分进行权衡。注意（yì）力机制只不过（guò）是另一个具有权重（chóng）的层，它的唯一目的是（shì）调整权重（chóng），使输入的部分优先化（huà），同时排（pái）除其他部分（fèn）。

实际上，Transformers由多个堆叠的编码器（形（xíng）成编码器层），多个堆叠的解（jiě）码器（解（jiě）码器（qì）层）和一堆attention层（self- attentions和encoder-decoder attentions）组成

Transformers设（shè）计用于（yú）处理诸如机（jī）器翻译和（hé）文本摘要之类的各种任务的有序数据序列（liè），例如自然（rán）语言。如今，BERT和GPT-2是两个最著名的经过预先训练的自然（rán）语言系（xì）统，用于各种NLP任（rèn）务中，它们都基于Transformers。

＃10图（tú）神经网络

一般（bān）来说（shuō），非结构化（huà）数据并不适合（hé）深度学习（xí）。在许（xǔ）多实（shí）际应用（yòng）中，数据是非结构化的，例如社交（jiāo）网络，化合物，知识图，空间数据等。

图神经网络的目的是对（duì）图数据进行建模（mó），这（zhè）意味（wèi）着它们识（shí）别图中节点之间的关系，并对其进行数值表示。它们以后（hòu）可（kě）以在（zài）任何其他机（jī）器（qì）学习模型中（zhōng）用于各种（zhǒng）任务（wù），例（lì）如（rú）聚类，分（fèn）类等（děng）。