什么是反向传播神经网络:类型及其应用

顾名思义,反向传播是算法返回将错误从输出节点传播到输入节点。因此,它被简单地称为“误差的反向传播”。这种方法是从人脑的分析中发展出来的。语音识别、字符识别、签名验证、人脸识别等是神经网络的一些有趣应用。神经网络经过监督学习,输入向量通过网络产生输出向量。该输出矢量与所需输出进行了验证。如果结果与输出向量不匹配,则生成错误报告。根据错误报告,调整权重以获得所需的输出。

什么是人工神经网络?

人工神经网络使用监督学习规则来提高效率和功能。神经网络中的信息以两种不同的方式流动。主要是,当模型正在接受培训或学习时,以及当模型正常运行时——无论是用于测试还是用于执行任何任务。通过输入神经元将不同形式的信息反馈到模型中,触发多层隐层神经元到达输出神经元,称为前馈网络。


由于所有神经元不会同时触发,当它们穿过隐藏层时,从左侧接收输入的神经元会与权重相乘。现在,将每个神经元的所有输入相加,当总和超过某个阈值时,保持沉默的神经元将触发并连接起来。

人工神经网络的学习方式是,它从做错事和做正确的事中学习,这就是所谓的反馈。人工神经网络利用反馈来学习什么是对的什么是错的。

什么是反向传播?

定义:反向传播是神经网络训练的一种基本机制。它是一种机制,用于根据前一次迭代中产生的错误率微调神经网络(本文中也称为模型)的权重。这类似于一个信使告诉模型,如果网络犯了一个错误或没有尽快预测。

反向传播神经网络
反向传播神经网络

神经网络中的反向传播是关于传输与模型在进行猜测时产生的错误相关的信息和相关信息。该方法旨在减少错误,这被称为损失函数。


反向传播的工作原理——简单算法

深入学习中的反向传播是训练人工神经网络的一种标准方法。它的工作方式是——最初设计神经网络时,随机值被指定为权重。用户不确定指定的权重值是否正确或是否适合模型。因此,模型输出的值与实际或预期输出不同,这是一个错误值。

为了以最小的误差获得适当的输出,模型应该在相关的数据集或参数上进行训练,并在每次预测时监视其进度。神经网络与误差有一定的关系,因此,每当参数变化时,误差也随之变化。反向传播使用一种称为delta规则或梯度下降的技术来改变模型中的参数。

上图显示了反向传播的工作原理,其工作如下。

  • 输入端的“X”从预连接路径到达
  • “W”,实际权重用于建模输入。W的值是随机分配的
  • 每个神经元的输出通过转发传播(输入层、隐藏层和输出层)来计算。
  • 通过输出层和隐层再向后传播的方程,计算输出处的误差,调整权值以减小误差。

再次向前传播以计算输出和错误。如果错误最小化,则此过程结束,否则向后传播并调整权重值。

该过程重复,直到误差降至最小值,并获得所需输出。

为什么我们需要反向传播?

这是一种用于训练与特定数据集相关的神经网络的机制。一些反向传播的优势

  • 程序简单、快速、易于编程
  • 只调整输入的数量,而不调整任何其他参数
  • 无需事先了解网络
  • 它是灵活的
  • 一个标准的方法和工作效率
  • 不要求用户学习特殊功能

反向传播网络的类型

有两种反向传播网络。其分类如下:

静态反向传播

静态反向传播是一种网络,其目的是为静态输出生成静态输入的映射。这些网络能够解决像光学字符识别(OCR)这样的静态分类问题。

递归反向传播

递归反向传播是另一种用于定点学习的网络。循环反向传播中的激活被前馈直到它达到一个固定值。然后,计算错误并向后传播。A.软件神经解决方法具有执行反复反向繁殖的能力。

关键区别:静态反向传播提供即时映射,而映射循环反向传播不是即时的。

反向传播的缺点

反向传播的缺点是:

  • 反向传播可能对噪声数据和不规则性敏感
  • 它的性能高度依赖于输入数据
  • 培训时间过长
  • 需要一种基于矩阵的方法来代替小批量的反向传播

反向传播的应用

应用程序是

  • 神经网络被训练用来表达单词和句子的每个字母
  • 用于语音识别
  • 它在字符识别和人脸识别领域中得到了广泛的应用

常见问题

1). 为什么我们需要在神经网络中进行反向传播?

这是一种用于训练与特定数据集相关的神经网络的机制

2). 反向传播算法的目标是什么?

该算法的目标是为神经网络建立一种训练机制,以确保网络经过训练,将输入映射到相应的输出。

3). 神经网络的学习率是多少?

在优化的背景下定义学习速率,并将神经网络的损失函数最小化。它指的是神经网络通过重写旧数据来学习新数据的速度。

4). 神经网络是一种算法吗?

对。神经网络是一系列用来识别模式的学习算法或规则。

5). 神经网络中的激活函数是什么?

神经网络的激活函数根据神经元的总和决定神经元是否被激活/触发。

在本文中,反向传播的概念用简单的语言解释了神经网络的原理,以供读者理解。在这种方法中,神经网络从产生的误差训练成为自给自足和处理复杂的情况。神经网络具有用实例精确学习的能力。

添加注释