深度学习(DL，DeepLearning)的概念Zui早由多伦多大学的G．E．Hinton等，于2006年提出，是基于样本数据通过一定的训练方法得到包含多个层级的深度网络结构的机器学习(ML,MachineLearning)过程。机器学习通常以使用决策树、推导逻辑规划、聚类、贝叶斯网络等传统算法对结构化的数据进行分析为基础，对真实世界中的事件做出决策和预测。深度学习被引入机器学习使其更接近于Zui初的目标—人工智能(AI,ArtificialIntelligence)，其动机在于建立模型模拟人类大脑的神经连接结构，通过组合低层特征形成更加抽象的高层表示、属性类别或特征，给出数据的分层特征表示；它从数据中提取知识来解决和分析问题时，使用人工神经网络算法，允许发现分层表示来扩展标准机器学习。这些分层表示能够解决更复杂的问题，并且以更高的精度、更少的观察和更简便的手动调谐，潜在地解决其他问题。传统的神经网络随机初始化网络权值，很容易导致网络收敛到局部Zui小值。为解决这一问题，Hinton提出使用无监督预训练方法优化网络初始权值，再进行权值微调，拉开了深度学习的序幕。深度学习所得到的深度网络结构包含大量的单一元素(神经元)，每个神经元与大量其他神经元相连接，神经元间的连接强度(权值)在学习过程中修改并决定网络的功能。通过深度学习得到的深度网络结构符合神经网络的特征，深度网络就是深层次的神经网络，即深度神经网络(deepneuralnetworks，DNN)。深度神经网络是由多个单层非线性网络叠加而成的，常见的单层网络按照编码解码情况分为3类：只包含编码器部分、只包含解码器部分、既有编码器部分也有解码器部分。编码器提供从输入到隐含特征空间的自底向上的映射，解码器以重建结果尽可能接近原始输入为目标将隐含特征映射到输入空间。深度神经网络分为以下3类。
(1) 前馈深度网络(feed-forward deepnetworks，FFDN)，由多个编码器层叠加而成，如多层感知机(multi-layer perceptrons，MLP)、卷积神经网络(convolutional neural networks，CNN) 等。
(2) 反馈深度网络(feed-back deepnetworks，FBDN)，由多个解码器层叠加而成，如反卷积网络(deconvolutionalnetworks，DN)、层次稀疏编码网络(hierarchical sparse coding，HSC)等。
(3) 双向深度网络( bi-directional deepnetworks，BDDN)，通过叠加多个编码器层和解码器层构成(每层可能是单独的编码过程或解码过程，也可能既包含编码过程也包含解码过程)，如深度玻尔兹曼机(Deep Boltzmann Machines，DBM)、深度信念网络(deep beliefnetworks，DBN)、栈式自编码器(stacked auto-encoders，SAE)等。
