神經網絡中偏置的作用
前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇神經網絡中偏置的作用范文，相信會為您的寫作帶來幫助，發現更多的寫作思路和靈感。
神經網絡中偏置的作用范文第1篇
摘要：旅游需求的預測預報研究一直是旅游學研究的一個重要課題。本文在對到訪澳門地區中國內地游客量分析的基礎上,運用人工神經網絡(ANN)的理論和方法,構建了ANN模型分析中的3層BP模型,以澳門近10年（1996-20__）入境來訪的中國內地旅游人數為例進行模型驗證，模擬結果表明,BP神經網絡預測的結果能夠高程度的吻合原始數據，在旅游市場預測中，BP神經網絡預測是一種有效的預測方法。一．問題的提出與分析近年來，對澳門地區的旅游業來說，中國內地旅客是旅游收入的主要來源。目前旅游業已成為澳門地區經濟發展特別是第二產業發展的支柱。建立科學的可操作的旅游預測模型是實現澳門地區旅游業持續健康穩定發展的理論基石和前提。由于影響某地旅游人數的因素各異，還不存在普遍適用的神經網絡模型。基于此，本文擬用3層BP神經網絡模型來仿真模擬分析和預測澳門地區旅游需求,以此為旅游需求預測提供一種新的方法。二．模型的假設與符號說明1．基本假設1）交通在旅游中通常不是重要的，為了研究的方便（主要是無法獲得交通數據），把交通這個影響忽略。2）假設澳門的接待能力都滿足需求。3）在本例旅游需求預測模型中，我們考慮的主要因素有：客源地的人口，客源地的總收入，客源地的消費水平，旅游目的地的生活水平。4）為了研究的方便，假定以上四因子之間相互獨立，本例旅游需求即為上述四因子的函數，即y=f(GDI,POP,GDE,M-GP)。就用這四個因素作為人工神經網絡模型輸入層的神經元。2．符號說明T澳門內地游客量GDI中國內地國民總收入POP中國內地人口總數GDE中國內地國民消費水平M-GP澳門生產總值三．模型的建立與求解1．人工神經網絡模型理論原理
人工神經網絡（ArtificialNeuralNetwork）是由大量的、簡單元件（神經元）廣泛相互聯結而成的非線性的、動態的復雜網絡信息處理系統，它是在現代神經學研究成果基礎上提出的，能模擬人腦的若干基本功能[1]。它具有并行分布的信息處理結構，可以通過“自學習”或“訓練”的方式完成某一特定的工作。它可以從積累的工作案例中學習知識，盡可能多地把各種定性或定量的因素作為變量加以輸入，從而建立各種影響因素與結論之間的高度非線性映射，采用自適應模式識別方法來完成預測工作[2]。人工神經網絡模型尤其是對處理內部規律不甚了解、不能用一組規則或方程進行描述的復雜的、開放的非線性系統顯得較為優越。人工神經網絡模型一般由處理單元、激活狀態、單元輸出、連接模式、激活規則、學習規則等6個部分組成。一個多層神經網絡中包含有很多個信息處理單元,分布于不同的層次中。根據每項輸入和相應的權重獲取一個綜合信號，當信號超過閾值則激活神經元而產生輸出。各類影響因素和最終輸出結果之間可以假定存在一種映射,即輸出結果＝F（影響因素）。為了尋求最佳的映射關系F，將訓練樣本集合和輸入、輸出轉化為一種非線性關系，通過對簡單非線性函數的復合，從而建立一個高度的非線性映射關系F,最終實現輸出值的最優逼近［3］。在人工神經網絡的實際應用中，80~90的人工神經網絡是采用前饋反向傳播網絡（back-propagation-network,簡稱BP網絡）或它的變化形式。BP神經網絡（如圖一）是一種單項傳播的多層前向神經網絡，分為輸入層、隱含層和輸出層，層與層之間采用全連接方式，同一層單元之間不存在相互連接。它是前向網絡的核心部分，體現了人工神經網絡最精華的部分[4]。標準的BP網絡是根據W-H學習規則，采用梯度下降算法，對非線性可微函數進行權值訓練的多層網絡。圖一：BP神經網絡的每一層的權值通過學習來調節，其基本處理單元為非線性輸入－輸出關系，選用S型作用函數：其中：xj為該神經元第i個輸入；wij為前一層第i個神經元至該神經元j的連接權值，i＝0時的權值為閾值。其計算步驟如下：（1）給定一組隨機的權值和閾值初始值及步長系數η與勢態因子α；（2）取學習樣本數據，根據學習樣本、權值及閥值計算輸出，并與學習期望輸出比較，當誤差滿足要求時結束訓練，否則將誤差向后逐層傳播，并修正各層連接權值，調整公式為：其中：k取j結點所在層的前一層所有結點。5）澳門內地旅客人數神經網絡模型的建立(一)BP網絡設計網絡設計是一個綜合性問題，它應滿足多種不同要求，例如，希望所涉及的網絡有較好的推理能力，易于硬件實現，訓練速度快等，其中有較好的推理能力是最主要的。一般來說，推廣能力決定于3個主要因素，即問題本身的復雜程度、網絡結構以及樣本量大小。在一般情況下，旅游需求預測研究中樣本的數量是一定的，因此可歸結為在樣本量一定的情況下，如何選擇網絡規模的問題。在進行BP網絡預測模型設計中，我們主要考慮以下因素：網絡的層數、每層中的神經元個數、初始值的選擇、學習速率和期望誤差。i)網絡的層數已證明：具有偏差和至少一個S型隱含層加上一個線性輸出層的網絡，能夠逼近任何有理函數。所以，本文選擇一個3層的BP網絡。ii)每層中神經元的個數輸入層和輸出層神經元的個數根據解決具體問題的復雜程度而定。為了提高網絡訓練的精度，可以通過采用一個隱含層，再加上1到2個神經元以加快誤差的下降速度即可。因此，本文輸入層神經元個數選擇為4個，隱含層神經元個數分別選擇了9、12、15個，輸出層神經元個數選擇為1個。iii)初始值的選擇由于人工神經網絡是一個非線性系統，初始值的選擇對于網絡學習是否達到局部最小、是否能夠收斂以及訓練時間的長短都有較大影響。在初始值的選擇上一般是使經過初始值加權后的每個神經元的輸出值都接近零，這樣可以保證每一個神經元的連接權值都能夠在它們的S型激活函數變化最大處進行調解。所以，初始值一般選擇在（-1,1）之間的隨機數。本文的初始值為默認值。iv)學習速率對于任何一個網絡都對應一個合適的學習速率。學習速率決定每一次循環訓練中所產生的權值的變化量。大的學習速率可以導致網絡的不穩定，但是小的學習速率又會導致訓練時間延長，收斂速度較慢，不能保證網絡的誤差能最終趨于最小。綜合上述考慮，在學習速率的選擇上傾向于選擇較小的學習速率以保證網絡的穩定性，本文選擇的學習速率為0.01。v)期望誤差值期望誤差值的確定也是通過網絡對不同誤差值分別進行訓練比較后確定的最適合值。所謂的最適合值是相對于所需要的隱含層的節點數來確定的，一個較小的誤差值的獲得需要增加隱含層的節點以及訓練時間。本文經過不斷測試，選擇0.0001為期望誤差值。（二）1．網絡訓練模式的選擇訓練網絡有兩類模式：逐變模式和批變模式。在逐變模式中，每一個輸入被作用于網絡后，權重和偏置量被更新一次。在批變模式中，所有的輸入被應用于網絡后，權重和偏置量才被更新 一次。使用批變模式不需要為每一層的權重和偏置量設定訓練函數，而只需為整個網絡制定一個訓練函數，使用起來相對方便，因此，本文在進行網絡訓練時采用批變模式。表格一：年度
澳門的內地游客量(T)（千人）中國內地國民總收入(GDI)（億元）中國內地人口數(POP)（萬人）中國內地居民消費水平（GDE）（元）澳門生產總值（M-GP）(億美元)1996604．270142.5122389278966.31997529．877653.1123626300266.71998816．883024.3124761315961.919991645．288189.0125786334659.220__2274．798000.5126743363261.020__3005．7108068.2127627386961.920__4240．4119095.7128453410668.220__5742．0135174.0129227441179.220__9529．7159586.71299884925103.320__10463183956.11307565439115.62．數據和模型的建立神經網絡模型要求數據具有：A、易獲得性B、可靠性C、可測度性。本項研究采用很可靠的官方發表的數據作為分析的數據源（見表1），主要來自于中國統計局網。用3層BP網絡模型對本例旅游需求進行模擬，根據BP網絡的映射原理，對于樣本集合X和輸出Y，可以假設存在一映射F。為了尋求F的最佳映射值，BP網絡模型將樣本集合的輸入、輸出轉化為非線性優化，通過對簡單的非線性函數的復合，建立一個高度的非線性映射關系，實現F值的最優逼近。對于本例旅游需求模型的模擬：其輸入層結點數（4個神經元）：中國內地國民總收入（GDI）、中國內地人口總數（POP）、中國內地國民消費水平（GDE）、澳門生產總值（M-GP）。把澳門內地游客量（T）作為輸出結點。從而得出3層前饋反向傳播神經網絡模型。四．模型結果及分析1網絡訓練性能的檢查。不同個數的隱層單元組成的BP網絡訓練曲線如圖1，2，3所示。通過比較發現，中間層神經元個數為9和12時，網絡的收斂速度比較快。2網絡預測性能的考查。在數據列表中選取1996年到20__年的數據作為網絡的測試數據。20__、20__年的(文秘站:)游客量檢驗誤差曲線如圖4。其仿真結果令人滿意，達到預期的效果。圖1圖2圖3圖4五．模型的應用與評價（優缺點與改進）從上面的分析可以看出，3層BP神經網絡模型的仿真模擬效果是鄰人滿意的。可以看出，人工神經網絡的擬合精度比較高，主要是基于人工神經網絡抗干擾能力強，穩定性好，能自動準確地找出各種輸入和輸出之間的線性或非線性關系，具有較強的模擬適應能力等特點。在本例對于澳門的內地游客量的旅游預測中BP神經網絡模型是一種有效的預測方法。這一研究方法為旅游學的定量預測研究提供了一種新的思路，也為工程實踐問題中的一些研究工作提供了一種非常好的指導方法。雖然BP網絡得到了廣泛應用，但其自身也存在一些缺陷和不足，主要包括幾個方面的問題。首先，由于學習速率是固定的，因此，網絡的收斂速度慢，需要較強的訓練時間。再次，網絡隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據應驗或者通過反復試驗確定的。因此，網絡往往存在很大的冗余性，在一定上也增加了網絡學習的負擔。六．原題附帶問題簡析通過對本例旅游需求模型的分析，我們認為在利用數學建模的方法對旅游需求進行預測預報時，對于數據的采集和整理工作需要認真做好。對于數據的分析有助于我們尋求變量間的關系，以形成初步的想法。如何獲得數據以及如何獲得準確的數據對于我們研究實際問題具有相當重大的意義。收集數據并非多多益善，而是要弄清究竟需要哪些數據，剔除不必要的數據，從而減少冗余的工作。同時，需要什么形式的數據也是我們應該思考的一個問題，這與建立模型的目的和所選擇的模型的特點有關。[參考文獻][1]王士同，等．問題求解的人工智能：神經網絡方法[M].北京：氣象出版社，1995.[2]HillT,MarquezO’connorM,RemusW.ArtificialNeuralNetworkMedelsfor
ForecastingandDecisionMaking[J].InternationalJournalofForecasting,1993,
神經網絡中偏置的作用范文第2篇
關鍵詞：人臉表情識別；非下采樣Contourlet變換；極限學習機；BP神經網絡
中圖分類號：TP391 文獻標識號： A 文章編號：2095-2163（2015）05-
Facial Expression Recognition based on the Next Sampling Contourlet Transform Algorithm Research
Jia Hanlong1， Wang Jinfang2， Huang Lifei3
（1 Liaoning Mechatronics College， Liaoning Dandong， 118000， China；2 Yanshan University， Qinhuangdao， 066200， China；3Hangzhou ChouTou Tech Co. LTD， Hangzhou， 310000， China）
Abstract： This paper studies the next sampling Contourlet transform in the application of facial expression recognition， and the corresponding algorithm design process. The image segmentation of facial expression is divided into two parts covering the eyes and the mouth， which to the most extent can represent the expression information， and then uses the sampling Contourlet transform under the division of local image feature extraction， furtherly using extreme learning machine for classification， and makes the comparison with the BP neural network control experiment. The results showed that expression classification accuracy can reach 86.57% on average， than the BP neural network classification method of average accuracy higher than 7.43%. In the speed of execution method， the fact that extreme learning machine is 11.09 times that of the BP neural network shows the efficiency and feasibility of the experiment scheme.
Key words： Facial Expression Recognition； Next Sampling Contourlet Transform； Extreme Learning Machine； BP Neural Network
0引 言
人臉表情含有豐富的人體行為信息，可以直觀地反映一個人的心理狀態。隨著人機交互的研究日益得到關注，人臉表情識別已經成為模式識別一個重要且具實效意義的研究分支。目前，應用于表情識別的方法有基于gabor小波特征的方法[1]，基于主動形狀模型（ASM）和主動外觀模型（AAM）的方法[2]，基于流形的方法[3]等。
典型的人臉表情提取主要包括人臉表情的預處理，特征提取與選擇和人臉表情分類三個主要步驟。其中，表情特征的提取與選擇是人臉表情識別步驟中最具決定性的一步。如何將人臉表情預處理得到的高維數據進行快速有效的降維，既是表情識別系統的核心，也是目前為止最難于有效解決的關鍵所在。Gabor小波可以提取多尺度、多方向的空間頻率特征，在人臉識別和表情識別的應用技術中，已經取得了一定的成果。Contourlet變換也是一種多尺度、多方向的變換，早在2002年，Martin Vetterli和M.N.Do就研究了該算法。該變換是基于小波多尺度分析的思想而開展的一種新的多尺度多方向分析方法研究。該變換不僅可以實現任意方向和尺度的分解，具有同小波變換一樣的優勢，而且由于其在圖像輪廓特征和紋理信息方面的獨到的提取和描述，使其在圖像處理領域獲得了較為廣泛的應用。然而，該變換在輪廓波采樣過程進行了下采樣轉換，因此失去了平移不變性，導致在圖像的恢復變換時，會造成偽吉布斯失真。為此，A.L.Cunha等人研究了非下采樣Contourlet變換 ，其中由于取消了變換過程中的下采樣，從而實現了偽Gibbs失真的有效抑制。
鑒于Contourlet變換存在的明顯缺陷，A.L.Cunha等人提出了NSCT變換。該變換是由非下采樣金字塔分解 （Nonsubsampled Pyramid，NSP）和非下采樣方向性濾波器組（Nonsubsampled Directional Filter Banks，NSDFB）組成的。非下采樣金字塔分解通過一個雙通道的濾波器組，可將信號分解成一個多通和多個帶通部分。
1 表情圖像預處理
由于拍攝環境的復雜性以及人體自身的運動，獲取的人臉表情信息或多或少會受到一些干擾。因此預先即需針對擬實現特征提取和特征選擇的圖片進行人臉特征區域的定位，人臉區域的幾何歸一化以及直方圖均衡化，則將具有重要的基礎性意義的[4]。JAFEE人臉表情庫后預處理前后的圖像如圖1和圖2所示，每行分別對應一個人的7種表情，分別為憤怒、厭惡、恐懼、高興、中性、悲傷和驚奇。
人臉特征區域的定位采用基準特征結合仿射變換[5]的方法，該方法可以估計左右瞳孔的位置，然后依據左右瞳孔的坐標來確定人臉的位置，從而實現對人臉特征區域的定位。幾何歸一化是指圖像經過尺度變換，得到統一大小的校準圖像，即具有相同的高和寬，這樣可以使圖像在后期特征提取和特征選擇階段上具有相同的特征維數，由此簡化了實際運算。直方圖均衡化可以消除部分光線和光照強度的影響，使圖像動態范圍增大，對比度更加擴展，有助于提高識別率。
2 Contourlet變換與非下采樣Contourlet變換
Contourlet變換是一種新的圖像二維表示算法，其基本思想是首先使用一個類似小波的多尺度分解描述出輪廓段，然后將圖像數據拉普拉斯金字塔變換（Laplacian Pyramid，LP）和二維方向濾波器組（Directional Filter Bank，DFB）進行多尺度、多方向的變換。LP變換的基礎是高斯金字塔，這是通過對原始圖像循環進行高斯低通濾波和下采樣來完成的，下采樣的過程相當于帶通濾波器，基于此就形成了從上到下有層次的金字塔樣式的圖像分解，LP變換的主要功能是將圖像分解為低頻系數子帶和高頻系數子帶。
從根本上說，圖像是由一個數值矩陣組成的。矩陣相鄰的像素點可以組成短小的線條，而多個線條的聚集就形成圖像的基本輪廓和紋理特性，因此引入DFB濾波器組的作用就是基于方向的角度對圖像進行從粗分辨率到細分辨率的特征提取。DFB濾波器組首先將LP變換得到的高頻分量抽樣進行多方向分解，然后通過將分布在同一方向的奇異點，合成一個系數，用類似于線段的基結構表征圖像的邊緣細節等幾何特征，實現對圖像信息的稀疏逼近。
對低頻子帶重復上述LP和DFB分解過程即可實現圖像的多尺度多方向分解。LP分解的每一層將圖像分解為高頻部分和低頻部分，而DFB的優點是對于高頻部分的表現更加優秀，這也就是兩者疊加之后的Contourlet變換更具有優異性的原因。但是由于該變換在LP變換的分解和重構濾波器的過程中，帶寬均大于 。因此，對濾波后的圖像進行縮減下采樣將會產生頻譜混疊。頻譜混疊相應削弱了Contourlet變換的方向選擇性，因為同一方向的信息會在幾個不同的方向子帶中再次出現。同時，Contourlet變換的下采樣也使該算法失去了平移不變性。
如上所述，針對Contourlet變換的缺陷分析，A.L.Cunha等人隨即提出了NSCT變換。NSCT變換由兩步組成，先將圖像經非下采樣金字塔分解濾波器分解為低頻圖像矩陣系數部分和高頻圖像矩陣系數部分，再由非下采樣方向性濾波器將高頻圖像矩陣系數部分分解為若干個子帶方向，如圖3所示。
在NSP分解過程中由于沒有下采樣環節，則使得NSCT變換具備了平移不變性，這就增強了圖像特征信息的方向選擇性，并在多尺度多方向上更好地實現了紋理特征的描述。
因為上述兩個步驟中已經全部去除了濾波器組的下采樣因子，圖像的錯位也就不再出現，這就是該變換滿足平移不變性的原因。運用該變換進行圖像的NSCT變換分解后，同Contourlet變換一樣，也會得到一個低頻子帶和若干個高頻子帶，而且隨著子帶層數的增加，細節就實現了逐級放大。
將JAFEE人臉表情庫中的一幅圖像進行NSCT變換三層分解之后，變換分解結果則如圖4所示，仔細觀察圖像的細微之處，由此可知，低頻子帶的圖像系數矩陣主要描述了人臉五官的基本輪廓，對原始圖像進行了低頻濾波之后，圖像變得模糊不清，而高頻子帶的圖像系數矩陣則主要描述了人臉五官的更細節的輪廓及紋理等信息。如第二層四個方向上的高頻子帶信息較為細膩地從不同方向描述了口、眼、鼻子的細節特征，驗證了隨著子帶層數的增加，細節紋理等被逐漸放大的效果事實；其他可如第三層高頻子帶信息則描述了更加細微的對光照等外部因素魯棒性強的細節特征。在采用支持向量機或者極限學習機進行分類的時候，考慮該變換的平移不變性，分解次數太多會導致維數災難。另外，也進一步考慮到各層子帶所描述和包含的信息量，研究擇取三層NSCT變換分解，且設定各層方向數目為2，4，2的時候，較為理想。
3 非下采樣Contourlet變換表情識別
在人臉表情識別系統中，人臉的每個部位對表情識別的貢獻率是不同的。研究表明，眼睛和嘴唇部位，對人臉表情的識別，起著決定性的作用。因此，本算法將人臉表情分割成含有豐富表情的眼睛部位和嘴唇部位兩個區域開展研究。本文在人臉表情識別技術中使用了NSCT算法，先用該算法進行人臉表情關鍵區域的特征選擇，其中，在人臉表情的非下采樣Contourlet特征融合之后，因為維數較大（如選取JAFFE人臉表情庫的210幅圖片，特征提取并融合后可達210*101025維），直接帶入分類器的話，會引發維數災難，而且會顯著降低分類器的分類效率。為此，在把特征提取之后的數據引入分類器之前，應先進行數據壓縮，以避免維數災難。本文引入PCA方法進行維數約簡。然后調用主成分分析算法進行特征提取，最后采用極限學習機（extreme learning machine，簡稱ELM）進行表情分類，并與BP神經網絡[6]分類算法進行識別正確率和識別效率的對比。
在此，給出非下采樣Contourlet變換表情識別的原理實現框架，具體如圖5所示。
4 極限學習機
2004年，新加坡南洋理工大學的黃廣斌副教授研究極限學習機（Exteme Learning Machine，ELM）算法。這是一種簡單小巧、高效可靠的單隱層前饋神經網絡學習算法。傳統的神經網絡學習算法，比如BP神經網絡，不僅容易產生局部最優解，而且在訓練時，還需要人為設置大量的訓練參數。極限學習機則具有學習速度快且泛化性能好的優點，這是因為該算法流程簡潔在只需要提前設置網絡的隱層節點數目，在算法運行過程中將不再需要調整網絡的輸入權值和隱元的偏置大小，而且算法最終只會產生唯一的最優解。因此，近年來，ELM已經成為神經網絡研究領域的一個研究熱點，并成功應用于手寫數字識別、人臉識別、時間序列預測等領域。以下介紹ELM算法的工作原理。
已知給定N個不同的樣本D={（xi ，yi）|xi Rn， yi Rn }， i=1，2，3，…，M。ELM算法是前饋神經網絡，主要用于訓練單隱含層，這點與BP神經網絡不同，BP神經網絡可以手動設置隱含層數目。那么，該神經網絡的數學模型可以表述為：
在式（3）中，行代表訓練樣本所有隱結點的輸出。ELM算法是一種速度極快的單隱層前饋神經網絡學習算法。其算法設計原理可以分析總結為如下幾步：
第一步，通過隨機初始化的方式，對偏置 和權值 進行隨機賦值。需要說明的是，這一步由于不需要調整網絡的輸入權值和隱元的偏置大小，就大大提高了ELM算法的運行速度。
第二步，計算隱含層輸出矩陣H。利用公式（4），求得訓練樣本所有隱節點的輸出，并將其計算成矩陣的形式。
第三步，近似求解權值 。利用公式 ，即可求得計算隱含層到輸出層的權值。
5實驗結果
運用非下采樣Contourle變換的方法，對人臉表情圖像進行特征提取，并用PCA算法進行特征選擇，最后以BP神經網絡和極限學習機進行分類。本章實驗中所使用的數據庫是日本的JAFFE表情庫，該圖像庫由有10個女性的7種表情（生氣、厭惡、恐懼、高興、悲傷、驚訝和中性），共計213幅圖像組成。本算法選取每人每種表情3幅，七種表情共210幅表情圖像來進行實驗。將每幅人臉表情圖像經過幾何歸一化、直方圖均衡化等預處理后，可以得到每幅像素點為130×130的統一大小的圖像。實驗采用三層NSCT變換分解，且各層方向數目為2，4，2，并將“PKVA”作為默認的濾波器。所以，每張人臉表情經變換后可以得到7個子帶特征信息。為了做到與人無關的表情識別，在表情的分類環節，引入BP神經網絡和ELM算法進行對照試驗，并且隨機選擇每類表情的25幅表情圖像作為訓練集，其余5幅表情圖像作為測試集。實驗中BP神經網絡和ELM算法的激勵函數都是S型函數。實驗重復10次以降低隨機性。
由表1可以看出，經過非下采樣Contourle變換提取后，使用極限學習機的表情分類平均準確率可達86.57%，比使用BP神經網絡的分類方法平均準確率高出7.43%。而在執行時間方面，結果對比如表2所示，BP神經算法執行十次的平均時間為6.82s而，ELM算法僅為0.92s，因此可知，極限學習機的速度達到了BP神經網絡的11.09倍，由這一結果已然明顯可見ELM算法的高速性和高效性。
本文還分析了各類表情識別的相關分布，如表3所示。可以看到，分類正確率最低的是恐懼和厭惡，各自只有76%和80%。在恐懼表情的分類中，表情大多被錯分為厭惡和憤怒，在厭惡表情的分類中，表情大多被錯分為憤怒和恐懼。因此證明了這四種表情在JAFFE庫上的表情單元的相近性，以致于無法使用NSCT變換提取出精確的表情特征。
在六種基本表情的實驗分類結果中，可以通過繪制直方圖來更加簡明地進行對比分析，如圖6所示。各類表情中分類正確率最高的憤怒、驚奇和高興，對應達到了96%，96%和90%。相對來說，各種表情的識別率都已達到了較高范疇，這也在整體上表明了本算法在實現表情正確分類上的有效性。
本文所提方法比已有的研究方法在識別效果上提高了8%～12%，具體如表4所示，顯示了文獻報道中不同的方法在JAFFE表情數據庫中的識別率，可知本文所研究的方法的測試結果優于文獻報道結果.進一步表明了本算法的有效性。
6 結束語
本文研究將NSCT變換用于人臉表情的特征提取，并且使用極限學習機進行分類，而后又將實驗結果與BP神經網絡算法進行對比。詳細描述了實驗結果中各類表情的識別率，通過各類表情識別率都比較高這一結果事實，表明了本方法的有效性和高效性。
NSCT算法中，并沒有對NSCT各層分解方向數目做具體的探討；在表情分類時，ELM算法和BP神經網絡各自的參數尋優也并未是實現深化，因此對NSCT算法各層分解方向數目做具體的探討，并進行深化的參數尋優，則有望進一步提高人臉表情研究的識別效果。
參考文獻：
[1] HUANG G， ZHOU H. Extreme learning machine for regression and multiclass cassification[J]. Systems，Man， and Cybernetics，PartB Cybernetics， IEEE Transactions on， 2012，42（2）：513-529.
[2] ZUO Kunlong ，LIU Wenyao. Facial expression recognion using active appearance models[J ] . Journal of Optoelectronics ?La ser （光電子?激光） ，2004 ，15 （7） ： 853-857.
[3] CHANG Ya， HU Changbo， TURK M.Probabilistic expression analysis on Manifolds[C]//Proc.of Conference on Computer Vision and Pattern Recognition， Washington D. C.， USA： [s. n.]， 2004.
[4]朱健翔， 蘇光大， 李迎春. 結合Gabor特征與Adaboost的人臉表情識別[J]. 光電子：激光， 2006， 17（8）：993-998.
神經網絡中偏置的作用范文第3篇
一、人工神經元模型、結構及工作方法
神經網絡的基本單元是神經元，神經元的三個基本要素為：
（1）一組連接（對應于生物神經元的突觸），連接強度由各連接上的權值表示，權值為正表示激活，為負表示抑制;
（2）一個求和單元，用于求取各輸入信號的加權和（線性組合）;
（3）一個非線性激活函數，起非線性映射作用并將神經元輸出幅度限制在一定范圍內（一般限制在（0，1）或（-1，+1）之間）。此外還有一個閾值（或偏置）。
以上作用可分別以數學式表達出來：
（1）
式中為輸入信號，為神經元k之權值，uk為線性組合結果，為閾值，為激活函數，yk為神經元k的輸出。
除單元特性外，網絡的拓撲結構也是神經網絡的一個重要特性;從連接方式看，神經網絡主要有兩種：
（1）前饋型網絡
前饋型網絡有輸入層、輸出層和若干隱含層構成，各神經元接受前一層的輸入，并輸入給下一層，信息的傳播是逐層進行的，沒有反饋，且經過每一次都要有相應的特征函數進行變換[1]。
（2）反饋型網絡
反饋型網絡的所有節點都是計算單元，同時可接受輸入，并向外界輸出，可畫成一個無向圖3所示。反饋型網絡的每個連接弧都是雙向的。若總單元數為n，則每一個節點有n-1個輸入和一個輸出。
從作用效果來看，前饋網絡主要是函數映射，可用于模式識別和函數逼近。反饋網絡按對能量函數的極小點的利用來分類有兩種：第一類是能量函數的所有極小點都起作用，這一類主要用作各種聯想存儲器，第二類只利用全局最小點，它主要用于求解制約優化問題。
二、網絡的選取
由于BP網絡模型和RBF網絡模型這兩種網絡存在收斂速度慢和局部極小的缺點，在解決樣本量少且噪聲較多的問題時，效果并不理想，因此不適合對車輛運輸安全風險進行評估。
廣義回歸神經網絡（GRNN）在逼近能力、分類能力和學習速率上較BP網絡和RBF網絡有著較強的優勢，網絡最后收斂于樣本量急劇較多的優化回歸面，并且在樣本數據缺乏時，評估效果也比較好，此外，網絡還可以處理不穩定的數據。因此，本文利用GRNN建立風險評估模型，對車輛運輸安全風險進行評估。
GRNN的結構及其原理參見文獻[2]，網絡的第一層為徑向基隱含層，神經元個數等于訓練樣本數，該層的權值函數為歐氏距離函數（用表示），其作用為計算網絡輸入與第一層的權值IW1，1之間的距離，b1為隱含層的閾值。符號“?”表示的輸出與閾值b1之間的關系。隱含層的傳遞函數為徑向基函數，通常采用高斯函數作為網絡的傳遞函數：
（2）
其中，決定了第i個隱含層位置中基函數的形狀，越大，基函數越平滑，所以又稱為光滑因子。
網絡的第二層為線性輸出層，其權函數為規范化點積權函數（用nprod表示），計算網絡的向量n2，它的每個元素是由向量aI和權值矩陣每行元素的點積再除以向量aI的各元素之和得到的，并將結果n2提供給線性傳遞函數a2=purelin（n2），計算網絡輸出。
GRNN連接權值的學習修正仍然使用BP算法。由于網絡隱含層節點中的作用函數（基函數）采用高斯函數，高斯函數作為一種局部分布對中心徑向對稱衰減的非負非線性函數，對輸入型號將在局部產生相應，即當輸入信號靠近基函數的中央范圍時，隱含層結點將產生較大的輸出。由此看出這種網絡具有局部逼近能力，這也是該網絡學習速度更快的原因。此外，GRNN中認為調節的參數少，只有一個閾值，網絡的學習全部依賴數據樣本，這個特點決定了網絡得以最大限度的避免人為主觀假定對評估結果的影響。
三、基于GRNN的車輛安全風險評估
根據對車輛運行系統安全影響因素的分析，網絡輸入分別取指標體系內安全意識、知識技能等二十個二級指標，以車輛發生重大安全事故風險度為輸出因子，即網絡的輸出。利用某車輛運輸公司1998～2006年的歷史統計數據作為網絡的訓練樣本，2007～2008年的歷史統計數據作為網絡的外推測試樣本。輸入樣本及目標樣本如表1所示。
圖1 網絡的逼近誤差
圖2 網絡的評估誤差
首先對表1中的數據進行歸一化處理，利用處理后的數據建立GRNN神經網絡并進行訓練與測試。由于光滑因子對網絡的性能影響比較大，因此，需要不斷嘗試才可以獲得最佳值。本文采用MATLAB神經網絡工具箱對其進行分析求解，將光滑因子分別設為0.1、0.2、…、0.5，經過對輸出結果的檢查發現，光滑因子越小，網絡對樣本的逼近能力就越強;光滑因子越大，網絡對樣本數據的逼近過程就越平滑。網絡對訓練樣本的逼近誤差如圖1所示（單位×10-4），網絡的風險評估誤差如圖2所示（單位×10-4）。由圖可見，當光滑因子為0.1時，無論逼近性能還是評估性能，誤差都比較小，隨著光滑因子的增加，誤差也在不斷增大。
從誤差的角度考慮，本文光滑因子取0.1，此時網絡的測試輸出（07、08年風險度）為：
y=0.0069 0.0072
由此可見，該運輸公司2007年、2008年的車輛重大安全事故風險評估的誤差分別為2.5%、2.7%，這可能是由于訓練樣本容量比較小導致的，所以評估精度不是很高。考慮到各種隨機因素，本文的風險評估結果還是可以接受的。
參考文獻
神經網絡中偏置的作用范文第4篇
關鍵詞：人工神經網絡；土壤含水量；預測
中圖分類號：S1527；TP183 文獻標識號：A 文章編號：1001-4942（2012）12-0011-05
Study on Forecasting Model of Soil Water Content based
on BP Artificial Neural Network
Guo QingChun1， Wang SuJuan2， He ZhenFang3
（1.Shanxi Radio & TV University， Xi’an 710068， China；
2.Shandong Institute of Agricultural Sustainable Development， Jinan 250100， China；
3.Cold and Arid Regions Environmental and Engineering Research Institute，
Chinese Academy of Sciences， Lanzhou 730000， China）
Abstract Soil moisture is one of the factors restricting plant growth， so it has great significance to scientifically forecast soil moisture for making full use of soil water. In this paper， the soil moisture predicting model was put forward based on the BP neural network. The BP neural network using adaptive learning rate momentum algorithm has fast convergence rate and high error precision. According to the soil moisture forecast experiment， the BP neural network predicting model increased the convergence rate， reduced the possibility of getting into local minimum， and improved the prediction accuracy.
Key words Artificial neural network； Soil moisture； Prediction
土壤水分在地表與大氣間的物質和能量交換中起著極為重要的作用，是陸地地表參數化的一個關鍵變量，同時也是農作物生長發育的基本條件和產量預報模型中的重要參量。土壤水分也是土壤的重要物理參數，它對植物存活等具有極其重要的意義，土壤水分過少時，土壤溶液濃度過高，會造成根系吸水困難，致使須根干枯產生“燒須”現象；水分過多，影響根系呼吸及生長，引起乙醇等有害物質的積累，同時厭氧菌活動旺盛，容易造成爛根和疾病發生[1]；朱同彬等（2008）[2]探討了不同水分條件對土壤酶活性的影響和土壤酶活性的短期變化規律；王月福等（1998）[3]研究了在不同土壤水分脅迫條件下，水澆地小麥品種魯麥7號和旱地品系萊農8834各生育階段的水分利用效率。因此，土壤水分及其變化的監測，是農業、水分、生態、環境和水土保持等研究工作的基礎，特別是在農業生產中，可以根據土壤水分的監測、預測結果及作物需水規律進行有計劃的灌溉。
土壤水分動態模擬和預測一直都是灌排工程的重點研究對象，許多研究人員應用神經網絡等方法對土壤含水量進行了研究[4～14]。如鹿潔忠等（1987）[4]對農田土壤深層水分預測進行過研究，提出了根據表層土壤水分確定深層土壤水分的模式；姚建文等（1989）[5]采用多元回歸分析方法，將數值模擬方法得到的土壤水分運動動態過程的計算值和實測值進行了比較，兩者吻合較好。馬孝義等（2001）[6]探討了土壤含水量的Kriging 和Cokriging 估值方法，研究表明，同深度土壤含水量與不同深度的土壤含水量之間均具有顯著的空間相關性；張麗麗等（2007）[7]根據每天紅壤不同層次含水量，利用時間序列分析方法，依據表層10 cm含水量序列預測20、30、40 cm 和60 cm土層含水量，結果表明各不同土層含水量之間呈極顯著性相關；袁念念等（2011）[8]利用表層土壤含水量與耕層以下土壤含水量之間的關系來預測耕層以下土壤體積含水量，對2008年土壤含水量數據進行線性回歸分析，建立含水量預測模型，用2009年同期數據進行檢驗，效果較好；這些研究得出一個結論：土壤深層水分含量可以利用淺層含水量進行預測。人工神經網絡作為一門新興學科，具有處理復雜非線性問題的優點，已經在多個領域得到廣泛應用，因此采用該工具對土壤含水量進行了預測研究，為進行科學灌溉和水土保持提供參考。
1 實驗數據
商丘市位于東經114°49′～116°39′、北緯33°43′～34°52′之間；全市東西橫距168 km，南北縱距128 km；全市總面積10 704 km2；商丘屬暖溫帶半溫潤大陸性季風氣候，氣候溫和、四季分明，主要特點是春季溫暖大風多，夏季炎熱雨集中，秋季涼爽日照長，冬季寒冷少雨雪；年平均日照時數為1 944 h，無霜期平均為211天，年平均氣溫142℃，一般最高溫度39℃，最低溫度零下9℃，年平均降水量623 mm。
商丘1995～1997年土壤含水量觀測數據來自國家農業科學數據共享中心。采樣點位于東經115°40′，北緯34°27′，海拔為501 m，時間為1995年1月8日～1997年12月28日，逢每月8日、18日、28日取土測定5～30 cm 的土壤含水量，每5 cm一個層次。用土壤含水量百分比（%） 表示。實際數據如圖1所示。
為了充分發揮BP神經網絡的預測功能，提高其輸出精度，有必要對輸入數據進行預處理，以提高神經網絡的泛化能力（即對未來學習數據的正確應答能力），一般可將各輸入量歸一化到[0，1]區間，但Sigmoid函數在[0，01]和[09，1]區間內變化極為緩慢，不利于特征提取，為此將各輸入量歸一化至[01，09]之間。輸入數據通過標準化{Y=08×〔X-min（X） 〕/ {〔max（X）-min（X）〕+01}處理，構成一組新序列。
2 實驗方法
人工神經網絡（artificial neural network，簡稱ANN）是由大量簡單的處理單元（或稱神經元）廣泛地相互連接而形成的復雜網絡系統，是一種非線性的動力學系統。它具有大規模的并行處理和分布式的信息存儲能力，良好的自適應性、自組織性及很強的學習、聯想、容錯及抗干擾能力，迄今為止，人們提出許多神經網絡模型。較典型的有BP網絡、Hopfield網絡及CPN網絡等，其中應用較多的是具有非線性傳遞函數神經元構成的前饋網絡中采用誤差反向傳播算法作為其學習算法的前饋網絡（Back Error Propagation，簡稱BP網絡）。誤差反向傳播網絡（BP模型）是一種多層結構的映射網絡，它是目前應用最為廣泛的一種人工神經網絡，在各門學科領域中都具有極其重要的實用價值，其學習能力和容錯能力對于具有不確定性模式識別具有獨到之處。BP人工神經網絡結構如圖2。
BP算法的中心思想是調整權值使網絡總誤差最小。BP模型學習過程的算法由正向傳播和反向傳播兩部分組成。通過反復的正向傳播和反向傳播，不斷地修改各層神經元的權值和偏置值（即閾值）來減少誤差函數，直到與某一相當小的正值或進行迭代運算時誤差函數不再減少。學習過程的實質是求誤差函數的最小值，它通過反復訓練已知樣本集，在沒有達到設定的誤差最小值之前，每訓練一次，權值將沿誤差函數的最速下降方向改變，最終收斂到最小點，然后將多個樣本訓練所得的各層間連接權值及各層神經元的偏置值（即閾值）信息保存起來，以便對未知樣本進行處理。
BP網絡訓練算法理論具有依據可靠、推導過程嚴謹、精度較高、通用性較好等優點，但傳統BP網絡訓練算法存在以下缺點：收斂速度緩慢；容易陷入局部極小值。在實際應用中，BP網絡訓練算法很難勝任；因此采用收斂速度較快和誤差精度較高的增加動量項與自適應調整學習速率相結合的算法改進BP神經網絡的性能。傳統BP網絡訓練算法實質上是一種簡單的最速下降靜態尋優方法，在修正權值W（n）時，只按照第n步的負梯度方向進行修正，而沒有考慮到以前時刻的梯度方向，從而常常使學習過程發生振蕩，收斂緩慢。為加速算法收斂，可考慮引入動量項m。增加動量項的權值，調整算法的具體做法是：將上一次權值調整量的一部分迭加到按本次誤差計算所得的權值調整量上，作為本次的實際權值調整量，這種方法所加的動量因子實際上相當于阻尼項，它減小了學習過程中的振蕩趨勢，從而改善了收斂性。動量法降低了網絡對于誤差曲面局部細節的敏感性，有效地抑制了網絡陷入局部極小。傳統BP網絡訓練算法收斂速度緩慢的另一個重要原因是學習率選擇不當，學習率選得太小，收斂太慢；學習率選得太大，則有可能修正過頭，導致振蕩甚至發散。可采用自適應方法調整學習率。在學習收斂的情況下（誤差函數E減小），學習率lr乘以大于1的常數α，增大lr，以縮短學習時間；當lr偏大致使不能收斂時（誤差函數E增大），學習率lr乘以小于1的常數γ，及時減小lr，直到收斂為止。
人工神經網絡的擬合精度與網絡層數和各層神經元個數關系密切。BP人工神經網絡通常采用三層結構，擬合精度的提高可以用增加各層的神經元數。已經證明3層BP網絡可以以任意精度逼近一個連續函數。因此，本研究采取3層BP網絡。
輸入層和輸出層分別與需要解決問題的輸入變量和輸出變量相聯，因此輸入層和輸出層的神經元數分別由輸入變量和輸出變量個數確定。由于本模型選用5～10、10～15、15～20、20～25 cm的土壤含水量作為輸入，25～30 cm的土壤含水量為輸出，輸入層包含4個神經元，輸出層包含1個神經元。隱層的隱單元定為8～12，最后根據訓練結果進行調整。其中隱含層神經元數根據經驗公式來確定：P=L+M+N，其中，M、P、N分別為輸入層、隱含層和輸出層神經元的數目，而L為1～10之間的一個整數。從網絡的學習時間與次數以及達到全局收斂的綜合效果來看，我們選擇的隱含層神經元的數目為9。即網絡結構為4-9-1三層結構。在本模型中，輸入層、隱含層采用tansig作為傳遞函數，輸出層采用purelin傳遞函數。動量常數定為09，學習率為005。均方誤差為0001。經過542次訓練滿足訓練要求。
3 實驗結果
31 不同深度土壤含水量序列變化及其相關性
土壤含水量空間格局是土壤各層含水量隨深度的增加而變化，各深層含水量時間上的連續變化是隨著表層含水量的變化而變化，且隨著深度的增加，土壤含水量波動范圍先減小后增大。5～10 cm 土壤含水量變化于24%～241%之間，波動較大，10～15 cm 土壤含水量變化于53%～217%之間，波動幅度次之，15～20 cm土層含水量變化于 55%～201%之間，波動幅度最小，20～25 cm 土壤含水量變化于52%～217%之間， 波動幅度增大，25～30 cm 土壤含水量變化于55%～26%之間。根據1995～1997年不同深度土壤含水量序列空間格局和時間上連續變化的特點，對不同深度土壤含水量序列進行相關性分析，通過在顯著性水平為005的F檢驗，結果表明，25～30 cm 土層與淺層含水量之間呈顯著性相關，其中與20～25 cm（0938） 和15～20 cm（0818） 土層含水量之間的相關系數，大于與10～15 cm（0703） 和5～10 cm（0462） 土層含水量的相關系數。可以說相鄰土層含水量時間序列之間具有高度的空間相關性，土層相隔越遠，相關系數越小，相關性越小。表明土壤含水量在垂直空間分布上具有顯著的空間相關性。這一結果進一步說明，可以利用土壤表層含水量預測一定深度的土壤深層含水量。
32 神經網絡擬合及其預測結果
在一維水平入滲條件下，影響土壤含水量的因素主要有入滲距離、入滲時間、土壤容重、土壤質地、土壤初始含水量，在土壤容重、土壤質地和初始含水量一定的情況下，可以把入滲距離和入滲時間看作預測土壤含水量的主要依據，通過入滲距離和入滲時間及相應的土壤含水量訓練網絡，建立土壤含水量的神經網模型，就可以預測土壤含水量的時空變化過程。由于表層土壤水分下滲到深層土壤需要一定時間，因此采用前一時段實測數據來預測后一時段土壤含水量的方法，即采用第8天5～10 cm、10～15 cm、15～20 cm、20～25 cm的土壤含水量來預測第18天25～30 cm的土壤含水量，依次類推。
采用1995～1996年的不同深度土壤含水量作為訓練樣本，訓練神經網絡模型，訓練結果如圖3，利用1997年不同深度土壤含水量，作為檢驗樣本，檢驗神經網絡模型的預測精度見圖4。訓練樣本擬合值最大相對誤差534%，最小相對誤差-377%，平均相對誤差0372%，通過顯著性水平為005的F檢驗，相關系數0999；檢驗樣本預測值最大相對誤差 984%，最小相對誤差-357%，平均相對誤差162%，通過顯著性水平為005的F檢驗，相關系數0999。可以看出，基于BP人工神經網絡的土壤含水量模型預測精度較高，達98% 以上，平均相對誤差不超過2%，最大相對誤差不超過10%；土壤含水量預測值與真實值吻合程度較高，并且預測值的變化趨勢和真實值變化趨勢也一致，可以反映實際土壤含水量的變化趨勢，能夠滿足實際預測需要。
預測值對比圖
4 結論
為了準確預測土壤含水量，對河南省商丘市1995～1997年的土壤含水量進行分析，建立了基于BP人工神經網絡的土壤含水量預測模型。通過模型建立和研究得出以下結論。
41 利用人工神經網絡模型預測深層土壤含水量時，模型預測的平均相對誤差不超過2%，最大相對誤差不超過10%。利用表層土壤含水量與深層土壤含水量之間的關系來預測深層土壤含水量，總體上精度較高，預測值與實測值相對誤差較小。
42 人工神經網絡預測模型反映了入滲條件下，土壤含水量與入滲時間和距離的動態關系，初步研究表明，用人工神經網絡預測土壤含水量的時空變化是可行的，而且不需要建立具體的數學模型。
43 對BP算法作了一些改進，通過對不同深度土壤含水量的學習，利用神經網絡的記憶、聯想以及推理功能對深層含水量的預測估計。預測的結果表明，改進的學習算法大大加快了網絡的學習速度，同時對于已學習過的樣本知識，網絡的輸出與期望的結果充分相符，表明該網絡能夠正確地實現訓練樣本的擬合；當輸入的數據在一定范圍內偏離樣本知識時，網絡的輸出具有接近樣本輸出的傾向，因而表明了神經網絡在預測土壤含水量方面的實際可用性。參 考 文 獻：
[1] 鄧天宏，付祥軍，申雙和，等0～50cm與0～100cm土層土壤濕度的轉換關系研究[J]干旱地區農業研究，2005，23（4）：64-68
[2] 朱同彬，諸葛玉平，劉少軍，等不同水肥條件對土壤酶活性的影響[J]山東農業科學，2008，3：74-78
[3] 王月福，于振文，潘慶民 土壤水分脅迫對耐旱性不同的小麥品種水分利用效率的影響[J]山東農業科學，1998，3：3-5
[4] 鹿潔忠根據表層數據估算深層土壤水分[J]中國農業氣象，1987，8（2）：60-62
[5] 姚建文作物生長條件下土壤含水量預測的數學模型[J]水利學報，1989，20（9）：32-38
[6] 馬孝義，李新平，趙延鳳土壤含水量的Kriging 和Cokriging 估值研究[J]水土保持通報，2001，21（3）：59-62
[7] 張麗麗，陳家宙，呂國安，等利用土壤表層含水量序列預測深層含水量的研究[J]水土保持學報，2007，21（3）：162-169
[8] 袁念念，彭 虹，黃介生，等棉田控制排水土壤含水量預測[J]武漢大學學報（工學版），2011，44（4）：445-448
[9] 崔素芳，張振華，姚付啟，等基于偏相關分析的煙臺市土壤溫度影響因素及預測模型研究[J]山東農業科學，2010，1：18-21
[10] 金 龍，羅 瑩，繆啟龍，等農田土壤濕度的人工神經網絡預報模型研究[J]土壤學報，1998，35（1）：25-32
[11] 陳昌華，譚 俊，尹健康，等基于PCA-RBF神經網絡的煙田土壤水分預測[J]農業工程學報，2010，26（8）：85-90
[12] 余世鵬，楊勁松，劉廣明，等基于BP人工神經網絡的長江河口地區土壤鹽分動態模擬及預測[J]土壤，2008，40（6）：976-979
神經網絡中偏置的作用范文第5篇
關鍵詞：堆疊去噪自編碼器；垃圾郵件；分類；支持向量機；貝葉斯方法
中圖分類號： TP393.098
文獻標志碼：A
0引言
電子郵件因為易于使用、速度快、溝通方便等原因，已經成為人們重要的聯系方式，但與此同時，垃圾郵件的數量卻急劇地增加：卡巴斯基實驗室的研究發現，2014年第1季度的垃圾郵件數目占總郵件的66.34%；McAfee實驗室2015年2月的威脅報告表明，2014年，垃圾郵件數量大概為31.2萬億，占該年郵件總量的69.02%。其中大部分垃圾郵件帶有商業性質，但有些郵件可能會包含病毒和其他具有危害性質的內容，給用戶帶來精力的損耗和財力上的損失，文獻[1]表明，由于垃圾郵件的原因，美國接近360萬用戶的損失高達32億美元。大量的垃圾郵件同時造成帶寬浪費和郵件系統超載。
垃圾郵件過濾方法用來解決上述問題。垃圾郵件過濾的目的是為了隔離垃圾郵件和合法郵件。一般的過濾方式包括：郵件客戶端擴展和郵件服務終端過濾過程，簡單郵件傳送協議（Simple Mail Transfer Protocol，SMTP）和基于機器學習算法的方法是最常用的垃圾郵件過濾方法。一般來說，基于SMTP的過濾方法通常是指SMTP流量的檢測、電子郵件交換路由驗證和經過身份驗證的SMTP會話。基于啟發式規則的方法、黑名單/白名單的方法、協同垃圾郵件過濾也可以用來過濾垃圾郵件。機器學習方法包括郵件的分析和分類算法的部署。
文獻[2]表明在諸多過濾方法中，機器學習算法獲得更多的應用和更好的性能。貝葉斯過濾器因為計算效率高、過濾性能良好得到了廣泛的應用，文獻[3]比較了7個版本的貝葉斯過濾器，得出布爾樸素貝葉斯（Boolean Naive Bayes）、多項式布爾樸素貝葉斯（Multinomial Boolean Naive Bayes）、基本樸素貝葉斯（Basic Naive Bayes）具有較好的性能；文獻[4]提出了一些方法用來改進樸素貝葉斯過濾器，提高了過濾器的準確率； 文獻[5]將不同種類核函數和數據表示的支持向量機應用到垃圾郵件過濾中；文獻[6]提出了混合Taguchi方法、Staelin方法來優化支持向量機參數的選擇過程，并且提高了準確率。其他的諸如隨機隨林、人工神經網絡、提升方法（boosting）和裝袋（bagging）等方法也被應用到了垃圾郵件過濾。近年來隨著社交網絡、云計算、網格計算、語義網絡等技術的發展，出現了許多基于上述技術的垃圾郵件分類器；隨著垃圾郵件中圖像的增加，出現了基于圖像的垃圾郵件分類器，文獻[7]對新技術和圖像分類應用進行了介紹。文獻[8]比較了不同的特征選擇和降維技術對垃圾郵件過濾的影響。文獻[9]研究表明：相對支持向量機（Support Vector Machine， SVM）、提升方法（boosting）、最大熵方法等“淺層學習”方法而言，深度學習所學得的模型中，非線性操作的層級數更多。 淺層學習依靠人工經驗抽取樣本特征，網絡模型學習后獲得的是沒有層次結構的單層特征；而深度學習通過對原始信號進行逐層特征變換，將樣本在原空間的特征表示變換到新的特征空間，自動地學習得到層次化的特征表示。
去噪自編碼器（Denoising Autoencoder， DA）是深度學習中的變形結構，和受限玻爾茲曼機、自編碼器[9]（Autoencoder）一樣作為深度學習架構中的訓練模塊，具有良好的學習數據集特征的能力。通過多個DA的堆疊可形成堆疊去噪自編碼器（Stacked Denoising Autoencoder，SDA） [10]。SDA訓練過程中的無監督學習過程和對數據的破壞過程，能進一步學習到數據集中的特征和數據結構，同時學習得到的隱含表示更適用于有監督分類。文獻[11]的研究表明，在大部分情況下，SDA要優于深度置信網絡[9]（Deep Belief Network， DBN），并且因為SDA不需要吉布斯采樣，所以訓練更加容易。
本文將一個5層神經網絡結構的堆疊去噪自編碼器應用到垃圾郵件過濾，在6個公開數據集上進行測試，使用準確率、召回率和馬修斯相關系數作為測量標準，與在垃圾郵件過濾中應用最為廣泛的支持向量機算法、3種貝葉斯算法和DBN進行比較。結果表明，相對于其他幾種算法：堆疊去噪自編碼具有最好的平均性能和較好的預測能力。
1堆疊去噪自編碼器
1.1去噪自編碼器
自編碼器 （Autoencoder） [9]的學習只是簡單地保留原始輸入數據的信息，并不能確保獲得一種有用的特征表示。因為自編碼器可能僅僅簡單地拷貝原始輸入，或者簡單地選取能夠稍微改變重構誤差，卻不包含特別有用信息的特征。為了避免上述情況，并且能夠學習更好的特征表示，需要給數據表示一定的約束。去噪自編碼器可以通過重構含有噪聲的輸入數據來解決該問題。
去噪自編碼器所要實現的功能就是學習疊加噪聲的原始數據，而它學習到的特征與從未疊加噪聲的數據學到的特征幾乎一樣， 但去噪自編碼器從疊加噪聲的輸入中學習得到的特征更具魯棒性，并且可以避免自編碼器遇到的上述問題，簡單地學習相同的特征值。
去噪自編碼器通過一個隨機的映射變換x～qD（x′|x），對原始輸入數據x進行“破壞”，從而得到一個有部分損壞的數據x′， 其中D表示數據集。
去噪自編碼器由編碼器（encoder）、解碼器（decoder）和隱含層組成。編碼器是輸入x∈[0，1]d 的”破壞”版本x′到隱含表示 y∈[0，1]d′的映射，表示為：
y=fθ（x）=s（Wx′+b）（1
這個映射的參數集合是θ={W，b}，s是一個非線性的函數，例如sigmoid，W是一個的d×d′權值矩陣， b是一個偏置向量。
解碼器函數gθ′（y）將隱含表示映射回重構表示z∈[0，1]d，表示為：
z=gθ′（y）=s（W′y+b′）（2
這個映射的參數集合是θ′={W′，b′}，逆映射的權值矩陣W′可被約束為權值矩陣W的轉置：即W′=WT，被稱為去噪自編碼器捆綁權重。b′是一個偏置向量。
這樣每個訓練樣例x（i）被映射成一個y（i）和一個重構表示z（i），然后通過不斷地調準優化這個模型的所有參數，從而獲得最小平均重構誤差：
L（x，z）=x-z2（3）
使z盡可能地接近初始輸入x，并且z是x′的函數。 定義聯合分布函數為：
q0（X，X′，Y）=q0（X）qD（X′X）δfθ（X′）（Y）（4）
其中：X，X′，Y是隨機變量，Y是X′的映射函數， q0（X，X′，Y）以θ為參數。這時就可以通過梯度下降算法最小化目標函數：
arg minθ，θ′ Eq0（X，X′）[L（X，gθ′（fθ（X′）））]（5
去噪自編碼器的結構圖如圖1所示。
圖片
圖1去噪自編碼器結構
1.2堆疊去噪自編碼器
深度神經網絡可以分為3類：1）生成性深度結構，描述數據和相應類別的聯合概率分布，如DBN； 2）區分性深度結構，提供對模式分類的區分性能力，通常描述數據的后驗分布，如卷積網絡和堆疊去噪自編碼器； 3）混合型結構，目標是區分性的，但通常利用生成型結構的輸出會更易優化。
通常情況下，由于網絡權值的隨機初始化，基于梯度的優化容易陷入局部最小值。文獻[12]提出了一種新的貪婪逐層非監督算法來初始化深度學習網絡，文獻[10]使用此算法來初始化基于降噪自編碼器的堆疊去噪自編碼器。訓練整個網絡的參數后，在使用基于梯度的算法如梯度下降法來微調網絡參數。SDA初始化方法的有效性[13]在多個數據集中得到驗證。正如受限玻爾茲曼機的堆疊形成深度置信網絡，去噪自編碼器的堆疊可形成堆疊去噪自編碼器。用疊加噪聲輸入訓練每層網絡的去噪能力，這樣訓練出來的每層編碼器可作為一個具有容錯性能的特征提取器，同時學習得到的特征表示具有更好的健壯性。
SDA 的網絡結構如圖2 所示。通過圖1中的步驟首先破壞原始數據，然后最小化重構誤差，訓練第1層去噪自編碼器，從而學習得到了編碼器函數fθ。接下來使用此函數學習原始的數據（如圖2（a）所示），得到的結果作為第2層去噪自編碼器的輸入，用來訓練第2層的去噪自編碼器（如圖2（b）所示），從而學習到第2層的編碼器函數f（2）θ。然后重復這一過程（如圖2（c）所示），直至所有的去噪編碼器層都已經訓練完成為止。
圖片
圖2堆疊去噪自編碼器的結構
為了讓堆疊去噪編碼器具有分類識別的功能，需要在堆疊自編碼器神經網絡的最后一個隱藏層之后加個sigmoid分類器，將整個神經網絡訓練成能完成分層特征提取和數據分類任務的多重感知器。然后利用有監督學習規則，在監督學習損失函數上使用梯度下降算法，實施微調，最小化預測目標的誤差，不斷調整整個網絡的參數。微調結構如圖3所示。
圖片
圖3分類深度網絡的微調結構
2堆疊去噪自編碼器實現
2.1堆疊去噪自編碼器的參數更新
去噪自編碼器的最終目的是找出模型最合適的參數，可以按照如下步驟更新參數。
初始化模型參數：輸入數據、可視節點個數、隱層節點個數、輸入數據破壞比例和更新的學習率（learning rate），權值矩陣和偏置向量；根據數據破壞比例，隨機選取原始數據，將其值設置為0，達到破壞數據的目的；使用sigmoid函數計算輸入數據的隱藏表示和重構表示；計算輸入數據的重構誤差；對重構誤差使用梯度下降算法，更新參數。具體過程如算法1。
算法1Denoising AutoEncoder。
程序前
輸入： X， n_vis， n_hid， c_r， l_r；
輸出： W， b， b′。
X′=get_corrupted_input（X， c_r）
1
for iter from 1 to iteration
2）
Y=get_hidden_units（X′， W， b）
3）
Z=get_reconstruction_units（Y， W， b′）
4）
cost=get_cost（X， Z）
5）
for param in parameters（W， b， b′）
6）
gparam=get_gradient（cost， param）
7）
param=param-l_r * gparam
8）
end for
9）
end for
程序后
2.2堆疊去噪自編碼器的預訓練
在堆疊去噪自編碼器的預訓練步驟中，首先應該確定隱藏層的數目，一般情況下，使用3層的去噪自編碼器構成深度學習網絡來訓練堆疊去噪自編碼器；每一層都訓練成去噪自編碼器，并且通過最小化重構誤差，更新參數10次以上。第i-1層的輸出即為第i層的輸入，這樣通過自底向上的方式訓練堆疊去噪自編碼器。每一層的數據破壞比例和隱藏節點個數可以互不相同；最后獲取整個網絡的參數。訓練步驟如算法2。
算法2Pretrain Step。
程序前
輸入：X，n_layers， n_vis， n_hid[n_layers]，c_r[n_layers]， l_r[n_layers]；
輸出：dA_layers[n_layers]， Y_out=X。
1
for i from 1 to n_layers
2）
X′=get_corrupted_input（Y_out，c_r[i]）
3）
for iter from 1 to iteration
4）
Y=get_hidden_units（X′，W[i]，b[i]）
5）
Z=get_reconstruction_units（Y，W[i]， b′[i]）
6）
cost=get_cost（Y_out， Z）
7）
for param in parameters（W[i]， b[i]， b′[i]）
8）
gparam=get_gradient（cost，param）
9）
param=param-l_r[i] * gparam
10）
end for
11）
end for
12）
Y_out=Y
13）
end for
程序后
2.3堆疊去噪自編碼器的微調
在堆疊去噪自編碼器的微調過程中，使用有監督學習方法優化從預訓練步驟中獲得的模型參數。由于最后一個隱含層只能輸出原始數據的重構，因而不具有分類識別功能。為了讓堆疊去噪編碼器具有分類識別的功能，需要在完成微調的神經網絡的輸出層之后加入sigmoid分類器，將整個神經網絡訓練成能完成分層特征提取和數據分類任務的多重感知器。多重感知器的sigmoid層的參數和預訓練步驟中去噪自編碼器的sigmoid函數具有相同的參數，因此可以通過最小化多重感知器的預測錯誤來不斷微調模型的參數。微調步驟作用在整個堆疊去噪自編碼器過程。微調的過程如算法3。
算法3Fine Tuning Step。
程序前
input： train_batches， test_batches， iteration， l_r
1
while iter < iteration do
2）
for batch in train_batches
3）
cost=get_finetuning_cost（X）
4）
for i from 1 to n_layers
5）
for param in parameters（W[i]， b[i]， b′[i]）
6）
gparam=get_gradient（cost， param）
7）
param=param-l_r[i]*gparam
8）
end for
9）
end for
10）
valid_error=get_valid_error（batch）
11）
if valid_error
12）
update best_valid_error
13）
test_error=get_test_error（test_batches）
14）
if test_error
15）
update best_test_error
16）
end if
17）
end if
18）
end for
19）
end while
程序后
3實驗與分析
3.1數據集
3.1.1數據集描述
實驗中使用了6個著名的、數據量比較大的、公開的數據集Enron[14]。其中Enron1、Enron2和Enron3的合法郵件占多數，而Enron4、Enron5和Enron6的垃圾郵件占多數。Enron數據集中正常郵件是從Enron公司的前員工的郵箱中收集的，垃圾郵件則有不同的來源。6個數據集的具體組成如表1。
3.1.2數據集預處理
1）分別從垃圾郵件文件夾和合法郵件文件夾，按照30%的比例隨機選取文件，然后合起來作為測試集，剩余的70%合起來作為訓練集。
2）分別對訓練集和測試集進行分詞處理，字母小寫化和去除停用詞。
3）將訓練集和測試集表示為詞頻逆文檔（Term FrequencyInverse Document Frequency， TFIDF）的向量形式。
4）使用特征值提取技術對特征值進行提取，選取3000個特征值作為實驗特征。
3.2實驗性能測量標準
比較出名的性能指標有垃圾郵件準確率（Spamming precision， Spr），垃圾郵件召回率（Spamming recall， Sre），合法郵件準確率（Legitimate email precision， Lpr），合法郵件召回率（Legitimate email recall， Lre），準確率（Accuracy， Acc）。在分類時，垃圾郵件的類標設置為1（正例），合法郵件的類標設置為0（負例）。其中分類的混淆矩陣（confusion matrix）如表2所示，真正例（True Positive， TP），假負例（False Negtive， FN），假正例（False Positive， FP），真負例（True Negtive， TN）。
表格（有表名）
文獻[15]的研究表明，在機器學習的分類問題中，馬修斯相關系數（Matthews Correlation Coefficient，MCC）是最好的性能測試指標之一。相比其他的指標，MCC對于準確率提供了更為平衡的測量。MCC值的返回值介于-1和+1之間：+1，表明是完美的預測；0，表明是隨機的預測；-1，則表明是一個相反的預測。MCC的計算式如下：
MCC=TP*TN-FP*FN（TP+FP）（TP+FN）（TN+FP）（TN+FN）（6
MCC同時提供了相對合理的評價：現實情況下，垃圾郵件的數目要比合法郵件的數目更高，因此MCC可以自動調整一個假正例（即合法郵件分類為垃圾郵件）錯誤相對于一個假負例錯誤的嚴重程度，隨著垃圾郵件相對于合法郵件的比例的上升，一個假正例錯誤會比一個假負例錯誤更加嚴重，即MCC值會降低。
3.3實驗結果與分析
3.3.1隱藏層節點數目選擇對實驗的影響
由文獻[10-11]中一系列的參數實驗可以總結出，在大部分數據集上，SDA一般使用三層隱藏層就可以達到較優的效果，因此本文中使用三層的隱藏層。
首先指出，圖4和圖5中的最低點Acc值是0.7101。這種情況是SDA把所有的郵件都分類為垃圾郵件。圖4中，350，650，950是第一層隱藏層的節點數目，30表示第三層隱藏層的節點數目；圖5中，350，650，950是第一層隱藏層的節點數目，500表示第二層隱藏層的節點數目。
圖4中，固定第一、三隱藏層的節點數目，SDA在數據集Enron 5上的Acc值隨著第二層隱藏層節點數目的改變而變化。從圖4中可看出，固定第一、三隱藏層節點數目時，當第二層節點個數過小或者過大時，Acc值會達到最低點0.7101，而第二層節點個數處于兩者之間時，Acc值正常波動。第二、三隱藏層節點固定時，可以看出，當第一層的節點數目越大時，第二層隱藏層節點的數目受到的限制更大。
對于圖4中出現的隨著第二層隱藏層節點數目的增加，Acc值會降至最低，可以通過改變第三層隱藏層節點數目來改變。圖5中，固定第一、二隱藏層節點的數目，SDA在數據集Enron 5上的Acc值隨著第三層節點數目的改變而變化。可以看出，為了取得較優的結果，第一層隱藏層的節點數越多，第三隱藏層需要的節點數也越多。
3.3.2在6個數據集上的實驗結果
為了書寫方便，下面描述中，Basic表示基本樸素貝葉斯方法、Bool表示布爾樸素貝葉斯方法、MN Bool表示多項式布爾樸素貝葉斯方法。
在6個Enron 數據集上的實驗結果如表3～8所示，其中加下劃線的數據表示該實驗中最大的MCC值。
表格（有表名）
表3Enron1上各個分類器的實驗結果
分類器Sre/%Spr/%Lre/%Lpr/%Acc/%MCC
Basic91.3385.0993.4896.3692.860.831
Bool96.0051.6163.3297.4972.780.540
MN Bool82.6762.0079.3591.8280.310.578
SVM83.3387.4195.1193.7091.700.796
DBN91.5690.7596.1996.5494.850.875
SDA90.2292.9197.1896.0595.160.882
表格（有表名）
表4Enron2上各個分類器的實驗結果
分類器Sre/%Spr/%Lre/%Lpr/%Acc/%MCC
Basic80.0097.5799.3193.5394.380.850
Bool95.3381.2592.4598.3093.190.836
MN Bool74.0098.2399.5491.7793.020.814
SVM90.6790.6796.8096.8095.230.875
DBN95.9891.6897.0298.6096.750.916
SDA95.9895.5698.4798.6297.830.943
表格（有表名）
表5Enron3上各個分類器的實驗結果
分類器Sre/%Spr/%Lre/%Lpr/%Acc/%MCC
Basic57.33100.00100.0086.2788.410.703
Bool99.3399.3399.7599.7599.640.991
MN Bool62.00100.00100.0087.5889.670.737
SVM91.3396.4898.7696.8396.740.917
DBN96.4489.6795.8498.6396.000.903
SDA92.6799.2999.7597.3297.820.945
表格（有表名）
表6Enron4上各個分類器的實驗結果
分類器Sre/%Spr/%Lre/%Lpr/%Acc/%MCC
Basic94.67100.00100.0086.2196.000.903
Bool98.00100.00100.0094.3498.500.962
MN Bool96.89100.00100.0091.4697.670.941
SVM98.89100.00100.0096.7799.170.978
DBN96.9697.9894.0091.1696.220.901
SDA99.9397.2691.5699.7697.840.942
表格（有表名）
表7Enron5上各個分類器的實驗結果
分類器Sre/%Spr/%Lre/%Lpr/%Acc/%MCC
Basic89.6798.8097.3379.3591.890.825
Bool87.23100.00100.0076.1490.930.815
MN Bool94.29100.00100.0087.7295.950.909
SVM89.4099.7099.3379.2692.280.837
DBN96.3799.4498.6791.7497.040.931
SDA98.7399.4598.6796.9498.710.969
表格（有表名）
表8Enron6上各個分類器的實驗結果
分類器Sre/%Spr/%Lre/%Lpr/%Acc/%MCC
Basic86.0098.9897.3369.8688.330.757
Bool66.8999.6799.3350.0075.000.574
MN Bool92.8997.2192.0081.1892.670.816
SVM89.7895.2886.6773.8690.050.727
DBN96.3798.5695.7589.7996.210.902
SDA99.0498.4595.3397.0698.110.949
通過觀察6個數據集6種分類器的實驗數據可以分析：在實驗的大部分數據集上，SDA垃圾郵件過濾器的性能超過了其他幾種分類器。同時在有些情況下SDA的過濾效果遠遠地優于SVM和NB分類器：比如在Enron6數據集上的結果表明，SDA的垃圾郵件召回率達到了99.04%，而SVM卻只達到了89.78%。這意味著在Enron6數據集上，SDA要比SVM多識別9.26%的垃圾郵件，同時因為具有比SVM更好的合法郵件召回率，所以相對于SVM，SDA垃圾郵件過濾的總體性能提升要大于9%。在實際的應用中，這些差異將會非常重要。這種對比現象在數據集Enron1、Enron2、Enron3和Enron5也可以得到。在數據集Enron4上，SDA過濾效果稍遜于SVM，但是相差不大。
對于實驗中所有樸素貝葉斯過濾器，實驗數據表明它們之間達到了相似的結果，并且不具有太大的差異性。相對堆疊去噪自編碼器過濾器和支持向量機過濾器在所有的數據集上的準確率（Acc）達到90%以上，而基于樸素貝葉斯方法的過濾效果要差些。
實驗中的DBN的分類效果，總體上要優于其他4幾種分類器，但是SDA的分類效果要稍微優于DBN。
表中的實驗數據表明堆疊去噪自編碼器在垃圾郵件過濾中具有更好的效果：在實驗的所有數據集上，堆疊去噪自編碼器的準確率（Acc）都高于95%；在實驗的所有數據集上，堆疊去噪自編碼器的MCC值都高于0.88，這表明堆疊去噪自編碼器應用于垃圾郵件過濾中取得相對完美的預測。上述結果表明將堆疊去噪自編碼器應用到垃圾郵件過濾中是可行的。
4結語
本文提出了一種新的基于堆疊去噪自編碼器的垃圾郵件分類器。在6個著名的、數據量較大的、公開的數據集上進行測試，將實驗結果同基于支持向量機和貝葉斯方法的垃圾郵件過濾器的結果進行比較。對比分析表明，本文所提出的垃圾郵件過濾器表現出更好的性能。特別是基于堆疊去噪自編碼器的垃圾郵件分類器在6個數據集上具有最好的平均性能并且準確率（Acc）都高于95%。這些表明將堆疊去噪自編碼器應用到垃圾郵件過濾中是可行的。
未來的工作將會集中在以下3個方面：1）如何更好地選擇深度置信網絡隱藏層數以及每層的單元個數，如何選擇學習率等參數來提高算法的性能。2）在諸如TRE05、TRE06、TRE07等更大的數據集上進行更多的實驗來驗證實驗結果，同時也希望同一些諸如Bogo filter、Spam Assassin等開源和商業垃圾郵件過濾器進行比較。3）應把垃圾郵件過濾看作是共同進化問題，因為垃圾郵件過濾器努力提高預測能力的同時，垃圾郵件遞送者也不斷地改變垃圾郵件內容的表現形式以達到欺騙過濾器的目的，因此一個有效的垃圾郵件過濾器應該能夠有效地檢測垃圾郵件特征的變化，從而不斷地調整自身的規則。
參考文獻：
[1]GARTNER. Gartner survey shows phishing attacks escalated in 2007； more than $3 billion lost to these attacks[EB/OL].[20150220].http：///it/page.jsp？id=565125.
