前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇bp神經網絡范文,相信會為您的寫作帶來幫助,發現更多的寫作思路和靈感。
關鍵詞 bp神經網絡 數據挖掘 最速下降法 函數逼近 模式識別
中圖分類號:TP391 文獻標識碼:A
1研究背景
BP神經網絡是一種多層的前饋網絡而且它的學習算法是一種誤差逆向傳播算法。BP神經網絡是目前研究最為成熟、應用最為廣泛的人工神經網絡模型之一。由于其結構簡單、可操作性強、具有較好的自學習能力、能夠有效地解決非線性目標函數的逼近問題等優點,因此被廣泛應用于自動控制、模式識別、圖像識別、信號處理、預測、函數擬合、系統仿真等學科和領域中。
2 BP神經網絡原理
2.1概述
BP神經網絡是一種反向傳播誤差算法然后訓練的一個多層前饋網絡,簡稱為BP算法,它應用在已被開發出來的神經網絡中,到目前為止是應用最為廣泛的網絡模型之一。BP神經網絡可以學習并且存儲非常多的輸入模式與輸出模式之間的映射關系,卻無需在學習和存儲前事先揭示并描述輸入輸出間的映射關系的一種數學方程。它使用最速下降法,通過對輸出誤差的反向傳播,獲得不斷調整網絡連接權系數和閾值的信息,最終使神經網絡的平方誤差最小,達到期望要求。
2.2 BP神經網絡結構
BP神經網絡模型是一個三層網絡,它的拓撲結構可被劃分為:輸入層、輸出層、隱含層。其中輸入層與輸出層具有更重要的意義,因此它也可以為兩層網絡結構(把隱含層劃入輸入層或者把隱含層去掉)。每層都由許多簡單的能夠執行并行運算的神經元組成,這些神經元與生物系統中的那些神經元非常類似,但其并行性并沒有生物神經元的并行性高。BP神經網絡是一個前饋網絡,因此它具有前饋網絡所具有的特性:相鄰兩層之間的全部神經元進行互相連接,而處于同一層的神經元不能進行聯接。
2.3 BP算法原理
BP神經網絡的基本原理是把一個輸入矢量經過隱含層的一系列變換,然后得到一個輸出矢量,從而實現輸入數據與輸出數據間的一個映射關系。輸入信息的正向傳播,以及輸出誤差的反向傳播,構成了 BP網絡的信息循環。BP算法根據輸出誤差來修改各神經元連接的連接權系數,其目的是使輸出誤差達到預計范圍內。BP網絡需要實際輸出與期望輸出之間的誤差來確定是否要修改神經元連接的連接權系數。其中,期望輸出便是該網絡意義上的“導師”。BP網絡具有對稱性的網絡結構,在輸出端的每一個處理單元基本上都具有一個相同的激勵函數。
BP算法由正向傳播和反向傳播兩部分組成。在正向傳播過程中,輸入信息從輸入層經隱層單元處理后,傳至輸出層。每一層神經元的狀態只影響下一層神經元的狀態。如果在輸出層得不到期望輸出,就轉為反向傳播,即:把誤差信號沿連接路徑返回,并通過修改各層神經元之間的連接權值,使誤差信號最小。
具體的算法步驟可概括如下:
第一步,選取初始權值、閾值。
第二步,重復下述過程直至滿足性能要求為止:
(1)對于學習樣本P=1到N
①計算每層各節點j的輸出yj,netj和的值(正向過程);
②對各層從M層到第二層,對每層各節點反向計算%]j(反向過程);
(2)修改權值
具體推導過程見參考文獻4。
3基于BP神經網絡設計的實例
3.1函數逼近
我們設計一個簡單的BP網絡,實現對非線性函數的逼近。通過改變該函數的參數以及BP網絡隱層神經元的數目,來觀察訓練時間以及訓練誤差的變化時間。將要逼近的非線性函數設為正弦函數,其頻率參數k可以調節。假設頻率參數k=2,繪制此函數的曲線。如圖1。
(1)網絡建立:用MATLAB編程建立BP網絡結構,為二層BP神經網絡。隱層神經元數目n 可以改變,暫時設為n=10,輸出層有一個神經元。網絡訓練采用Levenberg-Marquardt算法trainlm。
分析:因為建立網絡時,權值和閾值的初始化是隨機的,所以網絡輸出結果很差,根本達不到函數逼近的目的,并且每次運行的結果也有所不同。
(2)網絡訓練:在MATLAB里應用train()函數對網絡進行訓練之前,需要預先設置訓練參數。將訓練時間設置為50,訓練精度設置為0.01,其余參數用默認值。
(3)網絡測試:對于訓練好的網絡進行仿真,繪制網絡輸出曲線,并與原始非線性函數曲線相比較,結果如下圖2。
由此可看出,得到的曲線和原始的非線性函數曲線很接近。這說明經過訓練后,BP網絡對非線性函數的逼近效果非常好。
(4)討論分析:改變非線性函數的頻率和BP網絡隱層神經元的數目,對于函數逼近的效果有一定的影響。網絡非線性程度越高,對BP網絡的要求越高,則相同的網絡逼近效果要差一些;隱性神經元的數目對于網絡逼近效果也有一定的影響,一般來說隱形神經元數目越多,則BP網絡逼近非線性函數的能力越強,同時網絡訓練所用的時間相對來說也要長一些。
參考文獻
[1] 閆志忠.BP神經網絡模型的改進及其應用研究[D].吉林大學,2003.
[2] 李友坤.BP神經網絡的研究分析及改進應用[D].安徽理工大學,2012.
[3] 吳昌友.神經網絡的研究及應用[D].東北農業大學, 2007.
關鍵詞:BP神經網絡;學習過程;模式識別;旋轉機械;故障診斷
中圖分類號:TP311 文獻標識碼:A 文章編號:1009-3044(2009)15-3982-02
The Study and Application of the BP Neural Network
HOU Zhi-bin, WEN Bi-teng, PENG-Hua, LI Chun-hou
(Department for Graduate Students of Artillery Academy, Hefei 230031,China)
Abstract: The manual NN as a highly integrated chiasma subject. Most of models about NN are adopting the BP network and the changed form at the practical appliance, which is also the hard core of forward network, incarnating the essential part of NN. The paper introduces the studying process of the BP network and uses the BP network for the mechanical failure diagnoses as assorted organ in the mode identification.
Key words: BP neural network; studying process; mode identification; revolving machine; failure diagnoses
1 引言
人工神經網絡是一門高度綜合的交叉學科,它的研究和發展涉及神經生理學、數理科學、信息科學和計算機科學等眾多學科領域。
人工神經網絡是模仿生物腦結構和功能的一種信息處理系統,雖然目前的模仿還處于低水平,但已顯示出一些與生物腦類似的特點:1) 大規模并行結構與信息的分布式存儲和并行處理,克服了傳統的智能診斷系統出現的無窮遞歸、組合爆炸及匹配沖突問題,它特別適用于快速處理大量的并行信息。2) 具有良好的自適應性,系統在知識表示和組織、診斷求解策略與實施等方面可根據生存環境自適應、自組織達到自我完善。3) 具有較強的學習、記憶、聯想、識別功能,系統可根據環境提供的大量信息,自動進行聯想、書記及聚類等方面的自組織學習,也可在導師的指導下學習特定的任務,從而達到自我完善。4) 具有很強的容錯性,當外界輸入到神經網絡中的信息存在某些局部錯誤時,不會影響到整個系統的輸出性能。神經網絡已經在信號處理、模式識別、目標跟蹤、機器人控制、專家系統、系統辨識等眾多領域顯示出其極大的應用價值,作為一種新的模式識別技術或一種知識處理方法,神經網絡在機械故障診斷中顯示了其極大應用潛力。
目前,在人工神經網絡的實際應用中,絕大部分的神經網絡模型是采用BP網絡和它的變化形式,它也是前向網絡的核心部分,體現了人工神經網絡最精華的部分。本文介紹BP網絡的學習過程以及從模式識別角度應用BP神經網絡作為分類器進行機械故障診斷。
2 BP神經網絡的學習過程
有多層感知器可知,輸入層中人以神經元的輸出為輸入模式分量的加權和。其余各層中,設某一層中任一神經元j輸入為netj,輸出為yi,與這一層相鄰的低一層中任一神經元i的輸出為yi。則有
如式(5)和式(6)所示,輸出層中神經元的輸出誤差反向傳播到前面各層,以各層之間的權值進行修正。
3 旋轉機械故障的訓練
表1是一組旋轉機械故障的訓練示例,表內的值表示各訓練示例的特征值大小,其取值區間為[0,1],如在不平衡訓練示例中,0~1/4倍頻的振動幅值的當量值為0;1/4~3/4倍頻的振動幅值的當量值為0;3/4~1倍頻的振動幅值的當量值還為0;1倍頻的振動幅值的當量值為0.9;2倍頻的振動幅值的當量值為0.1;等等,其余類推。
將這些故障訓練示例輸入到一個具有8個輸入節點,8個中間層節點和3個輸出層節點的網絡中,經過1200次迭代,形成了一個網絡,該網絡的記憶效果如表2所示,經過12000次迭代形成網絡的記憶效果如表3所示。
表2中第一行表示,當輸入一組不平衡故障時,得出該故障的置信度為0.94,而其他故障幾乎為0;第二行表示,當輸入一組油膜渦動故障時,得出該故障的置信度為0.96,而其他故障幾乎為0;第三行表示,當輸入一組不對中故障時,得出該故障的置信度為0.90,而其他故障幾乎為0。表3中的結果有所改進,其值已趨于穩定。通過比較表2和表3,可看出訓練中迭代次數越多,所得到的網絡越能夠更好的聯想出訓練示例。但訓練次數不宜過長,只要滿足精度要求,訓練次應盡可能少,以減少訓練時間。
4 結論
人工神經網絡是模仿生物腦結構和功能的一種信息處理系統,并且已經在信號處理、模式識別、目標跟蹤、機器人控制、專家系統、系統辨識等眾多領域顯示出其極大的應用價值。文章介紹了BP神經網絡的學習過程,并給出了BP神經網絡在旋轉機械故障診斷中的應用。作為一種新的模式識別技術或一種知識處理方法,神經網絡在機械故障診斷中顯示了其極大的應用潛力。
參考文獻:
[1] 王江萍.機械設備故障診斷技術及應用[M].西安:西北工業大學出版社,2001.
[2] 盛兆順,尹琦嶺.設備狀態監測與故障診斷技術及應用[M].北京:化學工業出版社,2003.
[3] 溫熙森.模式識別與狀態監控[M].長沙:國防科技大學出版社,1997.
[4] 李孝安.神經網絡與神經計算機導論[M].西安: 西北工業大學出版社,1994.
1.1事件的選取和回顧在實證分析中以“寧波PX事件”為預警模型的最終目標,而選擇了“廈門PX事件”和“昆明PX事件”為學習樣本進行學習。這一連串關于PX事件其危害的對象不僅僅是政府形象更是對整個社會和諧穩定造成了較大的影響。尤其是寧波PX事件中,甚至出現了不理智的因受謠言的蠱惑沖擊政府機關掀翻執勤警車的情況。倘若能及時且準確地對此類事件進行預警并作出相應的預防措施就能對事件進行有效的控制。
1.2指標數據的獲取對于所建立的模型而言其關鍵不僅僅在于預警模型的指標的建立和神經網絡的識別。其數據的獲取亦是十分關鍵的一步。根據各個數據的特點,整理各個指標數據獲取方式如下。將廈門PX事件和昆明PX事件作為一個學習樣本,其數據清單如表3所示。同樣將模型的預警目標——“寧波PX事件”作為目標數據,其數據清單如表4所示。
1.3輸入數據的標準化處理網絡輿情危機預警指標體系中有5個預警指標,其中存在定性指標和定量指標兩大類,并且對各個指標的數據進行了量化處理,然而各個指標的單位的量綱是不同的,為了能夠對各個指標進行對比評分,需要將它們進行標準化得到[0,1]無量綱指標。量化的指標均有正負方向均有正負方向之分,自然這些數據的標注化方法均有不同:1)正向指標處理:正向指標表示值越大越安全,危機等級越小無量綱化以最小值為基準,正向無量綱化處理方程:2)負向指標處理:負向指標在文章中表示指標值越小越安全,危機等級越小。無量綱化以最大值為基準,負向的無量綱化處理方程:其中,X表示量化后的指標值,xmin表示指標的最小值,xi表示指標的實際值,xmax表示指標的最大值。
2輿情預警模型的建立及結果
2.1模型的建立神經網絡模型是一個典型的“輸入-處理-輸出”的過程。輸入是采集到的指標的實際值,輸出是模型識別的結果,即預警的敏感度,而中間過稱則采用BP神經網絡模型進行學習計算,這部分相當于“黑匣子”。在處理的時候,該文采用三層BP網絡(一個輸入層、一個隱含層、一個輸出層)的網絡結構,那么輸入、輸出節點數分別是5和1[8]。在設置完參數之后用第四章所講述的利用Matlab軟件完成模型的建立。
2.2結果及檢驗通過搜集得到的數據匯編成的學習樣本,并將其中的70%作為樣本,30%作為檢驗樣本進行。通過計算可以得到該表,從該表中容易得到,學習過程中準確率達到了91.76%。并在測過程中抽取了5項進行預測,得到的準確率為92.31%,其較高的準確率。因此有理由認為該模型在未來的預測過程中其準確率應該達到90%以上。
3研究結論
關鍵詞:BP神經網絡;數字識別;特征提取
中圖分類號:TP183 文獻標識碼:A 文章編號:1009-3044(2013)14-3362-04
1 概述
數字識別在車輛牌照識別、銀行支票識別和郵政儲蓄票據識別等領域有著廣泛的應用,因而成為研究人員近年來研究的一個焦點[1]。而人腦神經系統模型的建立為人工神經網絡的產生提供了理論模型依據, 使其具有模擬人腦部分形象思維的能力[2],因而使其成為人工智能技術的重要組成部分和常用方法。人工神經網絡由簡單信息處理單元相互連接組成,通過簡單處理單元間的相互作用來實現對其所接收信息的處理。而隨著人工神經網絡技術的快速發展,其為解決模式識別鄰域的相關問題提供了新的解決思路和方法,其突出的優點在于它具有對接收信息可進行并行分布式處理能力和自我學習反饋能力,因而吸引了眾多研究人員對其進行廣泛和深入的研究。而誤差反向傳播網絡(Back-Propagation),即BP神經網絡,是一種典型的人工神經網絡,它具有人工神經網絡的所有優點,因而在眾多技術鄰域有著廣泛的應用[3]。該文首先對BP神經網絡的基本原理進行了詳細介紹,在分析了其基本原理的基礎上,針對數字識別問題,設計了一種利用BP神經網絡技術進行數字識別的方法。經實驗表明,該方法合理可行,且其識別效果正確有效。
2 相關原理與知識
由于本文針對數字識別問題,利用BP神經網絡技術對其進行方法設計和實現,首先必須了解BP神經網絡的基本原理,即了解其具體構成形式、模型分類和其功能特點。其次,在了解了BP神經網絡基本原理的基礎上,進一步了解其所處理數據的特點和組成形式,并根據處理數據的特點和其數據結構設計相應的數字識別方法。下面分別對它們進行詳細的介紹。
2.1 BP神經網絡基本原理
BP神經網絡算法由數據信息流的前向計算,即正向信息流的正向傳遞,誤差信息的反向回饋兩個部分組成。當信息流進行正向傳遞時,其傳遞方向為從輸入層到隱層再到輸出層的順序,器每層神經元所處的狀態只會影響下一層神經元的狀態。若在最后的輸出層沒有得到理想的輸出信息,則應立即進入誤差信息的反向回饋過程[6]。最終經過這兩個過程的相互交替運行,同時在權向量空間使用誤差函數梯度下降策略,動態迭代搜索得到一組權向量,使得該BP神經網絡的誤差函數值達到最小,從而完成對信息提取和記憶過程[7]。
2.2 BMP二值圖像文件數據結構
由于本文處理的數據源為BMP二值圖像,則必須了解其數據結構,才能對其進行進一步的識別方法設計。由數字圖像處理基礎知識可知,常見BMP二值圖像文件的數據結構由以下三部分組成:(1)位圖文件頭,其包含了BMP二值圖像的文件類型、文件大小和位圖數據起始位置等信息;(2)位圖信息頭,它包含了BMP二值圖像的位圖寬度和高度、像素位數、壓縮類型、位圖分辨率和顏色定義等信息;(3)位圖數據體,其記錄了位圖數據每一個像素點的像素值,記錄順序在掃描行內是從左到右,掃描行之間是從下到上。因此,根據BMP二值圖像數據結構信息,讀出所需要的圖像數據,并對這些圖像數據做進一步的處理。在本文給定的訓練圖像中,圖像數據大小為80個字節,而圖像數據體距離其文件頭的偏移量為62個字節。但為了減少數據處理數量,該文在進行實驗時直接使用位圖數據體中的數據,沒有通過讀出位圖文件頭來得到位圖數據體中的數據。
3 數字識別具體設計方法
由上文可知,該文使用數據源為圖像大小為20*20的BMP二值圖像,由于是對位圖數據體的數據直接進行操作,因此省去了對圖像其他數據結構數據的繁雜處理過程,將問題的核心轉向BP神經網絡的設計方法步驟。
4 實驗結果
圖4所示為BP神經網絡訓練及測試結果圖。該文選擇10個訓練樣本,通過實驗結果可以看出,由這10個訓練樣本訓練出來的BP神經網絡對于訓練樣本中的圖像數值識別率達100%,訓練時間也比較短,其迭代次數大概為700次左右。對于一些含有噪聲的圖片,只要噪聲系數小于0.85個字符,其數字識別率可達96%。
5 結束語
針對二值圖像數字識別問題,該文在對BP神經網絡的基礎理論進行分析后,設計了一種基于BP神經網絡的數字識別方法,并通過實驗驗證了該BP神經網絡用于數字識別的可行性和有效性。而對于BP神經網絡存在的收斂速度慢、易陷入局部最優和學習、記憶具有不穩定性等問題,還有待于對其進行一步研究。
參考文獻:
[1] 韓力群.人工神經網絡教程[M].北京:北京郵電大學出版社,2006.
[2] 呂俊,張興華.幾種快速BP算法的比較研究[J].現代電子技術,2003,24(167):96-99.
[3] 陸瓊瑜,童學鋒.BP算法改進的研究[J].計算機工程與設計,2007(10):96-97.
[4] Sven Behnke,Marcus Pfister.A Study on the Combination of Classifiers for Handwritten Digit Recognition,2004.
[5] 馬耀名,黃敏.基于BP神經網絡的數字識別研究[J].信息技術,2007(4):87-88.
[6] Hasan soltanzadeh.Mohammad Rahmati.Recogniton of Persian Handwritten Digits Using Image Profiles of Multiple Orientations[J].Pattern Recognition Leaers,2004(15).
[7] 吳成東,劉文涵.基于粗網格神經網絡的車牌字符識別方法[J].沈陽建筑大學報,2007,23(4):694-695.
關鍵詞:BP神經網絡; 小波變換; 目標識別; 數據融合
中圖分類號:TN91934 文獻標識碼:A 文章編號:1004373X(2012)10010003
戰場目標識別一直是重要的研究課題,只用正確的識別目標,才能有效地采用克敵制勝的方法。多年以來,科學家為研究識別目標的方法,投入了大量的精力。最主要的方法是通過目標的外形進行識別,然而這很容易受到目標各種外形特征的影響,而且通過偽裝和遮蔽,大大增加了通過圖像識別目標的難度。另外也可以通過采集目標運動產生的地震動信號對目標進行識別。不同類型地面目標行進產生的地震動信號具有不同的頻率和能量特征[1]。通過數據采集得到這些信號,然后利用小波分析,得到地震動信號的特征向量,利用神經網絡分類器完成目標識別[2]。由于所有的檢測信號都來源于目標本身,不會由于發射偵測信號被目標識別,屬于被動目標識別方法,大大增加了隱蔽性。通過應用最新的信號分析處理方法和識別技術,能極大地提高識別效果和識別準確率。
1 數據采集和信號處理
1.1 測試系統組成
整個測試系統包括震動傳感器、電荷放大器、PXI數據采集儀。采集系統構成如圖1所示。為了提高信號質量,在采集之前增加了濾波電路。
所有的數據采集都是由PXI數據采集儀完成的。它來自地震動傳感器的信號(頻率較高)和頻率為24.8 MHz的RF信號混合調制。為了減小雜波噪聲,在量化的時候,通過一個低通濾波器將高于2 MHz的信號去除。PXI數據采集儀的內部包含數據采集卡,數據采集卡的采樣頻率為1 MHz,設定采樣2 s的數據。采樣得到的數據為WAV格式,能夠通過外部音響播放出來。采樣數據轉換成MAT格式后,使用Matlab完成離線信號處理,包括解調和頻譜計算。
圖1 測試系統構成1.2 信號消噪
通過數據采集得到的信號通常包含各種噪聲,必須將信號中的噪聲信號去除。在實際工程中,有用信號通常表現為平穩信號,包含在低頻部分,而噪聲信號通常包含在高頻部分。為此采用小波降噪的方法,將高頻部分濾除。小波降噪的原理是首先對信號進行小波分解,分解后噪聲包含在高頻分量中,通過門限閾值等形式對小波系數進行處理,然后對信號進行重構,即達到了小波降噪的目的[3]。小波降噪一般分為3個步驟:
(1) 信號的小波分解。選擇一個小波并確定分解的層次,然后進行分解運算。
(2) 小波分解高頻系數閾值量化。對各個分解尺度的高頻系數選擇一個閾值進行閾值量化處理。
(3) 一維小波重構。根據小波分解的底層低頻系數和各層高頻系數進行一維小波重構。
這三個步驟中,最重要的步驟是如何選取閾值和如何進行閾值量化,這直接關系到信號消噪的質量[4]。本文采用的是sym8小波進行了6層分解,并用Heursure軟閾值進行小波系數閾值量化。
通過對比原始信號(見圖2)和濾波后信號(見圖3)可以看出,濾波后的信號中包含的噪聲信號明顯減少了。這樣就是減少了數據量,使后續的處理更方便,速度更快,結果更準確,從而達到最佳的識別效果。
圖2 原始信號
圖3 濾波信號2 人工神經網絡
2.1 人工神經網絡
人工神經網絡(Artificial Neural Network,ANN),也稱為神經網絡,是由大量的神經元(Neurons)廣泛連接組成的網絡,是對人腦的抽象和模擬,實現人腦的基本功能。人工神經網絡通過輸入/輸出數據調節參數、算法和結構模型,其自誕生至今,由于人工神經網絡具有自學習能力和并行處理大量數據等特點,已經在智能控制和模式識別等領域得到越來越廣泛的應用。尤其是基于誤差信號反向傳播(Error Back Propagation)的多層前饋網絡(Multiplelayer Feedback Network),簡稱BP神經網絡,因其可以以任意精度逼近任意連續函數而廣泛應用于函數逼近、模式識別等領域。
BP神經網絡一般有一個輸入層,一個隱含層(有時有2個或者更多)和一個輸出層[5]。輸入層和輸出層的神經元個數分別是輸入層和輸出層輸入數據的維數,隱含層的層數和隱含層節點的個數要根據具體情況而定。BP神經網絡模型如圖4所示。
圖4 BP神經網絡神經網絡模型有n輸入和m輸出。假設k代表采樣序列,則數學上神經網絡模型代表輸入Xk=(xk1,xk2,…,xkn)T和輸出Yk=(yk1,yk2,…,ykm)T之間的非線性映射,有以下等式:Yk=g(W,Xk)式中:W={wij,i=1,2,…,Ni,j=1,2,…,Nj}是一個權重矩陣反映層之間的連接;Ni和Nj分別代表i層和j層神經元數目。對神經網絡模型的訓練實際上就是利用訓練樣本計算權重矩陣W。訓練完成的神經網絡計算速度會很快,無論問題的復雜程度如何[6]。
2.2 信號特征分量提取