神經(jīng)網(wǎng)絡(luò)初始化方法

前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇神經(jīng)網(wǎng)絡(luò)初始化方法范文，相信會(huì)為您的寫作帶來幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

神經(jīng)網(wǎng)絡(luò)初始化方法范文第1篇

關(guān)鍵詞：轉(zhuǎn)換模型 系統(tǒng)辨識(shí) 人工神經(jīng)網(wǎng)絡(luò) BP算法 MATLAB仿真

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2013）05-0079-03

在實(shí)際工況中通常依據(jù)管線表面熱流值對(duì)比國(guó)家標(biāo)準(zhǔn)來判斷管線的保溫性能是否達(dá)到標(biāo)準(zhǔn)。而在實(shí)際測(cè)量中發(fā)現(xiàn)現(xiàn)場(chǎng)因素（如環(huán)境溫度、風(fēng)速）對(duì)測(cè)得的管線表面熱流值影響比較大，整個(gè)測(cè)試的結(jié)果受外界干擾，國(guó)家標(biāo)準(zhǔn)給出的評(píng)定依據(jù)為標(biāo)準(zhǔn)條件（環(huán)境溫度一定、風(fēng)速較小）下的值，不能直接用于衡量現(xiàn)場(chǎng)測(cè)量值。所以項(xiàng)目要求對(duì)現(xiàn)場(chǎng)采集的數(shù)據(jù)進(jìn)行處理，得到標(biāo)準(zhǔn)條件下的數(shù)據(jù)，之后就可以用國(guó)家標(biāo)準(zhǔn)進(jìn)行衡量了。從現(xiàn)場(chǎng)實(shí)測(cè)數(shù)據(jù)到標(biāo)準(zhǔn)條件下的數(shù)據(jù)轉(zhuǎn)換基于一個(gè)系統(tǒng)模型即實(shí)測(cè)管線表面溫度值和標(biāo)準(zhǔn)條件下熱流值之間的轉(zhuǎn)換模型。

項(xiàng)目要求通過系統(tǒng)辨識(shí)得到一個(gè)精確反映管線表面溫度值和熱流值的去噪濾波模型，以便基于此模型對(duì)實(shí)際條件下測(cè)得的溫度值和熱流值進(jìn)行標(biāo)準(zhǔn)化轉(zhuǎn)換和預(yù)測(cè)。要求能達(dá)到以下的技術(shù)性能與指標(biāo)參數(shù)：用人工神經(jīng)網(wǎng)絡(luò)建立管線表面溫度到標(biāo)準(zhǔn)條件下熱流值的轉(zhuǎn)換模型。該模型實(shí)現(xiàn)根據(jù)現(xiàn)場(chǎng)環(huán)境溫度、環(huán)境風(fēng)速以及被測(cè)對(duì)象的表面溫度值和熱流值較為精確的預(yù)測(cè)得出實(shí)驗(yàn)室條件下的標(biāo)準(zhǔn)值，估計(jì)出相應(yīng)標(biāo)準(zhǔn)條件下的熱流值，預(yù)測(cè)精度達(dá)到數(shù)量級(jí)為10-2。

1 系統(tǒng)建模基礎(chǔ)

1.1 神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)

在本項(xiàng)目中，建立管線表面溫度值和熱流值的標(biāo)準(zhǔn)化轉(zhuǎn)換模型是研究的核心問題。該系統(tǒng)模型主要用來排除外界環(huán)境因素對(duì)熱流值等測(cè)試結(jié)果的影響。此系統(tǒng)要求通過若干組在實(shí)際工況下測(cè)得的環(huán)境溫度、風(fēng)速、被測(cè)對(duì)象的表面溫度以及與之對(duì)應(yīng)的實(shí)驗(yàn)室條件下（標(biāo)準(zhǔn)環(huán)境溫度與風(fēng)速）的熱流值，得到轉(zhuǎn)換模型。從而實(shí)現(xiàn)輸入實(shí)際工況下的環(huán)境溫度，風(fēng)速以及被測(cè)對(duì)象的表面溫度值，準(zhǔn)確估計(jì)出標(biāo)準(zhǔn)條件下（環(huán)境溫度、風(fēng)速）的熱流值。

根據(jù)項(xiàng)目總體要求，系統(tǒng)需要進(jìn)行辨識(shí)，得到一個(gè)精確反映管線表面溫度值和熱流值的去噪濾波模型，以便基于此模型對(duì)實(shí)際條件下測(cè)得的溫度值和熱流值進(jìn)行標(biāo)準(zhǔn)化轉(zhuǎn)換和預(yù)測(cè)。對(duì)于本項(xiàng)目，由于很難找出實(shí)際測(cè)量值與實(shí)驗(yàn)室標(biāo)準(zhǔn)值之間的精確解析關(guān)系，所以基于溫度轉(zhuǎn)換的內(nèi)部機(jī)理，建立溫度轉(zhuǎn)換的解析模型是不可能的。應(yīng)用所測(cè)得輸入輸出樣本數(shù)據(jù)對(duì)進(jìn)行數(shù)值建模分析，建立滿足一定精度的溫度標(biāo)準(zhǔn)化轉(zhuǎn)換數(shù)值模型是解決此問題的一個(gè)出路，以下研究基于人工神經(jīng)網(wǎng)絡(luò)BP算法的管線表面溫度值和熱流值的標(biāo)準(zhǔn)化轉(zhuǎn)換模型。

1.2 建模方法選擇

在實(shí)際的使用中建立的模型要反映的是一個(gè)復(fù)雜的系統(tǒng)，系統(tǒng)間的參數(shù)傳遞關(guān)系復(fù)雜，用一般的數(shù)學(xué)建模方法難以正確預(yù)測(cè)系統(tǒng)輸出。在這種情況下可以用BP網(wǎng)絡(luò)來仿真表達(dá)這個(gè)系統(tǒng)。該方法把系統(tǒng)看成是一個(gè)黑箱，先取出若干組輸入輸出數(shù)據(jù)對(duì)BP網(wǎng)絡(luò)進(jìn)行有效學(xué)習(xí)，然后就可以用BP網(wǎng)絡(luò)來表達(dá)這個(gè)系統(tǒng)。在得到系統(tǒng)輸入?yún)?shù)后就可以用網(wǎng)絡(luò)來預(yù)測(cè)系統(tǒng)的輸出值。

2 神經(jīng)網(wǎng)絡(luò)系統(tǒng)構(gòu)建

2.1 問題的提出

根據(jù)實(shí)驗(yàn)測(cè)得的數(shù)據(jù)，通過神經(jīng)網(wǎng)絡(luò)擬合，找到管線表面溫度與熱流值之間的轉(zhuǎn)換模型。在今后的使用中，就可以利用這個(gè)模型通過現(xiàn)場(chǎng)測(cè)得的管線表面溫度估計(jì)出此時(shí)管道的熱流值，進(jìn)而判斷管道保溫材質(zhì)保溫性能的優(yōu)劣。

BP網(wǎng)路的一個(gè)重要功能就是非線性映射的能力，這一功能非常適合與函數(shù)逼近，也就是說，找出兩組數(shù)據(jù)之間的關(guān)系。在研究的內(nèi)容中，這是要找出管線表面溫度和熱流值之間的對(duì)應(yīng)關(guān)系，所以建立一個(gè)BP網(wǎng)絡(luò)，找出兩者之間的關(guān)系。

2.2 網(wǎng)絡(luò)建立

訓(xùn)練前饋網(wǎng)絡(luò)的第一步是建立網(wǎng)絡(luò)對(duì)象。函數(shù)newff建立一個(gè)可訓(xùn)練的前饋網(wǎng)絡(luò)。這需要4個(gè)輸入?yún)?shù)。第一個(gè)參數(shù)是一個(gè)Rx2的矩陣以定義R個(gè)輸入向量的最小值和最大值。第二個(gè)參數(shù)是一個(gè)每層神經(jīng)元個(gè)數(shù)的數(shù)組。第三個(gè)參數(shù)是包含每層用到的轉(zhuǎn)移函數(shù)名稱的細(xì)胞數(shù)組。最后一個(gè)參數(shù)是用到的訓(xùn)練函數(shù)的名稱。

net=newff（minmax（p），[5，1]，{'tansig'，'purelin'}）；

可見，網(wǎng)絡(luò)的中間層有5個(gè)神經(jīng)元，傳遞函數(shù)為tansig（）；輸出層有1個(gè)神經(jīng)元，傳遞函數(shù)為purelin（）。BP網(wǎng)絡(luò)中間層神經(jīng)元的數(shù)目對(duì)網(wǎng)絡(luò)性能有著比較大的影響，需要通過不斷地嘗試才能確定。由于沒有特別設(shè)定訓(xùn)練函數(shù)，因此訓(xùn)練函數(shù)取默認(rèn)值trainlm（）。

圖1中的藍(lán)色曲線是原始數(shù)據(jù)的曲線分布，紅色點(diǎn)劃線是未經(jīng)過訓(xùn)練的擬合曲線，兩條曲線的擬合程度比較差，基本上沒有擬合到一起的點(diǎn)。由此可見，在訓(xùn)練之前，網(wǎng)絡(luò)的非線性映射能力是很差的。

2.3 權(quán)值初始化

在訓(xùn)練前饋網(wǎng)絡(luò)之前，權(quán)重和偏置必須被初始化。初始化權(quán)重和偏置的工作用命令init來實(shí)現(xiàn)。這個(gè)函數(shù)接收網(wǎng)絡(luò)對(duì)象并初始化權(quán)重和偏置后返回網(wǎng)絡(luò)對(duì)象。下面就是網(wǎng)絡(luò)如何初始化的：

net = init（net）；

可以通過設(shè)定網(wǎng)絡(luò)參數(shù)net.initFcn和net.layer{i}.initFcn這一技巧來初始化一個(gè)給定的網(wǎng)絡(luò)。net.initFcn用來決定整個(gè)網(wǎng)絡(luò)的初始化函數(shù)。前饋網(wǎng)絡(luò)的缺省值為initlay，它允許每一層用單獨(dú)的初始化函數(shù)。設(shè)定了net.initFcn，那么參數(shù)net.layer{i}.initFcn 也要設(shè)定用來決定每一層的初始化函數(shù)。

對(duì)前饋網(wǎng)絡(luò)來說，有兩種不同的初始化方式經(jīng)常被用到：initwb和initnw。

（1）initwb函數(shù)根據(jù)每一層自己的初始化參數(shù)（net.input Weights{i，j}.initFcn）初始化權(quán)重矩陣和偏置。前饋網(wǎng)絡(luò)的初始化權(quán)重通常設(shè)為rands，它使權(quán)重在-1到1之間隨機(jī)取值。這種方式經(jīng)常用在轉(zhuǎn)換函數(shù)是線性函數(shù)時(shí)。

（2）initnw通常用于轉(zhuǎn)換函數(shù)是曲線函數(shù)。它根據(jù)Nguyen和Widrow[NgWi90]為層產(chǎn)生初始權(quán)重和偏置值，使得每層神經(jīng)元的活動(dòng)區(qū)域能大致平坦的分布在輸入空間。它比起單純的給權(quán)重和偏置隨機(jī)賦值有以下優(yōu)點(diǎn)：減少神經(jīng)元的浪費(fèi)（因?yàn)樗猩窠?jīng)元的活動(dòng)區(qū)域都在輸入空間內(nèi)）；有更快的訓(xùn)練速度（因?yàn)檩斎肟臻g的每個(gè)區(qū)域都在活動(dòng)的神經(jīng)元范圍中）。

初始化函數(shù)被newff所調(diào)用。因此當(dāng)網(wǎng)絡(luò)創(chuàng)建時(shí)，它根據(jù)缺省的參數(shù)自動(dòng)初始化。init不需要單獨(dú)的調(diào)用。可是可能要重新初始化權(quán)重和偏置或者進(jìn)行自定義的初始化。例如，用newff創(chuàng)建的網(wǎng)絡(luò)，它缺省用initnw來初始化第一層。如果想要用rands重新初始化第一層的權(quán)重和偏置，用以下命令：

2.4 網(wǎng)絡(luò)訓(xùn)練與仿真

一旦網(wǎng)絡(luò)加權(quán)和偏差被初始化，網(wǎng)絡(luò)就可以開始訓(xùn)練了。能夠訓(xùn)練網(wǎng)絡(luò)來做函數(shù)近似、模式結(jié)合、模式分類。訓(xùn)練處理需要一套適當(dāng)?shù)木W(wǎng)絡(luò)操作的數(shù)據(jù)即網(wǎng)絡(luò)輸入p和目標(biāo)輸出t。在訓(xùn)練期間網(wǎng)絡(luò)的加權(quán)和偏差不斷的把網(wǎng)絡(luò)性能函數(shù)net.performFcn減少到最小。前饋網(wǎng)絡(luò)的缺省性能函數(shù)是均方誤差mse--網(wǎng)絡(luò)輸出和目標(biāo)輸出t之間的均方誤差。

用樣本數(shù)據(jù)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，使網(wǎng)絡(luò)對(duì)非線性函數(shù)輸出具有預(yù)測(cè)能力。

%網(wǎng)絡(luò)參數(shù)配置（迭代次數(shù)，學(xué)習(xí)率，目標(biāo)）

圖2中紅色點(diǎn)劃線表示對(duì)訓(xùn)練后的網(wǎng)絡(luò)進(jìn)行仿真得到的輸出，經(jīng)過訓(xùn)練后，系統(tǒng)模型基本上擬合了原始數(shù)據(jù)，但在某些位置還是存在一些擬合不到位的現(xiàn)象，后面會(huì)針對(duì)這種情況改進(jìn)網(wǎng)絡(luò)已達(dá)到更好的擬合效果，網(wǎng)絡(luò)的預(yù)測(cè)誤差曲線如圖3所示。

誤差值基本出現(xiàn)在（-4，9）區(qū)間內(nèi)，差值約為13，樣本數(shù)據(jù)的輸出范圍在900左右，計(jì)算誤差區(qū)間在整個(gè)輸出范圍之間的辨識(shí)精度大約為0.014，達(dá)到了項(xiàng)目總體要求中提出的辨識(shí)精度為10-2的數(shù)量級(jí)，可見系統(tǒng)辨識(shí)輸出誤差在允許的范圍之內(nèi)的。

3 結(jié)語

本文中建立的系統(tǒng)模型完成了實(shí)測(cè)數(shù)據(jù)到標(biāo)準(zhǔn)條件數(shù)據(jù)的轉(zhuǎn)換。這種基于人工神經(jīng)網(wǎng)絡(luò)BP算法的管線表面溫度值和熱流值的標(biāo)準(zhǔn)化轉(zhuǎn)換模型完成了對(duì)于現(xiàn)場(chǎng)數(shù)據(jù)的處理。從仿真效果和誤差分布可以看出模型的處理精度等級(jí)也達(dá)到了項(xiàng)目的預(yù)期的技術(shù)要求，只是曲線擬合有所欠缺。這些問題可以通過進(jìn)一步更改網(wǎng)絡(luò)層數(shù)等方法進(jìn)行改進(jìn)，以便能夠得到更好的仿真效果。

參考文獻(xiàn)

[1]劉艷，任章.基于神經(jīng)網(wǎng)絡(luò)的混合模型建模方法及應(yīng)用[J].計(jì)算機(jī)仿真，2007，24（2）：45-48.

[2]匡胤.基于人工神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)原理及MATLAB實(shí)現(xiàn)[J].內(nèi)江師范學(xué)院學(xué)報(bào)，2007，22（2）：38-40.

[3]黃大榮，宋軍，汪達(dá)成，曹建秋，李偉. 基于ARMA和小波變換的交通流預(yù)測(cè)模型研究[J].計(jì)算機(jī)工程與應(yīng)用，2006，42（36）：191-194.

[4]宋宜斌，王培進(jìn).一種基于RBF神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)器模型及其研究[J].計(jì)算機(jī)工程與應(yīng)用，2004，40（6）：105-107.

[5]Hunt K J， Starbaro D. neural Networks for Nonlinear Internal Model Control [J]. IEE Proceedings D，1991，138（5）：431-4381.

[6]吳廣玉.系統(tǒng)辨識(shí)與自適應(yīng)[M].哈爾濱：哈爾濱工業(yè)大學(xué)出版社，1987.

[7]張成乾，張國(guó)強(qiáng).系統(tǒng)辨識(shí)與參數(shù)估計(jì)[M].北京：機(jī)械工業(yè)出版社，1986.

[8]強(qiáng)明輝，張京娥.基于MATLAB的遞推最小二乘法辨識(shí)與仿真[J].自動(dòng)化與儀器儀表，2008，（6）：4-5，39.

[9]金朝紅，吳漢松.一種改進(jìn)的BP算法及其Matlab仿真[J].計(jì)算機(jī)仿真，2005（Z1）：105-106.

[10]王青海.BP神經(jīng)網(wǎng)絡(luò)算法的一種改進(jìn)[J].青海大學(xué)學(xué)報(bào)（自然科學(xué)）

神經(jīng)網(wǎng)絡(luò)初始化方法范文第2篇

關(guān)鍵詞 電力系統(tǒng) 神經(jīng)網(wǎng)絡(luò) 短期負(fù)荷預(yù)測(cè)

中圖分類號(hào)：TM715 文獻(xiàn)標(biāo)識(shí)碼：A

1禁忌搜索算法

禁忌搜索算法能夠找到函數(shù)優(yōu)化問題的全局最優(yōu)解。下面結(jié)合函數(shù)優(yōu)化問題來闡述該算法的一般過程。

設(shè)有優(yōu)化問題

其中是目標(biāo)函數(shù)，是連續(xù)變量，R是可行集。禁忌搜索算法首先隨機(jī)地初始化一個(gè)可行解，記為，用表示到目前為止找到的最優(yōu)解，用表示當(dāng)前解，令=，=，同時(shí)把存儲(chǔ)在一個(gè)具有一定長(zhǎng)度的稱為禁忌表的存儲(chǔ)結(jié)構(gòu)里。接著算法重復(fù)以下過程：產(chǎn)生的一個(gè)鄰域解'（生'的方法有很多，比如從區(qū)間[-，+]均勻地產(chǎn)生一個(gè)點(diǎn)'作為的鄰域解，這里是一個(gè)比較小的實(shí)數(shù)；也可以從一個(gè)以為均值，以為均方差的正態(tài)分布中產(chǎn)生鄰域解'，同樣也是一個(gè)比較小的實(shí)數(shù)。具體的產(chǎn)生辦法可以參考[21]），如果產(chǎn)生的'不可行，即'￠R，則要重新產(chǎn)生'直至其可行為止。產(chǎn)生'以后，計(jì)算（）和（'）。若（'）

2新型神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

由于上面提到的具有記憶功能的禁忌搜索算法能夠搜索全局最優(yōu)解，而當(dāng)訓(xùn)練樣本設(shè)置好以后，前向神經(jīng)網(wǎng)絡(luò)權(quán)重的訓(xùn)練完全是一個(gè)優(yōu)化問題，因此可以用禁忌搜索算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

以下給出訓(xùn)練神經(jīng)網(wǎng)絡(luò)的步驟過程。為了方便，記D=（，，，），D是一個(gè)++維的向量，評(píng)判函數(shù)記為（D）。首先初始化向量D0，具體方法是為D0，的每個(gè)分量設(shè)置一個(gè)較小的隨機(jī)數(shù)，這個(gè)隨機(jī)數(shù)可以從區(qū)間[-1，+1]均勻產(chǎn)生。用來表示到目前為止搜索到的最優(yōu)的解，表示當(dāng)前解，令=，=。把存儲(chǔ)在禁忌表里。算法重復(fù)以下過程：產(chǎn)生的一個(gè)鄰域解（方法是以的每個(gè)分量為均值，以0.1為均方差產(chǎn)生新的分量，由此得到一個(gè)鄰域解向量）。計(jì)算（）和（），若（）

重復(fù)以上過程，直到目標(biāo)函數(shù)（）連續(xù)多次沒有改變，這時(shí)停止該算法，輸出最優(yōu)解，從而可以得到訓(xùn)練好的權(quán)重向量和以及閥值向量和。

3數(shù)值實(shí)驗(yàn)

在實(shí)際計(jì)算中，用前5天的負(fù)荷來預(yù)測(cè)下一天負(fù)荷，因此神經(jīng)網(wǎng)絡(luò)模型的輸入層有5個(gè)神經(jīng)元，輸出層有1個(gè)神經(jīng)元，而隱層采用10個(gè)神經(jīng)元。每個(gè)隱層神經(jīng)元的激勵(lì)函數(shù)取為對(duì)稱型Sigmoid函數(shù)，即=，最后若目標(biāo)函數(shù)連續(xù)200次沒有改變，則停止算法，待網(wǎng)絡(luò)訓(xùn)練好以后，采用新的數(shù)據(jù)進(jìn)行測(cè)試，結(jié)果見下表。

4結(jié)論

精確的短期負(fù)荷預(yù)測(cè)對(duì)電力系統(tǒng)有著重要的價(jià)值。本文提出了用帶有記憶功能的禁忌搜索算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)的算法，然后將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)用于負(fù)荷預(yù)測(cè)。數(shù)值實(shí)驗(yàn)表明該算法運(yùn)算速度快，精確度較高。

參考文獻(xiàn)

神經(jīng)網(wǎng)絡(luò)初始化方法范文第3篇

關(guān)鍵詞：RBF神經(jīng)網(wǎng)絡(luò) k-均值算法 蟻群算法 PID控制

中圖分類號(hào)：P20 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2017）03（b）-0040-03

為了克服常規(guī)PID控制中的弱點(diǎn)，各種智能PID控制方法在控制領(lǐng)域得到廣泛的研究和應(yīng)用。徑向基函數(shù)（RBF）網(wǎng)絡(luò)作為智能控制的一種途徑，具有收斂速度快、全局逼近能力強(qiáng)等優(yōu)點(diǎn)，在解決非線性，時(shí)變系統(tǒng)的控制方面應(yīng)用廣泛[1-2]。蟻群優(yōu)化算法（ACO）是通過蟻群在食物搜索過程中表現(xiàn)出來的尋優(yōu)能力來解決一些離散系統(tǒng)優(yōu)化問題[2]。當(dāng)前RBF網(wǎng)絡(luò)的聚類算法比較單一，已經(jīng)慢慢顯出其局限性；如果追求收斂速度則很難保證精確度，如果追求精確度則難以保證收斂的快速。正是由于這一突出的問題，該文提出了基于-均值算法和蟻群算法結(jié)合的算法用來改進(jìn)RBF網(wǎng)絡(luò)傳統(tǒng)的聚類算法 ，可滿足收斂速度快和精確度高這一要求。

1 基于RBF-NN的PID控制

1.1 基于RBFW絡(luò)辨識(shí)的PID控制系統(tǒng)

控制結(jié)構(gòu)采取增量式的PID控制，如圖1所示控制誤差為：

1.2 RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

取性能指標(biāo)函數(shù)，其中非線性系統(tǒng)在時(shí)刻的輸出值取，RBF神經(jīng)網(wǎng)絡(luò)在時(shí)刻的輸出則為。根據(jù)迭代算法可得時(shí)刻輸出權(quán)、節(jié)點(diǎn)中心及節(jié)點(diǎn)基寬度參數(shù)如下：

2 基于蟻群算法的RBF網(wǎng)絡(luò)聚類算法改進(jìn)

聚類問題是根據(jù)研究對(duì)象的差異，按照特定準(zhǔn)則進(jìn)行模式分類[3-4]。該文將運(yùn)用蟻群算法和k-均值算法結(jié)合來解決RBF網(wǎng)絡(luò)的聚類問題。其思路是首先使用k-均值算法計(jì)算出蟻群算法的初始聚類中心，然后定義樣本到聚類中心的路徑上留下外激素為，螞蟻從選擇到聚類中心的概率為：

為的外激素，為耐久系數(shù)，一般取0.5～0.9左右，為正常數(shù)。

根據(jù)如下步驟確定神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)中心以及節(jié)點(diǎn)基寬度：

（1）初始化：可選擇個(gè)不同初始聚類中心。可以隨機(jī)從樣本中選取，也可以選擇前個(gè)樣本輸入，這個(gè)初始聚類中心須選取不同值。

（2）求取聚類中心與樣本輸入的間距

。樣本輸入，根據(jù)最小距離求取：當(dāng) 時(shí)，即被歸為第類，即。

（3）對(duì)分類樣本取平均值得到新的聚類中心，當(dāng)時(shí)返回（2）步，否則進(jìn)行（4）步。

（4）初始化過程：設(shè)，，（常數(shù)），=0，=（期望因子），時(shí)，將個(gè)螞蟻隨機(jī)置于個(gè)樣本上，在當(dāng)前禁忌表中記錄各螞蟻樣本初始位置，令。

（5）重復(fù)次，令，從1到，從1到，螞蟻以概率選擇從樣本到并留下外激素。將加到中。

（6）求取

。根據(jù)公式（15）計(jì)算，的值，并取到的最大極限值作為的分類依據(jù)，將分類。以分類樣本取的均值作為新的聚類中心。如果將清零，各螞蟻的禁忌表則置零，記錄各螞蟻的當(dāng)前位置于當(dāng)前禁忌表中，且。利用公式（5）計(jì)算，否則進(jìn)入第（7）步。

（7）通過上面所求取的各聚類中心的間距計(jì)算隱節(jié)點(diǎn)的基寬向量，其中為第個(gè)聚類中心與其他最近的聚類中心之間的距離，即，為重疊系數(shù)。。

3 控制系統(tǒng)的算法

（1）選取個(gè)初始聚類中心，根據(jù)聚類算法（1）～（7）步，求取RBF網(wǎng)絡(luò)隱層節(jié)點(diǎn)中心和基向量寬度。

（2）隨機(jī)給定和的初始值作為RBF網(wǎng)絡(luò)的節(jié)點(diǎn)中心及節(jié)點(diǎn)基寬參數(shù)，根據(jù)式（7）～（12）使用梯度下降法求取第次，利用。

（3）依據(jù)式（5），完成PID整定。

4 仿真實(shí)例

首先為了印證算法的可行性可隨機(jī)抽取150組三維數(shù)組，聚類數(shù)k為3，螞蟻數(shù)目，，迭代次數(shù)，得到的仿真如圖2所示，從仿真圖（a）和（b）對(duì)比可以看出采用改進(jìn)的聚類算法能夠達(dá)到很好的聚類效果方便求出聚類中心，準(zhǔn)確度得到有效提高。然后以一個(gè)普通的伺服系統(tǒng)為例，輸入信號(hào)為單位階躍信號(hào)，比較基于改進(jìn)聚類算法的的RBF網(wǎng)絡(luò)的PID控制和常規(guī)RBF網(wǎng)絡(luò)PID控制的結(jié)果。RBF神經(jīng)網(wǎng)絡(luò)以3-6-1結(jié)構(gòu)為基礎(chǔ)，輸出權(quán)，節(jié)點(diǎn)中心及節(jié)點(diǎn)基寬度參數(shù)的初始化參數(shù)（0，10），[0，30]，（0，40），和采用改進(jìn)的聚類方法初始化，取隨機(jī)值，，螞蟻數(shù)，，，在MATLAB7.0中編制了仿真程序，并調(diào)試通過，仿真結(jié)果如圖3，圖3中（b）給出了基于改進(jìn)算法RBF網(wǎng)絡(luò)PID控制的效果明顯優(yōu)于（a）常規(guī)RBF網(wǎng)絡(luò)的PID控制效果。仿真結(jié)果表明基于用-均值算法和蟻群算法改進(jìn)的聚類算法的RBF神經(jīng)網(wǎng)絡(luò)PID控制優(yōu)于常規(guī)的RBF網(wǎng)絡(luò)PID控制，主要表現(xiàn)在收斂速度快，魯棒性強(qiáng)等方面。

5 結(jié)語

該文首先通過改進(jìn)初始化RBF神經(jīng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)中心和基函數(shù)寬度，然后利用梯度下降法整定PID控制器參數(shù)。仿真結(jié)果表明運(yùn)用-均值算法和蟻群算法結(jié)合的聚類算法是有效的并且在基于RBF網(wǎng)絡(luò)的PID控制中整定效果是比較好的，收斂速度和精確度都有了很好保證，優(yōu)于常規(guī)RBF網(wǎng)絡(luò)的PID控制。

參考文獻(xiàn)

[1] 王洪斌，楊香蘭，王洪瑞，等.一種改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[J].系統(tǒng)工程與電子技術(shù)，2002，24（6）：103-105.

[2] 李紹銘，劉寅虎.基于改進(jìn)型RBF神經(jīng)網(wǎng)絡(luò)多變量系統(tǒng)的PID控制[J].重慶大學(xué)學(xué)報(bào)，2007（2）：53-57.

[3] 李士勇.蟻群算法及其應(yīng)用[M].哈爾濱工業(yè)大學(xué)出版社，2004.

[4] N Labroche， N Monmarche， G V enturini.A new clustering algorithm based on the chemical recognition system of ants： p roc of 15th European Conference on Artificial Intelligence （ECA I 2002）[C]//Lyon FRANCE. 2002：345-349.

神經(jīng)網(wǎng)絡(luò)初始化方法范文第4篇

【關(guān)鍵詞】傅里葉變換；BP神經(jīng)網(wǎng)絡(luò)；自適應(yīng)濾波

1.引言

BP神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的非線性函數(shù)逼近、自適應(yīng)學(xué)習(xí)和并行信息處理能力，為解決未知不確定非線性信息處理和自適應(yīng)濾波提供了一條新途徑[1]。但隨著BP神經(jīng)網(wǎng)絡(luò)輸入向量維數(shù)增加，其隱含層層數(shù)和學(xué)習(xí)次數(shù)也會(huì)相應(yīng)增加，降低了網(wǎng)絡(luò)的自適應(yīng)性且延長(zhǎng)了學(xué)習(xí)時(shí)間。傅里葉變換是數(shù)字信號(hào)處理領(lǐng)域一種很重要的算法，其思想是將原始信號(hào)從時(shí)域變換到頻域，通過對(duì)頻譜圖的分析，去除高頻處的頻率分量，再將頻域變換回時(shí)域，達(dá)到信號(hào)去噪濾波的功能[2]。利用傅里葉變換與神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，對(duì)信息進(jìn)行預(yù)處理，減少信息處理量，再利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性函數(shù)逼近能力，從而實(shí)現(xiàn)信號(hào)的自適應(yīng)濾波，減少網(wǎng)絡(luò)的待處理信息，增強(qiáng)網(wǎng)絡(luò)的自適應(yīng)能力，其工作過程如圖1所示。

2.BP神經(jīng)網(wǎng)絡(luò)模型

2.1 神經(jīng)元結(jié)構(gòu)模型

人工神經(jīng)網(wǎng)絡(luò)是人腦的某種抽象、簡(jiǎn)化或模擬，它由大量的神經(jīng)元廣泛互聯(lián)而成。網(wǎng)絡(luò)的信息處理由神經(jīng)元之間的相互作用來實(shí)現(xiàn)，網(wǎng)絡(luò)的學(xué)習(xí)和識(shí)別取決于神經(jīng)元間連接權(quán)系數(shù)的動(dòng)態(tài)演化過程[3]，其模型可以用圖2來表示。

輸入向量與輸出y之間的關(guān)系式；

其中權(quán)值向量，輸入向量，閾值，活化函數(shù)。

2.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)（Back-Propagation Neural Network）是一種無反饋的前向網(wǎng)絡(luò)，網(wǎng)絡(luò)中的神經(jīng)元分層排列，除了有輸入層、輸出層之外，還至少有一層隱含層，BP學(xué)習(xí)算法是調(diào)整權(quán)值使網(wǎng)絡(luò)總誤差最小。具有隱含層BP網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示，圖中設(shè)有M個(gè)輸入節(jié)點(diǎn)，L個(gè)輸出節(jié)點(diǎn)，隱含層含有n個(gè)神經(jīng)元。其中為網(wǎng)絡(luò)輸入向量，為實(shí)際輸出向量，為網(wǎng)絡(luò)的目標(biāo)輸出，為網(wǎng)絡(luò)的輸出誤差。BP網(wǎng)絡(luò)學(xué)習(xí)流程：

（1）網(wǎng)絡(luò)初始化，確定輸入向量與輸出向量的維數(shù)、目標(biāo)向量、學(xué)習(xí)次數(shù)以及允許的誤差值。

（2）輸入學(xué)習(xí)規(guī)則，初始化權(quán)值W。

（3）計(jì)算輸出層的輸出與目標(biāo)向量的誤差。

（4）判斷誤差精度是否達(dá)到預(yù)定值，沒有則調(diào)整權(quán)值W并改變學(xué)習(xí)規(guī)則。

（5）誤差精度達(dá)到預(yù)定值，學(xué)習(xí)結(jié)束。

3.數(shù)值仿真與分析

在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中提供了實(shí)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)的創(chuàng)建，仿真環(huán)境以單輸入單輸出的非線性函數(shù)，分別作為輸入函數(shù)和目標(biāo)函數(shù)。本文同時(shí)采取傅里葉變換、BP神經(jīng)網(wǎng)絡(luò)以及基于傅里葉變換的BP神經(jīng)網(wǎng)絡(luò)分別進(jìn)行仿真濾波[5][6]，表1給出了三種算法在MATLAB軟件中的仿真主要步驟。圖4為y（t）與x（t）函數(shù)的波形圖，圖5是經(jīng)傅里葉變換處理后的x（t）波形，圖6是BP網(wǎng)絡(luò)自適應(yīng)濾波后的x（t）波形，圖7是基于傅里葉變換的BP網(wǎng)絡(luò)作用后的x（t）自適應(yīng)濾波后的波形。通過比較圖5、6、7可以明顯看出傅里葉變換的濾波效果出現(xiàn)高頻振蕩，BP網(wǎng)絡(luò)自適應(yīng)濾波在形狀上幾乎與元波形一致，但是在某些點(diǎn)位置出現(xiàn)疵點(diǎn)，而基于傅里葉變換的BP神經(jīng)網(wǎng)絡(luò)自適應(yīng)濾波后波形幾乎和目標(biāo)函數(shù)y（t）波形完全一致。

4.結(jié)束語

本文通過三種算法在MATLAB中的仿真分析，可以得出在輸入向量維數(shù)比較大時(shí)，可以采用基于傅里葉變換的BP神經(jīng)網(wǎng)絡(luò)的方法對(duì)含噪信息進(jìn)行處理，不僅可以降低隱含層的層數(shù)，增加自適應(yīng)能力和減少學(xué)習(xí)時(shí)間，而且在波形擬合上可以達(dá)到更好的效果。

參考文獻(xiàn)

[1]華，李雷，趙力.基于BP神經(jīng)網(wǎng)絡(luò)的自適應(yīng)補(bǔ)償控制方法[J].計(jì)算仿真，2012，29（7）：202-205.

[2]張德豐.MATLAB小波分析[M].北京：機(jī)械工業(yè)出版社，2009，39-48.

[3]楊芳，馬建偉.基于神經(jīng)網(wǎng)絡(luò)自適應(yīng)濾波的低頻Prony分析[J].中國(guó)水能及電氣化，2012，86（4），32-37.

[4]李國(guó)勇，楊麗娟.神經(jīng)模糊預(yù)測(cè)控制及其MATLAB實(shí)現(xiàn)[M].北京：電子工業(yè)出版社，2013：17-22.

神經(jīng)網(wǎng)絡(luò)初始化方法范文第5篇

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；電力工程；異常數(shù)據(jù)識(shí)別技術(shù)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，信號(hào)從輸入層到隱含層，再到輸出層得到期望輸出。期望輸出同實(shí)際值做比較，若得不到所期望的值，則誤差反向傳播，調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值和閾值。BP神經(jīng)網(wǎng)絡(luò)作為一種引入隱含層神經(jīng)元的采用多層感知器的神經(jīng)網(wǎng)絡(luò)模型，主要由輸入層、中間層和輸出層3 個(gè)部分組成。其中，中間層即隱含層，可以是一層或多層結(jié)構(gòu)。

1 BP神經(jīng)網(wǎng)絡(luò)概述

BP神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的分類中的多層前饋型神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的主要特征為傳遞信號(hào)向前傳播，而誤差反向向后傳播。BP神經(jīng)網(wǎng)絡(luò)在工作時(shí)，信息從輸入層通過隱含層到達(dá)輸出層。輸出層達(dá)不到所期望的信號(hào)，將誤差反向傳播，從而根據(jù)誤差不斷調(diào)整BP神經(jīng)網(wǎng)絡(luò)的閾值和權(quán)重，從而使BP神經(jīng)網(wǎng)絡(luò)的輸出值不斷逼近期望值。

2系統(tǒng)設(shè)計(jì)

該異常數(shù)據(jù)識(shí)別系統(tǒng)利用神經(jīng)網(wǎng)絡(luò)對(duì)電力系統(tǒng)異常進(jìn)行識(shí)別，實(shí)際上是利用神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近任一非線性函數(shù)的特性以及通過學(xué)習(xí)歷史數(shù)據(jù)建模的特點(diǎn)。在各種類型的神經(jīng)網(wǎng)絡(luò)中，BP神經(jīng)網(wǎng)絡(luò)具有輸入延遲，適合于電力系統(tǒng)異常數(shù)據(jù)識(shí)別。根據(jù)電力系統(tǒng)運(yùn)行的歷史數(shù)據(jù)，設(shè)定神經(jīng)網(wǎng)絡(luò)的輸入、輸出節(jié)點(diǎn)，以反映系統(tǒng)運(yùn)行的內(nèi)在規(guī)律，實(shí)現(xiàn)識(shí)別數(shù)據(jù)異常的目的。所以，利用神經(jīng)網(wǎng)絡(luò)對(duì)電力系統(tǒng)異常數(shù)據(jù)進(jìn)行識(shí)別，主要就是要設(shè)定神經(jīng)網(wǎng)絡(luò)的輸入、輸出節(jié)點(diǎn)使其能反映電力系統(tǒng)運(yùn)行規(guī)律。

3訓(xùn)練樣本

在BP神經(jīng)網(wǎng)絡(luò)模型中，在選擇樣本時(shí)，一定要盡可能的表達(dá)出系統(tǒng)中全部可能發(fā)生的情況所對(duì)應(yīng)的狀態(tài)，這樣才能表現(xiàn)出來動(dòng)力參數(shù)與實(shí)際測(cè)量數(shù)據(jù)一一對(duì)應(yīng)的映射關(guān)系。將需要進(jìn)行反分析的動(dòng)力參數(shù)作為因素，要在每一個(gè)因素里面的各種組合中均要做試驗(yàn)。假設(shè)在一組設(shè)計(jì)試驗(yàn)中，有n個(gè)因素，并且它自身又有l(wèi)1 ，l2 ，......，ln個(gè)水平，那么在進(jìn)行全面試驗(yàn)時(shí)，至少需要做每個(gè)水平之積次試驗(yàn)。當(dāng)因素及其自身對(duì)應(yīng)的水平數(shù)量不太多時(shí)，運(yùn)用這種算法是比較準(zhǔn)確的。但是，隨著因素及其對(duì)應(yīng)的水平越來越多，需要做的試驗(yàn)次數(shù)也要幾何級(jí)數(shù)般增長(zhǎng)。因此，在BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中，如果選擇合適、合理的方法選擇樣本就十分重要。

4 BP網(wǎng)絡(luò)模型與訓(xùn)練算法

BP（BackPropagation，后向傳播）神經(jīng)網(wǎng)絡(luò)全稱又叫作誤差反向傳播（errorBackPropagation）網(wǎng)絡(luò)。它是一種采用BP算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，每層網(wǎng)絡(luò)均包含一個(gè)或多個(gè)M-P神經(jīng)單元構(gòu)成。M-P神經(jīng)單元結(jié)構(gòu)，xi表示第i個(gè)輸入值，wi為該輸入值的權(quán)重，θ為該神經(jīng)元的閾值，y為該神經(jīng)元輸出值。其中，即神經(jīng)元將n個(gè)維度的輸入值加權(quán)相加后與神經(jīng)元的閾值進(jìn)行比較，然后將比較值通過激活函數(shù)f處理后進(jìn)行輸出。BP網(wǎng)絡(luò)通過不同網(wǎng)絡(luò)層間神經(jīng)元的全連接構(gòu)成。在網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)過程中，BP算法將輸入數(shù)據(jù)通過輸入層進(jìn)行輸入，并經(jīng)過隱藏層計(jì)算后由輸出層進(jìn)行輸出。接著輸出值與標(biāo)記值進(jìn)行比較，計(jì)算誤差（代價(jià)函數(shù)）。最后誤差再反向從輸出層向輸入層傳播，反向傳播過程使用梯度下降算法以目標(biāo)的負(fù)梯度方向來對(duì)神經(jīng)網(wǎng)絡(luò)上的權(quán)重和閾值進(jìn)行調(diào)整。

5神經(jīng)網(wǎng)絡(luò)識(shí)別實(shí)驗(yàn)

考察5 種不同類型的神經(jīng)網(wǎng)絡(luò)，表1 列出了Perceptron、BP、PBH、模糊ARTMAP和RBF的均方根誤差與Perceptron的誤分類率等信息。可以看到，Perceptron神經(jīng)網(wǎng)絡(luò)表現(xiàn)不佳，均方根誤差在0.6~0.7 之間；誤分類率在0.1~0.2 之間。Perceptron神經(jīng)網(wǎng)絡(luò)對(duì)異常數(shù)據(jù)的檢測(cè)錯(cuò)誤與誤分類率較高。隨著隱藏神經(jīng)元數(shù)量的增加，ARTMAP與RBF網(wǎng)絡(luò)的性能均會(huì)提高。在大多數(shù)情況下，均優(yōu)于Perceptron。BP與PBH網(wǎng)絡(luò)具有相似性能，且兩個(gè)神經(jīng)網(wǎng)絡(luò)始終比其他3 種類型的神經(jīng)網(wǎng)絡(luò)表現(xiàn)更優(yōu)。隨著隱藏神經(jīng)元數(shù)量的增加，兩種神經(jīng)網(wǎng)絡(luò)錯(cuò)誤與誤分類率不會(huì)降低。

6狼群算法

狼群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)。狼群算法是一種群智能算法，它通過模仿狼群捕獵的行為來處理優(yōu)化問題。在自然界中，狼在食物鏈中處于捕獵者。狼的外形神似狗和豺，動(dòng)作迅速，嗅覺靈敏，有天生的捕獵能力。狼群算法最早于2007 年提出，后來有學(xué)者發(fā)現(xiàn)其中存在的問題，經(jīng)狼群算法優(yōu)化后提出了新型狼群算法（WCA），最后，2013 年根據(jù)自然界中狼群追捕獵物，捕食，以及分配食物的方式提出的基于狼群群體智能的算法（WPA）。該算法詳細(xì)的將狼群內(nèi)的種類分為頭狼、探狼、猛狼三種，并具有圍攻、召喚、奔襲、游走等行為。狼群算法同樣依據(jù)自然界中“勝者為王，適者生存”的更新機(jī)制。狼群算法的加入，形成了改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)，防止網(wǎng)絡(luò)陷入局部極值點(diǎn)，提高網(wǎng)絡(luò)效率。

7遺傳算法

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)。算法主要包括三部分：初始化BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、遺傳算法優(yōu)化和BP神經(jīng)網(wǎng)絡(luò)識(shí)別。其中初始化BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括：確定輸入層、隱含層和輸出層節(jié)點(diǎn)個(gè)數(shù)，以及初始化網(wǎng)絡(luò)的權(quán)值和閾值等參數(shù)。遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)是將一個(gè)網(wǎng)絡(luò)中的所有權(quán)值和閾值看作種群中的一個(gè)個(gè)體，然后通過選擇、交叉和變異的操作得到最優(yōu)的個(gè)體，即最優(yōu)權(quán)值和閾值，并將該組權(quán)值閾值賦給BP神經(jīng)網(wǎng)絡(luò)作為初始的權(quán)值和閾值。最后的BP神經(jīng)網(wǎng)絡(luò)識(shí)別部分，是利用遺傳算法優(yōu)化的初始權(quán)值和閾值來訓(xùn)練網(wǎng)絡(luò)，再利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別。

結(jié)束語

為實(shí)現(xiàn)電網(wǎng)工程建設(shè)中對(duì)異常數(shù)據(jù)的檢測(cè)，建立了分布分層的數(shù)據(jù)檢測(cè)系統(tǒng)。其是一種使用統(tǒng)計(jì)預(yù)處理與神經(jīng)網(wǎng)絡(luò)分類的異常數(shù)據(jù)檢測(cè)算法。通過對(duì)5 種不同的神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，可得出結(jié)論：BP與PBH網(wǎng)絡(luò)的性能優(yōu)于Perceptron、模糊ARTMAP和RBF等3 種神經(jīng)網(wǎng)絡(luò)。考慮到構(gòu)建成本最終選取BP神經(jīng)網(wǎng)絡(luò)作為系統(tǒng)的神經(jīng)網(wǎng)絡(luò)分類器，在此基礎(chǔ)上還進(jìn)行了系統(tǒng)測(cè)試。結(jié)果表明，系統(tǒng)能夠可靠地檢測(cè)到異常數(shù)據(jù)，其流量強(qiáng)度僅為背景強(qiáng)度的5%~10%，證明了該系統(tǒng)的有效性。

參考文獻(xiàn)

[1]李慧，陳愷妍.基于神經(jīng)網(wǎng)絡(luò)的電力計(jì)量故障診斷研究[J].計(jì)算機(jī)與數(shù)字工程，2020，48(05):1252-1257.

[2]多俊龍，王大眾，崇生生.在電力通信預(yù)警中優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)模型研究[J].東北電力技術(shù)，2020，41(02):13-15+62.

[3]羅寧，高華，賀墨琳.基于神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)方法研究[J].自動(dòng)化與儀器儀表，2020(01):157-160.