神經網絡過擬合的表現

前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇神經網絡過擬合的表現范文，相信會為您的寫作帶來幫助，發現更多的寫作思路和靈感。

神經網絡過擬合的表現范文第1篇

關鍵詞 經濟活動 預測模型 人工神經網絡

經濟活動諸如商品價格走勢、生產活動的產量預測、加工的投入產出分析、工廠的成本控制等方面都是重要的技術經濟層面。定量化的經濟活動分析是經濟學研究的必由之路，而建模是量化分析的基礎，這是因為模型為科學分析和質量、成本等控制提供了理論依據。本文針對經濟活動中大多數研究對象都具有的非線性特點，給出了用人工神經網絡（Artificial Nerve Network）模型建立經濟活動的預測模型的原理和方法，并描述了神經網絡與各種先進的建模方法相結合的模型化方法，為經濟活動的分析、預測與控制提供了理論基礎。

1 神經網絡模型方法

現實的經濟系統是一個極其復雜的非線性系統，客觀上要求建立非線性模型。傳統上使用回歸與自回歸模型刻畫的都是線性關系，難于精確反映因變量的變化規律，也終將影響模型的擬合及預報效果。為揭示隱含于歷史記錄中的復雜非線性關系必須借助更先進的方法———人工神經網絡(ANN)方法。

人工神經網絡具有并行處理、自適應、自組織、聯想記憶及源于神經元激活函數的壓扁特性的容錯和魯棒性等特點。數學上已經證明，神經網絡可以逼近所有函數，這意味著神經網絡能逼近那些刻畫了樣本數據規律的函數，且所考慮的系統表現的函數形式越復雜，神經網絡這種特性的作用就越明顯。

在各類神經網絡模型中，BP（Back－Propagation誤差后向傳播）神經網絡模型是最常用的也是最成熟的模型之一。本質上，BP模型是對樣本集進行建模，即建立對應關系RmRn,xk∈Rm,ykRn。數學上，就是一個通過函數逼近擬合曲線/曲面的方法，并將之轉化為一個非線性優化問題來求解。

對BP神經網絡模型，一般選用三層非循環網絡。假設每層有N個處理單元，通常選取連續可微的非線性作用函數如Sigmoid函數f(x)=1/(1+e-x)，訓練集包括M個樣本模式{(xk,yk)}。對第P個訓練樣本（P＝1，2，…，M），單元j的輸入總和記為apj，輸出記為Opj，則:

apj=WQ

Opj=f(apj)=1/(1+e-apj)

（1）

對每個輸入模式P，網絡輸出與期望輸出（dpj）間誤差為：

E=Ep=((dpj-Opj)2)

（2）

取BP網絡的權值修正式：

Wji(t+1)=Wji(t)+?濁?啄pj+?琢(Wji(t)-Wji(t-1))

（3）

其中，對應輸出單元?啄pj=f’,(apj)(dpj-Opj)；對應輸入單元?啄pj=f’,(apj)?啄pkWkj；

?濁是為加快網絡收斂速度而取值足夠大又不致產生振蕩的常數；?琢為一常數項，稱為趨勢因子，它決定上一次學習權值對本次權值的影響。

BP學習算法的步驟：初始化網絡及學習參數；提供訓練模式并訓練網絡直到滿足學習要求；前向傳播過程, 對給定訓練模式輸入，計算網絡的輸出模式，并與期望比較，如有誤差，則執行下一步，否則返回第二步；后向傳播過程,計算同一層單元的誤差?啄pj, 按權值公式（3）修正權值; 返回權值計算公式（3）。BP網絡的學習一般均需多周期迭代，直至網絡輸出與期望輸出間總體的均方根誤差ERMS達到一定要求方結束。

實踐中，BP網絡可能遇到如下問題：局部極小點問題；迭代收斂性及收斂速度引起低效率問題。此外還有，模型的逼近性質差；模型的學習誤差大，記憶能力不強；與線性時序模型一樣，模型網絡結構及節點作用函數不易確定；難以解決應用問題的實例規模與網絡規模之間的矛盾等。為克服這樣的一些問題，同時為了更好地面向實際問題的特殊性，出現了各種基于神經網絡模型或與之結合的模型創新方法。

2 灰色神經網絡模型

灰色預測和神經網絡一樣是近年來用于非線性時間序列預測的引人注目的方法，兩種方法在建模時都不需計算統計特征，且理論上可以適用于任何非線性時間序列的建模。灰色預測由于其模型特點，更合用于經濟活動中具有指數增長趨勢的問題，而對于其他變化趨勢，則可能擬合灰度較大，導致精度難于提高。

對于既有隨時間推移的增長趨勢，又有同一季節的相似波動性趨勢，且增長趨勢和波動性趨勢都呈現為一種復雜的非線性函數特性的一類現實問題，根據人工神經網絡具有較好的描述復雜非線性函數能力特點，用其對季節性建模；最后根據最優組合預測理論，建立了兼有GM（1，1）和ANN優點的最優組合預測模型。該模型能夠同時反映季節性時間序列的增長趨勢性和同季波動性的雙重特性，適用于一般具有季節性特點的經濟預測。

首先，建立GM（1，1）模型，設時間序列x(0)=(x(0)(1),x(0)(2),?撰,x(0)(n))，作一階累加生成：

x(1)=(x(1)(1),x(1)(2),?撰,x(1)(n))　 （4）

其中x(1)(k)=(x(0)(i),k=1,2,?撰,n

構造一階線性灰色微分方程并得到該方程的白化微分方程：

+ax=u

用最小二乘法求解參數a，u，得到x(1)的灰色預測模型：

(1)(k+1)=(X(0)(1)-u/a)e-ak+u/a,(k=0,1,2,?撰)

（5）

其次，根據上節方法建立BP人工神經網絡模型。

第三，將兩模型優化組合。設f1是灰色預測值，f2是神經網絡預測值，fc是最優組合預測值，預測誤差分別為:e1,e2,ec，取w1和w2是相應的權系數，且w1+w2=1,有fc=w1f1+w2f2，則誤差及方差分別為ec=w1e1+w2e2,Var(ec)=w21Var(e1)+w22Var(e2)+2w1w2cov(e1,e2)

對方差公式求關于w1的極小值，并取cov(e1,e2)=0，即可得到組合預測權系數的值。

2 基于粗糙集理論的神經網絡模型

粗糙集理論與模糊集理論一樣是研究系統中知識不完全和不確定問題的方法。模糊集理論在利用隸屬函數表達不確定性時，為定義一個合適的隸屬函數，需要人工干預，因而有主觀性。而粗糙集理論由粗糙度表示知識的不完全程度，是通過表達知識不精確性的概念計算得到的，是客觀的，并不需要先驗知識。粗糙集通過定義信息熵并進而規定重要性判據以判斷某屬性的必要性、重要性或冗余性。

一般來說，BP神經網絡模型對模型輸入變量的選擇和網絡結構確定等都基本憑經驗或通過反復試驗確定，這種方法的盲目性會導致模型質量變差。用粗糙集理論指導，先對各種影響預測的因素變量進行識別，以此確定預測模型的輸入變量；再通過屬性約簡和屬性值約簡獲得推理規則集；然后以這些推理規則構造神經網絡預測模型，并采用加動量項的BP的學習算法對網絡進行優化。有效改善了模型特性，提高了模型質量。其建模步驟為：由歷史數據及其相關信息歷史數據構造決策表； 初始化； 對決策表的決策屬性變量按劃分值域為n個區域的方式離散化；采用基于斷點重要性的粗糙集離散化算法選擇條件屬性變量和斷點（分點），同時計算決策表相容度，當決策表相容度為1或不再增加時，則選擇條件屬性變量和分點過程結束；由選擇的條件屬性變量及其樣本離散化值構造新的決策表，并對其約簡，得到推理規則集；由推理規則集建立神經網絡模型； 對神經網絡進行訓練； 若神經網絡擬合誤差滿足要求，則結束， 否則，增加n。必須指出，區間分劃n太小，會使得擬合不夠，n太大，即輸出空間分得太細，會導致過多的區域對應，使網絡結構過于復雜，影響泛化（預測）能力。

3 小波神經網絡模型

人工神經網絡模型存在的網絡結構及節點函數不易確定問題，結合小波分析優良的數據擬合能力和神經網絡的自學習、自適應特性建模，即用非線性小波基取代通常的非線性S型函數。

設非線性時間序列變化函數f(t)∈L2(R)，定義其小波變換為：

Wf(a,b)==f(t)?漬()dt

（6）

式中，?漬ab(t)稱為由母小波?漬t（定義為滿足一定條件的平方可積函數?漬(t)∈L2(R)如Haar小波、Morlet小波、樣條小波等）生成的依賴于參數a、b的連續小波，也稱小波基。參數a的變化不僅改變小波基的頻譜結構，還改變其窗口的大小和形狀。對于函數f(t)，其局部結構的分辯可以通過調節參數a、b，即調節小波基窗口的大小和位置來實現。

用小波級數的有限項來逼近時序函數，即：

(t)=wk?漬()

（7）

式中(t)，為時間序列y(t)的預測值序列；wk,bk,ak分別為權重系數，小波基的平移因子和伸縮因子；L為小波基的個數。參數wk,bk,ak采用最小均方誤差能量函數優化得到，L通過試算得到。

4 模糊神經網絡模型

模糊集合和模糊邏輯以人腦處理不精確信息的方法為基礎，而人工神經網絡是以大量簡單神經元的排列模擬人腦的生理結構。二者的融合既具有神經網絡強大的計算能力、容錯性和學習能力，又有對于不確定、不精確信息的處理能力，即同時具有底層的數據處理、學習能力和高層的推理、思考能力。

一種應用模糊理論的方法是把模糊聚類用來確定模糊系統的最優規則數，從而確定模糊神經網絡的結構。這樣確定的網絡結構成為四層：第一層為直接輸入層；第二層為模糊化層，對輸入做模糊化處理；第三層為模糊推理層，對前層模糊結果做模糊推理；第四層為非模糊化層，可以采用重心非模糊化法，產生網絡輸出。該網絡采用動態處理法，增強了其處理能力，且適用性強、精度高。

5 結語

除上述幾種結合式神經網絡方法之外，人工神經網絡模型在算法設計方面一直在取得巨大的進步。神經網絡模型方法是一種先進的具有智能的非線性建模方法，其在自然科學、經濟現象、社會活動等方面的應用正在不斷深化，把神經網絡方法引入經濟活動的分析和預測中，并緊密聯系諸多先進的建模方法，是使工業經濟、商業經濟及其對經濟本質規律的研究等各項工作推向前進的重要理論武器。

參考文獻

神經網絡過擬合的表現范文第2篇

以上文章都結合卷積神經網絡模型對交通標志分類做了大量的研究，避免了復雜的人工特征提取算法的設計，研究結果具有一定的參考性。在現有卷積神經網絡模型的啟發下，以上文章都采用分類器。而訓練分類器需要大量樣本，因而在小樣本數據下，采用分類器容易造成過擬合，降低網絡的泛化性。同時，由于SVM分類器在小樣本數據集上具有出色分類性能，本文提出一種基于卷積神經網絡和多類SVM分類器[[4]的交通標志識別模型。此模型利用卷積神經網絡強大的特征提取和泛化能力，使得算法在復雜環境中依然具有可靠的識別結果。  首先，本文通過遷移學習策略「51L61對AlexNet網絡[7]特征提取部分進行微調，并將微調結果作為本文的特征提取器。然后將卷積神經網絡提取的特征作為多類SVM分類器的輸入。同時為了進一步防止過擬合現象的發生，本文在SVM分類器中加入dropout層，利用隨機置零策略進行參數選擇。最后，文章通過實驗結果證實本文提出的分類模型相比于采用softmax分類器有更好的準確率、在復雜背景中具有較高的識別率和較強的魯棒性棒。1卷積神經網絡和SVM

1.1  AlexNet網絡    

AlexNet網絡是著名的卷積分類網絡，可成功實現對1000類別物體的分類。其結構可以分為特征提取器和分類器兩部分。    

特征提取器主要由卷積層、池化層、激活函數組成。卷積層由大小不同的卷積核組成，卷積核類似于傳統視覺中的特征提取算子。但區別于傳統視覺算子，卷積核參數由網絡自己學習得到，可以提取圖像從底層到高層的不同特征信息。池化層常連接在卷積層之后，一般常用最大池化操作。池化層可以加強網絡對平移變化的魯棒性。激活函數為網絡引入非線性因素，使得網絡可以逼近任意函數形式。    

分類層主要由全連接層和多類邏輯回歸函數組成。全連接層學習用合理的方式組合特征，可以看為函數映射。邏輯回歸函數進行類別概率判別，邏輯回歸判別見公式。同時，為了防止全連接層過擬合，AlexNet網絡引入dropout層，dropout[9]采用隨機置零的方式，防止神經元以特定的方式組合工作，從而防止深度網絡的過擬合。p}Y}}}=j1二(‘);B)=藝  e醉x})丫‘eBTx}' }e'  j代表類別，二(i)為輸入，k代表類別總數，8，表示將樣本x}')映射到j類的參數，B代表er,r=i,z,~…  ,，組成的矩陣，p(少‘)=j}x(仍表示x}'}屬于j類的概率。1.2標準SVM    SVM是基于結構風險最小化理論的有監督學習算法，通過尋找最優分割超平面來實現分類[}10}。相比于神經網絡，SVM在小樣本數據集上也能表現出良好的分類效果，因而得到廣泛使用。標準的SVM通過尋求公式(2)的最優解來找到最優超分割平面。minw,b含，，w，，(2)yc> (w·二(‘)+b) >_ 1，i=1, 2,……，m尹)代表第i個樣本標簽，x}'}代表第i個樣本特，m為訓練集大小。分類模型設計    

本文提出的分類模型主要分為兩部分，特征提取部分和多類SVM分類器。整體結構如圖1所示。    

圖1中，特征提取器主要對輸入圖片進行特征提取和融合，最終得到圖像的高階特征并將提取到的信息特征送入多類SVM分類器。dropout層進行參數隨機丟失步驟，此步驟通過隨機失活神經元可有效防止過擬合的發生;然后結合不加正則化項的SVM算法進行分類，得到最終輸出結果。

2.1特征提取器    

神經網絡過擬合的表現范文第3篇

關鍵詞： 經驗模態分解； 時間序列； 因子分析； 神經網絡

中圖分類號： TN711?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2017）05?0130?04

Abstract： The sports result prediction is the key to formulate the scientific sports training plan. Aiming at the low prediction accuracy of the current models， a sports result prediction model fusing the factor analysis with neural network is put forward. The self?similarity regression model was constructed according to the sports result apriori information. And then the empirical mode decomposition and factor analysis were conducted for the sports result data. The BP neural network is used to establish the sports result prediction model. The performance of the model was tested with simulation experiments. The results show that the model has higher precision of sports result prediction， and good convergence property.

Keywords： empirical mode decomposition； time series； factor analysis； neural network

0 引 言

體育成績是反應體育訓練水平的重要表現，通過對體育成績的準確預測能挖掘出人體訓練的規則性因子和特征，從而促進運動訓練和體育教學的改進。因此，研究體育成績的預測模型在促進科學訓練、提高運動成績方面具有重要意義。

體育成績的預測準確度受到的約束因素較多，如人體特征的變化、性別、年齡、天氣、運動場館以及各種環境因素。對體育成績的預測模型是一個多變量和多參量的統計分析過程，涉及的學科有統計學、信息處理學和現代數學[1]。傳統方法中，對體育成績的預測方法有基于AR模型估計的體育成績預測算法[2]、特征空間分解方法[3]、經驗模態分解方法[4]、基于小波分析的體育成績時間序列預測方法等[5]。建立體育成績的線性擬合特征空間，采用多參量約束重構方法構建預測模型，具有較好的預測效果。但這些方法存在計算開銷大、預測過程中對參量的自適應抗干擾性差等問題，導致預測的精度低。

針對上述問題，本文提出基于因子分析和神經網絡相融合的體育成績預測模型。對統計的體育成績先驗信息構建自相似回歸模型，在自相似回歸模型中對體育成績時間序列進行經驗模態分解和因子分析，采用BP神經網絡分類模型進行體育成績的特征信息聚類和信息融合處理，實現預測模型優化。最后通過仿真實驗進行測試，得出有效性結論，展示了本文預測模型在提高預測精度方面的優越性。

1 體育成績預測的數學模型

1.1 體育成績統計參數分析

w育成績數據可以看作是一組非線性時間序列。采用非線性時間序列方法分析體育成績的走勢，統計分析體育成績，采用一個多元統計特征方程描述體育成績的擬合狀態模型為：

最后得到的[ykN-1k=1]是一個具有可預測性的體育成績時間序列。在BP神經網絡中通過對體育成績的信息屬性分類，進行體育成績的特征信息聚類和信息融合處理，實現預測模型優化設計。

3 結果與分析

采樣樣本來自于某高校大一和大二學生的體育成績，包括的體育項目有3 km長跑、100 m短跑、游泳等。對采集的體育成績進行統計分析和最小二乘擬合，并在Matlab仿真軟件中分析數據。神經網絡采用的是三層網絡結構，學習訓練參數為[NEj*（t）=1+9e-t1 024=12，]體育成績測試集中，碼數為1 024個，環境信息對預測模型的干擾強度設定為13 dB，數據采樣的時間間隔為1.5 d，迭代次數為10 000次。

根據上述仿真設定，設計體育成績預測模型，得到樣本數據時域波形描述如圖2所示。

以上述采集的體育成績統計樣本為測試集，進行體育成績預測模型仿真分析，得到不同方法的預測誤差對比結果如圖3所示。

根據上述仿真結果，得出如下結論：

（1） 隨著迭代步數的增多，預測誤差降低，這是因為通過多次迭代，使用體育成績的先驗信息較多，使得預測精度提高。

（2） 利用本文模型進行體育成績預測的誤差小于傳統方法，相差的最大幅度達到35.98%。由于本文方法使用因子分析和神經網絡訓練，進行體育成績的數據信息聚類和融合，提高了預測精度，在收斂性和穩健性方面具有較好的表現。

4 結 語

為了提高體育運動訓練的科學指導性，進行體育成績預測，提出了因子分析和神經網絡相融合的體育成績預測模型。并對本文提出的模型進行性能測試，結果表明，本文模型提高了體育成績預測的精度，而且預測誤差可以滿足實際應用的要求。

參考文獻

[1] 趙波.十項全能世界頂尖男子運動員成績分析及預測研究[J].體育文化導刊，2013（3）：76?79.

[2] 趙丙軍.運用多元回歸方法建立我國男子跳遠項目訓練模型的研究[J].西安體育學院學報，2011，18（1）：81?82.

[3] 魏春玲.我國十項全能運動成績的因子分析及灰色系統回歸預測研究[J].體育科學，2004，24（11）：51?53.

[4] 劉國璧，袁宏俊，孫群，等.基于模糊神經網絡的劉翔110 m欄成績預測[J].安徽電子信息職業技術學院學報，2011，10（1）：16?18.

[5] 龍斌.基于支持向量機的劉翔110m欄成績預測[J].天津體育學院學報，2009，24（4）：330?333.

[6] 王宗平，孫光.應用BP神經網絡算法對運動成績預測的實證研究[J].南京體育學院學報，2006，20（4）：109?111.

[7] 莊沖，王宗平.灰色系統模型與BP神經網絡模型在體育成績預測方面的比較研究[J].南京體育學院學報，2006，20（6）：134?135.

神經網絡過擬合的表現范文第4篇

關鍵詞：深度學習；行為識別；神經網絡

1 概述

動作行為識別是計算機視覺領域中的一個研究熱點，已經廣泛應用于智能監控、人機交互、視頻檢索等領域中[1]。動作行為識別技術是通過對視頻或者圖像中人體動作行為做出有意義的判斷。有效表達圖像（視頻）中的實際目標和場景內容是最基本，最核心的問題。因此，對于特征的構建和選擇得到廣泛關注，例如STIP、SIFT、MSER等。但是，能通過無監督方式讓機器自動從樣本中學習到表征樣本的特征，會讓人們更好地利用計算機來實現人的視覺功能。而深度學習作為神經網絡的延伸和發展，是通過逐層構建一個多層網絡來使得機器自動學習到隱含在數據內部的關系，從而讓學習到的特征更加準確性。

文章旨在探討深度學習與機器學習（神經網絡）之間的關系，并且介紹深度學習的由來、概念和原理；同時介紹目前深度學習在計算機視覺中的應用。最后提出深度學習目前發展所面臨的問題，以及對未來的展望。

2 深度學習

2.1 深度學習概述

深度學習源于人工神經網絡的研究，是機器學習的拓展。深度學習是經過組合低層特征來形成更加抽象的屬性類別和特征，從中發現原始數據的特征表征[2]。現在用于動作行為識別的技術是通過“動作表征”+“動作分類器”的框架來進行行為識別的。其中“動作表征”是人們手動設計特征獲取到的，也就是在目前識別框架內存在一個對動作圖像（視頻）的預處理過程。

深度學習和淺層學習相對。目前許多學習算法是淺層網絡學習方法，具有一定的局限性，例如在樣本有限的狀況下，表示復雜函數的能力有限制，且對復雜分類問題的泛化能力也會受到一定約束[3]。而深度學習通過學習深層非線性網絡結構，達到復雜函數逼近，又能在樣本少的情況下學習原始數據的特征。BP算法作為傳統神經網絡的典型算法，雖然訓練多層網絡，但僅含幾層網絡，訓練方法很不理想[3]。因為其輸入和輸出間非線性映射讓網絡誤差函數形成含多個極小點的非線性空間，因而經常收斂到局部最小，且隨著網絡層數的增加，容易過擬合。而深度學習可以獲得分布式表示，通過逐層學習算法來得到原始輸入數據的主要變量。通過深度學習的非監督訓練完成，同時利用生成性訓練避免因函數表達能力過強而出現過擬合情況。

2.2 深度學習原理

傳統機器學習僅含單層非線性變換的淺層網絡結構，而且淺層模型單一。這對于深度網絡來說易造成陷入最優或產生梯度分散等問題。因此，Hinton等人在基于深度置信網（DBNs）的情況下提出非監督貪婪逐層訓練算法，隨后提出了多層次自動編碼器深層結構，這給解決深層網絡結構相關的優化難題帶來了希望。此外Lecun等人提出的卷積神經網絡是第一個多層次結構的學習算法。同時深度學習還出現了許多結構：多層感知機、去噪自動編碼器、稀疏編碼等。

卷積神經網絡是第一個真正采用多層次網絡結構，具有魯棒性的深度學習算法，通過探究數據在空間上的相關性，減少訓練參數的數量。而且卷積神經網絡（CNN）適應性強，善于發現數據的局部特征。它的權重共享結構降低了網絡模型的復雜度，減少了權值的數量，使得卷積神經網絡在模式識別中取得了很好的結果。

自動編碼器的核心關鍵是將原始圖像（視頻）輸入信號進行編碼，使用編碼后的信號來重建原始信號，使得兩者之間的重建誤差最小。通過將原始信號編碼成另一形式，能夠有效地提取信號中的主要信息，能夠簡潔地表達原始圖像（視頻）的特征。

3 深度學習的應用

3.1 語音識別

從2009年開始，微軟研究院語音識別專家通過與Hinton合作，首先將RBM和DBN引入到語音識別聲學模型訓練中，使得語音識別的錯誤率相對減低30%，這徹底改變了語音識別原有的技術框架。在國際上，IBM、google等公司都快速進行了DNN語音識別的研究，并且速度飛快。國內方面，阿里巴巴，科大訊飛、百度、中科院自動化所等公司或研究單位，也在進行深度學習在語音識別上的研究。

3.2 視頻中的動作行為識別

準確迅速識別視頻中人的動作行為對于視頻搜索和視頻監控具有劃時代的意義。最近幾年，深度學習技術被應用于視頻動作行為識別中。如Ji等人[4]提出多層網絡的3D卷積神經網絡來學習視頻中的時空特征，并通過卷積來實現對整個視頻特征的學習，從而代替之前的時空興趣點檢測和特征描述提取。在TRECVID數據庫上進行的實驗取得了不錯效果。

4 結束語

文章對深度學習的主要概念進行了全面闡述，包括其由來、原理、研究進展和相應的應用等。在很多領域中，深度學習都表現了潛在的巨大價值，但深度學習作為淺層學習的延伸，仍處于發展階段，還有很多問題值得我們深入探討：

（1）我們需要了解深度學習的樣本復雜度，需要多少訓練樣本才能學習到足夠的深度模型。

（2）在推進深度學習的學習理論和計算理論的同時，我們是否可以建立一個通用的深度學習網絡模型，作為統一的框架來處理語音、圖像和語言。

（3）神經網絡具有前饋性連接和反饋性連接，可是我們研究的深度網絡中還沒有加入反饋連接，這些都給深度學習的研究帶來了嚴峻的挑戰。

參考文獻

[1]王亮，胡衛明，譚鐵牛.人運動的視覺分析綜述[J].計算機學報，2002，25（3）：225-237.

[2]余凱，賈磊，陳雨強.深度學習的昨天、今天和明天[J].計算機研究與發展，2013，50（9）：1799-1804.

神經網絡過擬合的表現范文第5篇

關鍵詞:價值投資;聚類分析;RBF神經網絡

1. 引言

隨著我國股票市場的不斷發展,越來越多的投資理念充斥著市場,成為投資者進行投資決策的依據,但其中的許多投資理念來自國外比較成熟的證券市場。這些理念對于中國的股票市場是否有效呢?本文試圖運用RBF神經網絡理論檢驗價值投資理念在中國股票市場的有效性。

1.1價值投資理念

價值投資理念,就是通過對股票內在價值的分析,與股票目前的價格相比較,從而決定買賣股票的一種投資理念。價值投資的實質就是通過對公司基本面的分析而采取相應投資策略的一種投資決策方法。

1.2 國內外研究動態

國外對價值投資理論研究的主要是對價值投資能否取得超額收益與超額收益的來源,而由于這一理念在國外提出的較早,并且價值投資的理念在實踐中已被廣大的投資者所接受并認可,甚至已經創造出驚人的成績,所以,在國外,對價值投資理念在股票市場的有效性研究很少。

而在國內,對于價值投資理念在中國股市是否適用的問題上,形成了兩種相反的觀點。孫友群等人分析了我國的宏觀經濟狀況和上市公司的微觀狀況,認為價值投資在中國股市具有極大的應用可能性和可行性。林斗志認為我國股市股票內在價值對股票價格的決定作用呈增強趨勢,價值投資理念在市場中逐步形成,但市場還不夠穩定,受非理性因素的沖擊較大。但是同時也有部分學者認為價值投資理念在中國行不通。

本文利用神經網絡這一研究非線性問題的工具來研究價值投資理念在中國股票市場的有效性問題。

2. 股票市場的非線性特征與RBF神經網絡的適用性

2.1 股票市場的非線性特征

股票市場是一個混沌的市場,具有很強的非線性特征:(1)對影響股市波動相同的因素來說,根據其對股市造成影響的時間不同,每次該項因素對股市影響的程度也不同,這與線性系統的特征是不相符的,這也就說明了股票市場的非線性性。(2)股票市場波動的突發性和劇烈程度,足以說明股票市場的非線性性。

通過以上可以看出股票市場存在非線性的特征,利用一般的線性分析工具來研究股票市場對研究結果將會造成很大的偏差,但神經網絡理論作為一種處理非線性問題的,以其自身的特點,可以很好的將其運用于解決此類問題。

2.2 RBF神經網絡適用性

2.2.1 人工神經網絡的特點

人工神經網絡是由大量神經元的信息處理單元構成,其主要原理是模擬生物神經元之間的激勵過程,通過這一復雜的過程來完成一系列的相關任務。神經網絡具有以下顯著特點:

(1)、具有自適應性,有強大的自主學習能力,可以通過訓練樣本并根據樣本信息及周圍環境變化改變自身的網絡結構,從而使自身能夠以最有效的形式來模擬訓練樣本所隱含的環境。

(2)、能從訓練樣本中獲取知識,并具有很好的記憶特征,可以用于處理一些環境復雜,推理并不明確的問題。

(3)、在非線性時間序列預測中,人工神經網絡實現了非線性關系的隱式表達,不需要建立復雜系統的顯示關系式,這也就是說我們可以在不知道具體函數關系式的前提下運用人工神經網絡進行預測。

(4)、神經網絡的容錯性強,可以處理信息不完全的預測問題。

(5)、由于神經網絡具有一致逼近的能力,訓練后的神經網絡在樣本點上輸出期望值(誤差在允許范圍內),在非樣本點上表現出神經網絡的聯想記憶功能。

2.2.2 RBF神經網絡的原理

RBF是一種三層前向網絡,包括輸入層、隱含層和輸出層,它的主要特點是隱含層神經元的輸出函數是具有徑向基對稱的基函數。第一層為輸入層,由大量輸入數據組成,第二層為隱含層,隱含層由許多類似高斯函數的函數構成,對輸入端進行加工,而輸出層一般是簡單的線性函數。

RBF網絡一般采用Gause函數作為基函數,被定義為:

其中,Ci和σi(i=1,2,……n,n為隱含層節點個數)分別是隱含層第i個單元徑向基函數中心和寬度。

由以上可知,神經元的權值Ci確定函數的中心,例如,當輸入X與Ci重合時,函數輸出達到最大值,當輸入X距離Ci越遠時,輸出就越小。σi決定了函數的寬度,當σi越 大,則輸入X在遠離Ci時衰減的速度就越快。Gause函數這樣的結構也就意味著只有當輸入接近RBF網絡的接受域時,網絡才會作出響應。

在RBF網絡中,輸入層至輸出層所有權重固定為1,隱含層RBF網絡的中心及半徑通常是先確定,只有隱含層和輸出層之間的權重值可調。RBF網絡的隱含層執行一種固定不變的非線性變換,將輸入空間的Rm映射到新的空間Rn,輸出層在新的空間實現線性組合。這就是RBF網絡的主要工作原理,其實質就是把在原來空間的非線性問題通過空間變換,轉換成在一個新的空間里的線性問題。

由于RBF網絡的這種組織結構以及其能夠很好解決非線性問題等特征,決定了RBF網絡不但具有一般神經網絡可以以任意精度逼近任意函數這樣的一個特點,而且,它還具有很強的聚類分析能力,這一點是本文之所以選用該網絡研究股票市場有效性的原因所在。

3. 實證研究

3.1 數據的選取

本文選取了在我國滬市和深市上市的商業百貨行業的企業作為研究對象,選取了該行業全部的26家上市公司,分別搜集它們2004年1季度到2010年1季度的各個季度的財務報表。

為了能對上市公司做出整體的價值評估,本文分別從五個方面對上市公司作出評價,包括從盈利能力、營運能力、成長能力、償債能力和現金流量獲取能力這五個方面做出評價。分別用凈資產收益率來衡量企業的盈利能力,總資產周轉率衡量企業的營運能力,凈利潤增長率衡量企業的成長能力,速動比率衡量企業的償債能力,每股現金凈流量衡量企業的現金獲取能力。本文之所以選取這些數據作為研究對象基于以下幾點原因:

首先,選取商品百貨行業是由于該行業的上市公司在財務指標方面有較大的共性,各個公司的差距不是特別明顯,這就有利于下面RBF網絡對它們的處理,提高了研究的準確度。

其次,關于財務指標的選取方面我們除對現金流量的衡量外全部采用比率指標去衡量,這也就避免了因不同公司的規模大小有區別而產生較大的差異。而對于每股現金凈流量這一指標,由于商品百貨行業自身的經營特點,它們的現金流量一般相對于其它行業來說都是比較大,并且在該行業內由于上市公司的經營狀況基本類似,該行業的現金流量的狀況在很大程度上和整個國家的宏觀經濟狀況有關,所以每股的現金凈流量在該行業的上市公司之間差別不大。

以上所有財務數據均由新浪財經提供,對于獲取的數據,我們進行相關整理,對由于不同原因缺失的相關數據利用插值法填充,保證數據的完整性,為進行下一步的分析做好基礎。

3.2 數據的聚類分析

在利用RBF網絡訓練過程中,要求訓練的數據量較大。一般來說,參加訓練的數據量越大,所得到的訓練后的網絡模擬的效果就越好。所以,為了滿足預測效果的要求,必須尋找多個公司作為訓練樣本,要求進行訓練的上市公司的財務數據必須十分相似,這才能保證結果的準確度。為此,我們采取聚類分析的方法,從這26家公司當中選出相似程度最大的4家公司作為最終的研究樣本。

通過利用SPSS統計軟件,按照上述方法對這26家公司的每季度的5種財務指標和股票收盤價的均值進行聚類,其結果如圖1所示:

從圖1中可以看出,新世界、百聯股份、南京新百、大連友誼這四家公司在第一步聚類的過程中就被歸為同一類,所以它們的相似程度最大,并且這四家公司同屬于國內二線城市的大型商業百貨集團,可見我們聚類分析的結果是成功的。

3.3 RBF的網絡訓練

在研究中我們已獲取的數據是根據聚類的結果得出的這四家公司的季度財務指標,還有我們根據計算所得到的這些上市公司每個季度股票收盤價的平均值,而我們的目標是利用訓練好的網絡對股票的價格進行預測。如果我們的預測值與實際值的誤差在可以接受的范圍之內,則說明利用財務數據對股票價格進行預測是可行的,也就說明了價值投資理念在我國股票市場是行之有效的;反之,則得出相反的結論。

根據我們已知的信息和需要解決的問題,我們分別把每個季度的5個財務指標作為網絡的輸入端,相對應的輸出端為該公司下一個季度股票收盤價格的平均值,這樣我們就做到了用當期的財務狀況去判斷該公司的股票價格對這些信息反應的有效性,并且利用了RBF網絡的“黑箱型”這一功能,可以很好地模擬財務狀況和股票價格這二者之間的關系。

在確定了最基本的輸入與輸出端之后,再來看一下調用RBF網絡的函數,本文采用的是newrb(P,T,goal,spread,MN,DF),其中P代表輸入,T代表輸出,goal是為訓練精度,也就是我們所允許的最大誤差。為了使模擬的效果盡可能達到最好,本文設定為0.00001,spread為徑向基層的散布常數,本文設定為4。而newrb這一函數的最大特點是可以根據所設定的訓練精度,通過添加隱含層的神經元個數循環訓練,直到訓練的結果達到我們的要求為止,這是本文選取該函數最為重要的原因。

通過以上的說明,RBF的基本網絡結構已經形成,利用已獲取的85組數據作為我們的研究對象,從中隨機挑選82組數據作為訓練樣本,剩余3組數據用于預測與檢驗。圖2和圖3就是我們的訓練樣本的情況。

由圖2所示,縱軸表示對神經網絡訓練的誤差精度,橫軸表示網絡中樣本的數量,所以從圖2中可以看出,對樣本訓練的結果達到了我們對訓練精度的要求,訓練后的網絡誤差在0.00001以下。由圖3所示,橫軸代表訓練樣本的個數(或者我們可以認為是訓練樣本的編號),縱軸代表訓練樣本的數值,其中綠色的圓圈代表的是每一個訓練樣本的實際值,而紅色的線代表的是對神經網絡進行訓練后所得到的預測線(擬合曲線),從圖中可以看出樣本的真實值基本上都在擬合曲線上,所以網絡的擬合效果較好,訓練的結果滿足我們的要求。在得到了訓練好的神經網絡之后,接下來所要做的就是對網絡的具體運用,也就是利用神經網絡對沒有參與訓練的樣本進行預測。

4. 結論

利用隨機抽取的三組數據進行預測,并將其預測值與實際值進行比較,結果如下表所示:

由上表可知,預測的誤差在3%左右,這就說明了利用當期的財務指標去判斷未來的股票走勢是比較準確的,同時也顯示出了價值投資理念對我國股票市場帶來的重要意義:

首先,說明了價值投資理念對于我國的股票市場來說是有效的,即廣大的投資者在可以根據上市公司公開的各種財務報表來判斷這一個公司的投資價值,從而對自己的買賣行為進行決策。

其次,價值投資理念為廣大的投資者提供了一個行之有效的投資方法,避免了投資者在投資于股票市場的盲目性。

最后,價值投資理念在我國股票市場的推行有利于我國股票市場的發展,進一步降低了我國股票市場的投機性,對形成一個真正穩定、有效的投資市場有著重要的意義。

參考文獻:

[1]孫友群,陳小洋,魏非.價值投資與中國股市對接的思考[J]. 財經理論與實踐,2002(2)

[2]林斗志.價值投資在我國股市表現的實證分析[J]. 財經科學,2004(1)

[3]李雪婷.論價值投資理論的原理及在中國股市的應用合理性分析[J].中國商界,2009(11)

[4]任秋娟.基于巴菲特投資理論的中國證券市場價值投資研究[J].現代商貿工業,2010(4)

[5]苑迪.基于動態神經網絡的股價預測模型研究[D].湖南大學,2009

[6]龐素林.信用評價與股市預測模型研究及應用[M].北京:科學出版社,2005