卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢

前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢范文，相信會(huì)為您的寫作帶來幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢范文第1篇

關(guān)鍵詞：手寫數(shù)字識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；應(yīng)用

手寫體數(shù)字識(shí)別在郵政、金融等領(lǐng)域應(yīng)用廣泛。對于數(shù)字識(shí)別，人們往往要求識(shí)別器有很高的識(shí)別可靠性，數(shù)字識(shí)別的錯(cuò)誤所帶來的影響比文字識(shí)別等其他識(shí)別所帶來的影響更大，特別是有關(guān)金融方面的數(shù)字識(shí)別錯(cuò)誤所帶來的后果是無法想象的，識(shí)別錯(cuò)一個(gè)數(shù)字，這其中的差距可能是幾的差距，也可能是幾十、幾百的差距，這些都還是小問題；但更有可能這一個(gè)數(shù)字代表的差距是幾萬、幾千萬甚至幾億乃至更多，那么這個(gè)錯(cuò)誤造成的損失就無法估量了。因此，O計(jì)出有著高可靠性與高識(shí)別率的數(shù)字識(shí)別系統(tǒng)已經(jīng)成為了字符識(shí)別領(lǐng)域一個(gè)非常重要的環(huán)節(jié)。

1 網(wǎng)絡(luò)模型和數(shù)據(jù)庫及學(xué)習(xí)算法的選擇

1.1 關(guān)于Mnist數(shù)據(jù)庫的介紹

首先，Mnist是NIST數(shù)據(jù)庫的一個(gè)優(yōu)化子集。它是一個(gè)有著60000個(gè)訓(xùn)練樣本集與10000個(gè)測試樣本集的手寫體數(shù)字?jǐn)?shù)據(jù)庫。此數(shù)字庫一共有4個(gè)文件。

此數(shù)字庫的所有樣本集都有圖像文件以及標(biāo)簽文件。標(biāo)簽文件的作用是用來儲(chǔ)存樣本集中的每個(gè)樣本的數(shù)值標(biāo)簽，而每一個(gè)樣本的圖像數(shù)據(jù)信息則是由圖像文件存儲(chǔ)著。此數(shù)據(jù)庫的圖像數(shù)據(jù)均保存在二進(jìn)制文件之中，且每個(gè)樣本圖像的大小均為28*28。

1.2 數(shù)字識(shí)別的模型選擇

手寫體數(shù)字雖然只有0～9十個(gè)數(shù)字，但由于寫法因人而異，不同地域同樣一個(gè)數(shù)字有多種不同的寫法，每個(gè)人都有自己的書寫習(xí)慣。且一些紙質(zhì)差異、筆畫粗細(xì)、光線問題、位置、尺度大小等等多種因素都能對輸入產(chǎn)生影響。考慮到這些因素，為讓網(wǎng)絡(luò)有良好的識(shí)別能力，我們這里采用在圖像識(shí)別領(lǐng)域有著優(yōu)秀表現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)作為此數(shù)字識(shí)別系統(tǒng)的訓(xùn)練模型。

1.3 學(xué)習(xí)算法的選擇

一個(gè)優(yōu)秀的網(wǎng)絡(luò)模型必須具備良好的學(xué)習(xí)算法，每個(gè)學(xué)習(xí)網(wǎng)絡(luò)都有著相對來說較為合適自己的學(xué)習(xí)算法，而并不是說越高端的算法就越好。在此文中，我選擇的學(xué)習(xí)算法是較為成熟的BP算法。此算法在文字前面有些許介紹，此處不再多做說明。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)字識(shí)別系統(tǒng)的設(shè)計(jì)

2.1 輸入層以及輸出層設(shè)定

根據(jù)樣本的特征與此網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，可以大概判斷出輸入層與輸出層該如何設(shè)置。隱含層的個(gè)數(shù)可以是一個(gè)，也可以是多個(gè)，這與要分類的問題有關(guān)。

前文提及到在mnist數(shù)據(jù)庫中，所有的圖像都是28*28大小的，且以整個(gè)圖片的像素形式存儲(chǔ)在數(shù)據(jù)文件之中。每張圖像大小為28*28，故一個(gè)圖片像素點(diǎn)個(gè)數(shù)為784個(gè)。這里，卷積神經(jīng)網(wǎng)絡(luò)的輸入即為這784個(gè)像素點(diǎn)。

因?yàn)閿?shù)字識(shí)別需要識(shí)別的是0～9這十個(gè)數(shù)字，即需要識(shí)別十種字符類別，所以將這個(gè)神經(jīng)網(wǎng)絡(luò)輸出層的神經(jīng)元節(jié)點(diǎn)數(shù)設(shè)置為10。

2.2 網(wǎng)絡(luò)的中間層設(shè)置

卷積神經(jīng)網(wǎng)絡(luò)的中間層有兩個(gè)部分，即卷積層（特征提取層）與下采樣層（特征映射層），由第二章中圖2-1所示，C1、C3為卷積層，S2、S4為降采樣層。

1）激活函數(shù)選擇

激活函數(shù)選擇sigmoid函數(shù)。同樣，在第二章有所提及。Sigmoid函數(shù)是嚴(yán)格遞增函數(shù)，能較好的平衡線性與非線性之間的行為，比較貼近生物神經(jīng)元的工作。相比于其他函數(shù)，sigmoid函數(shù)還存在著許多優(yōu)勢，比如光滑性、魯棒性以及它的導(dǎo)數(shù)可以用它自身來表示。

sigmoid函數(shù)為：

（1）

其中，x為神經(jīng)元凈輸入。

激活函數(shù)導(dǎo)數(shù)為：

（2）

2）卷積層設(shè)計(jì)

圖像經(jīng)過卷積核對特征圖進(jìn)行卷積，之后再經(jīng)過sigmoid函數(shù)處理在卷積層得到特征映射圖。特征映射圖相比于原圖像，其特征更為明顯突出。

卷積運(yùn)算其實(shí)就是一個(gè)加權(quán)求和的過程。離散卷積是本文所選取的方法，規(guī)定卷積核在水平和豎直兩個(gè)方向每次都是移動(dòng)一個(gè)像素，即卷積的步長為1。

3）下采樣層的設(shè)計(jì)

根據(jù)圖像局部相關(guān)性這一原理，為了降低網(wǎng)絡(luò)的學(xué)習(xí)維度、減少需要處理的數(shù)據(jù)量且保留圖像的有用信息，可以對卷積后的圖像進(jìn)行下采樣。這里，我們采取的是取卷積層4個(gè)像素點(diǎn)平均值為下采樣層的一個(gè)像素點(diǎn)的方法。這樣可以降低網(wǎng)絡(luò)規(guī)模。

2.3 網(wǎng)絡(luò)總體結(jié)構(gòu)CNN-0

根據(jù)LeNet-5結(jié)構(gòu)，再結(jié)合上文中的對輸入層、輸出層、中間層的設(shè)計(jì)，完成了如圖3-1所示的基本網(wǎng)絡(luò)結(jié)構(gòu)：

相比于LeNet-5，CNN-0做了一些修改，并非完全按照LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)模型。Sigmoid函數(shù)是本網(wǎng)絡(luò)中的激活函數(shù)，選擇這個(gè)函數(shù)的好處在于可以讓所有層得到的輸出都在區(qū)間[-1，1]之內(nèi)。網(wǎng)絡(luò)訓(xùn)練的學(xué)習(xí)率固定值為1或者是衰減的學(xué)習(xí)速率。經(jīng)過卷積后的一維向量與輸出層沒有沿用LeNet-5的徑向基函數(shù)網(wǎng)絡(luò)，而是采取全連接方式，省去了F6層。

3.3 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程

在模式識(shí)別中，學(xué)習(xí)網(wǎng)絡(luò)有無指導(dǎo)學(xué)習(xí)網(wǎng)絡(luò)與有指導(dǎo)學(xué)習(xí)網(wǎng)絡(luò)兩個(gè)類別。無指導(dǎo)學(xué)習(xí)網(wǎng)絡(luò)一般是用來進(jìn)行聚類分析，本文采取的是有指導(dǎo)學(xué)習(xí)網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)其實(shí)就是從輸入到輸出的一種映射，它可以學(xué)量的映射關(guān)系，只需要用現(xiàn)有的模式對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，網(wǎng)絡(luò)就能具備映射能力。而不需要輸入與輸出之間的精確的關(guān)系。

訓(xùn)練算法與傳統(tǒng)的BP算法相差無幾（BP算法在第二章有做概述），主要可分為四個(gè)步驟，而這四個(gè)步驟可以歸為向前傳播階段與向后傳播階段：相前傳播：

1）隨機(jī)的從樣本集中獲取一個(gè)樣本（A， ），然后將A輸入至網(wǎng)絡(luò)中；

2）根據(jù)公式（3）計(jì)算出實(shí)際輸出：

（3）

向后傳播：

1）計(jì)算和理想輸出之間的差；

2）根據(jù)極小化誤差方法調(diào)整權(quán)值矩陣。

結(jié)語

在手寫數(shù)字識(shí)別這一塊，相對來說比較有難度的應(yīng)該就是脫機(jī)自由手寫字符識(shí)別了，不過本文所研究的并不是這一系統(tǒng)，本設(shè)計(jì)是一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別系統(tǒng)，因卷積神經(jīng)網(wǎng)絡(luò)的局部感受野和降采樣以及權(quán)值共享、隱性特征提取等優(yōu)點(diǎn)，它在圖像識(shí)別領(lǐng)域得到了非常廣泛的應(yīng)用。此程序是在Caffe這個(gè)框架上進(jìn)行運(yùn)行的，操作系統(tǒng)為Linux系統(tǒng)ubuntu14.04版本。Caffe是一個(gè)開源的深度學(xué)習(xí)框架，也可以說是一個(gè)編程框架或者模板框架，它提供一套編程機(jī)制。因此，本文所需要實(shí)際的卷積神經(jīng)網(wǎng)絡(luò)就可以根據(jù)這個(gè)框架來進(jìn)行構(gòu)建。

參考文獻(xiàn)：

[1]張偉，王克儉，秦臻.基于神經(jīng)網(wǎng)絡(luò)的數(shù)字識(shí)別的研究[J].微電子學(xué)與計(jì)算，2006年第23卷第8期.

卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢范文第2篇

根據(jù)美國New Scientist雜志報(bào)道，F(xiàn)acebook的人工智能團(tuán)隊(duì)已經(jīng)開發(fā)出一種識(shí)別算法，即使看不清楚人臉，也能根據(jù)各種線索，例如發(fā)型、服飾、身材和姿勢等進(jìn)行識(shí)別―比如Facebook就能輕松地認(rèn)出它的創(chuàng)始人扎克伯格，因?yàn)樗偸谴┮患疑玊恤。這項(xiàng)技術(shù)的準(zhǔn)確率據(jù)稱可以達(dá)到83%。

傳統(tǒng)的人臉識(shí)別是程序員預(yù)先將整套鑒別系統(tǒng)寫好，告訴計(jì)算機(jī)一些標(biāo)簽信息，例如，人臉是由哪幾個(gè)部分組成、各個(gè)部分的相對位置等等。隨后再用大量照片讓計(jì)算機(jī)學(xué)習(xí)，對其進(jìn)行訓(xùn)練―簡單地說，就是事先給出標(biāo)準(zhǔn)答案，然后讓計(jì)算機(jī)學(xué)習(xí)。

這種訓(xùn)練方式叫有監(jiān)督學(xué)習(xí)，程序員像是老師一樣給出幾個(gè)標(biāo)簽作為標(biāo)準(zhǔn)答案，讓計(jì)算機(jī)“按標(biāo)索臉”。但當(dāng)程序員給出的標(biāo)簽數(shù)量不夠多，不能全面描述一個(gè)事物的時(shí)候，計(jì)算機(jī)的識(shí)別準(zhǔn)確率就會(huì)很低。所以，程序員要做的就是不斷增加標(biāo)簽，完善識(shí)別模板。

通過有監(jiān)督學(xué)習(xí)的方式來訓(xùn)練計(jì)算機(jī)，效率較低，程序員需要花費(fèi)大量的時(shí)間來編寫標(biāo)簽代碼、測試計(jì)算機(jī)和補(bǔ)充標(biāo)簽代碼，并且一套完善的鑒別系統(tǒng)只能識(shí)別出一種事物。

Facebook是不會(huì)花時(shí)間給每個(gè)人的發(fā)型和衣服寫一套代碼的。高效地識(shí)別各類事物，還需要借助于更智能的識(shí)別方式。而這種方式是通過基于卷積神經(jīng)網(wǎng)絡(luò)的無監(jiān)督學(xué)習(xí)完成的。

使用無監(jiān)督學(xué)習(xí)來訓(xùn)練計(jì)算機(jī)的時(shí)候，程序員并不需要告訴計(jì)算機(jī)人臉有哪些特點(diǎn)，只需要提供大量人臉照片讓計(jì)算機(jī)看，計(jì)算機(jī)就能找到這些圖片的共同特點(diǎn)，并自動(dòng)繪制出這類事物的模板。這省去了編寫標(biāo)簽代碼的過程，識(shí)別的效率極大提高。

Google的“貓臉識(shí)別”系統(tǒng)就是這樣的工作原理。這個(gè)由1000臺(tái)計(jì)算機(jī)、1.6萬個(gè)芯片組成的系統(tǒng)在“學(xué)習(xí)”了數(shù)百萬張貓臉圖片后，將邊界、亮度、形狀、色彩和局部形狀等多個(gè)特征分類，做成標(biāo)簽，繪制模板。

當(dāng)再看到一張圖片后，系統(tǒng)會(huì)逐級(jí)對其進(jìn)行識(shí)別。比如先判斷圖像的特定方位、位置邊沿的有無，再通過不同的形狀來檢測局部圖案，接下來則是將局部圖案與模板中物體的相應(yīng)部分匹配。后續(xù)的層級(jí)會(huì)把這些局部組合起來從而識(shí)別出整體。最后，系統(tǒng)將圖片中的貓臉識(shí)別出來，并與之前學(xué)習(xí)過的數(shù)百萬張貓臉圖片歸為一類。

這其實(shí)和人類的思維以及識(shí)別事物的過程十分相似。由于絕大多數(shù)圖片都是由多種事物組成的，無監(jiān)督學(xué)了自行繪制模板，還會(huì)將不同事物進(jìn)行分類，進(jìn)而分類繪制模板。

“卷積就是匹配的意思。”微軟（亞洲）互聯(lián)網(wǎng)工程院資深研發(fā)總監(jiān)胡睿對《第一財(cái)經(jīng)周刊》說，“我們有幾千個(gè)或者幾萬個(gè)模板在一個(gè)卷積神經(jīng)網(wǎng)絡(luò)里面。如果新來一張圖片，就用這些模板去做卷積，再通過神經(jīng)網(wǎng)絡(luò)推理出它到底是模板中的哪一類。”

Facebook的新技術(shù)使用的也是卷積神經(jīng)網(wǎng)絡(luò)。要知道，卷積神經(jīng)網(wǎng)絡(luò)技術(shù)正是Facebook的人工智能實(shí)驗(yàn)室負(fù)責(zé)人Yann LeCun，在1980年代末開發(fā)出的。2003年，他成為紐約大學(xué)的教授。而移動(dòng)互聯(lián)網(wǎng)的興起帶來的海量數(shù)據(jù)，為這一技術(shù)的進(jìn)一步發(fā)展提供了極大可能。

如今，在互聯(lián)網(wǎng)巨頭公司中，F(xiàn)acebook擁有基于社交網(wǎng)絡(luò)的大量圖片，這一點(diǎn)非常吸引LeCun。2014年，他加入了Facebook，把實(shí)驗(yàn)室從學(xué)校搬到了公司。

除了豐富的圖片資源，F(xiàn)acebook還有一項(xiàng)更大的優(yōu)勢：作為全球最大的社交網(wǎng)站，它能獲取照片的拍攝地址、分析用戶的社交關(guān)系，并在此基礎(chǔ)上識(shí)別出照片中的人物。也就是說，即使在一些照片中，你的臉不是很清楚，并且其他和你相關(guān)的信息也比較缺乏，但是Facebook會(huì)根據(jù)你以往的消息推斷出這張照片是在哪兒拍的，照片中哪個(gè)人是你，甚至你旁邊那些臉部同樣模糊的人都是你哪些朋友。

“Facebook需要解決的問題，并不是從50億個(gè)人中把你挑出來，”胡睿說，“它只需要從幾百個(gè)或者上千個(gè)與你有關(guān)系的人中間把你挑出來，這樣問題其實(shí)極大地簡化了。”

Facebook的研究人員表示，這項(xiàng)技術(shù)未來可以用于其Moments的照片分享。Moments是不久前Facebook推出的一款私密照片分享應(yīng)用，主要是用來讓好友間的圖片交換與分享變得更方便。

不過目前，這項(xiàng)“不看臉識(shí)人”的技術(shù)還沒有被應(yīng)用在它Facebook的產(chǎn)品中，或許其中一個(gè)原因是，它還很難達(dá)到傳統(tǒng)人臉識(shí)別技術(shù)的高準(zhǔn)確率。Facebook也承認(rèn)，這個(gè)算法并不十分完美。尤其，基于服飾的判斷無法做到百分之百準(zhǔn)確，畢竟，不是所有人都像扎克伯格那樣，每天穿著同樣的衣服。

卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢范文第3篇

隨著時(shí)代的發(fā)展，構(gòu)建在互聯(lián)網(wǎng)生態(tài)模式之上的云計(jì)算、大數(shù)據(jù)、人工智能等新技術(shù)，正滲透到每一個(gè)行業(yè)，引發(fā)產(chǎn)業(yè)生產(chǎn)、服務(wù)模式的變革，并且已經(jīng)取得一系列重要成果。在此背景下，大學(xué)教學(xué)如何跟上時(shí)代步伐，是值得每一個(gè)高校教師深入思考的問題。程序設(shè)計(jì)作為計(jì)算機(jī)專業(yè)大學(xué)生的必修課程和必須掌握的基本技能，其教學(xué)改革在新時(shí)代下尤顯必要。

傳統(tǒng)的大學(xué)教學(xué)中，一直都以C/C++或Java作為教學(xué)語言。誠然，C/C++和Java是當(dāng)今使用人數(shù)最多的語言，但在“互聯(lián)網(wǎng)+”時(shí)代，面對大數(shù)據(jù)分析時(shí)，特別是面對數(shù)據(jù)采集、仿真建模、結(jié)果驗(yàn)證與數(shù)據(jù)可視化時(shí)，他們就不再是最佳選擇。

Python作為一種解釋型超高級(jí)語言，具備交互式、可移植、面向?qū)ο蟮奶攸c(diǎn)。它功能強(qiáng)大，適用于多種操作系統(tǒng)，有完善豐富的工具包，正在得到越來越多的應(yīng)用，而且越來越被重視。2017年4月，北京理工大學(xué)計(jì)算機(jī)學(xué)院和高等教育出版社聯(lián)合承辦了“第一屆高等學(xué)校Python語言及計(jì)算生態(tài)教學(xué)研討會(huì)”，提出了計(jì)算生態(tài)的概念[1]，大力推動(dòng)了Python教學(xué)。在此背景下，根據(jù)我們在Python教學(xué)和科研中的應(yīng)用經(jīng)驗(yàn)，對如何進(jìn)行基于Python計(jì)算生態(tài)的教學(xué)改革進(jìn)行探討。

1 Python語言的興起與優(yōu)勢

從20世紀(jì)中期到今天，短短的70年間，電子計(jì)算機(jī)經(jīng)歷了飛速的發(fā)展，出現(xiàn)了許多不同的程序設(shè)計(jì)語言，例如Pascal、Fortran、C、C++、Java、PHP、C#等，這些不同的語言，都體現(xiàn)了不同的設(shè)計(jì)哲學(xué)，也反映了不同的時(shí)代特點(diǎn)。

然而，每種程序設(shè)計(jì)語言都有其局限性。Python的設(shè)計(jì)者Guido von Rossum希望有一種語言，既具有C方便地調(diào)用計(jì)算機(jī)功能接口的能力，又可以像一些腳本語言一樣輕松地編程。Python正是在這種背景下被創(chuàng)造出來。

同C/C++和Java等語言相比，Python有以下優(yōu)勢：

（1）簡單易學(xué)。Python是一種代表簡單主義思想的語言，語法簡單，學(xué)習(xí)起來容易上手。這使學(xué)生能夠?qū)Ｗ⒂诮鉀Q問題而不是學(xué)習(xí)語言本身。

（2）解釋性。Python寫的程序不需要編譯成二進(jìn)制代碼，可以直接從源代碼運(yùn)行程序。這使得Python更加簡單，更易于移植。

（3）面向?qū)ο蟆ython既支持面向過程的編程，也支持面向?qū)ο蟮木幊獭?/p>

（4）可擴(kuò)展性。為了提升運(yùn)行效率，可以采用C/C++來編寫關(guān)鍵代碼，然后在Python程序中使用它們。

（5）混合編程。Python被稱為膠水語言，是由于可以很容易地將Python與其他語言進(jìn)行混合編程。這樣方便地利用已有的各種工具包，提高開發(fā)效率。

（6）豐富的庫。Python有強(qiáng)大的標(biāo)準(zhǔn)庫，并且Python的生態(tài)系統(tǒng)開始拓展到第三方包，例如用于Web框架的web.py ，用于科學(xué)計(jì)算的numpy，以及用于數(shù)據(jù)可視化的matplotlib等。

Python作為一種跨平臺(tái)編程語言，已經(jīng)被移植在以Linux、Windows、Mac、Android為代表的許多平臺(tái)上。由于Python的開放性，有豐富的來自開源社區(qū)的成熟庫支持，從而可以基于Python完成各種工作，例如數(shù)據(jù)采集（如網(wǎng)絡(luò)爬蟲）、圖像處理、機(jī)器學(xué)習(xí)、科學(xué)計(jì)算等。

2 針對Python的應(yīng)用支持與國內(nèi)外課程建設(shè)情況

正由于Python具有上述優(yōu)點(diǎn)，它獲得了業(yè)界的廣泛支持。例如在Google公司，Python是繼C++和Java之后，使用率排名第三的編程語言，使用Python的開發(fā)團(tuán)隊(duì)也是Google的第三大研發(fā)部門。

（1）Tensorflow：TensorFlow是由Google Brain小組開發(fā)的用于機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)的工具。據(jù)統(tǒng)計(jì)，Tensorflow是目前使用人數(shù)最多的開源深度學(xué)習(xí)框架[2]。TensorFlow本身是使用C++實(shí)現(xiàn)的，然后用Python封裝。Tensorflow可以根據(jù)用戶給出的所有指令創(chuàng)建一個(gè)計(jì)算圖，該圖被內(nèi)部優(yōu)化和編譯成可執(zhí)行的C++代碼。這樣Tensorflow就可以利用Python 帶來的開發(fā)速度和C++帶來的執(zhí)行速度。

（2）Google App Engine：Google App Engine（GAE），是谷歌推出的云平臺(tái)，它完全把CPU、內(nèi)存等硬件基礎(chǔ)設(shè)施抽象化，這樣只需要關(guān)注代碼的編寫，不需要關(guān)注硬件、操作系統(tǒng)或者物理位置。Python是GAE最早支持編程的語言之一，任何使用Python編寫的程序，都可以配合Google Python API，很方便地在GAE上創(chuàng)建、部署、運(yùn)行Python程序。

（3）Caffe（Convolutional Architecture for Fast Feature Embedding）：Caffe是由Berkeley AI Research（BAIR）和Berkeley Vision and Learning Center （BVLC）社?^貢獻(xiàn)者開發(fā)的另一個(gè)深度學(xué)習(xí)框架。同Tensorflow一樣，Caffe也是采用C++進(jìn)行編寫，然后提供Python封裝，從而既可以利用C++的高執(zhí)行效率，也可享受Python的高開發(fā)效率。

（4）在好萊塢，工業(yè)光魔公司（Industrial Light） 采用Python制作商業(yè)動(dòng)畫，在“阿貝斯（Abyss）”“星球之旅（Star Trek）”“Indiana Jones”等超級(jí)大片中驚艷登場。

（5）ERP和CRM軟件的開發(fā)也開始基于Python完成；Red Hat曾用Python和Tk一起成功開發(fā)配置和管理操作系統(tǒng)的可視界面，整個(gè)系統(tǒng)可以全面控制Linux操作系統(tǒng)，并根據(jù)用戶選擇對配置文件作自動(dòng)更新。

正由于Python是受到業(yè)界的歡迎，國外很多高校（如麻省理工學(xué)院、斯坦福大學(xué)、加州大學(xué)洛杉磯分校等）已經(jīng)用Python作為程序設(shè)計(jì)語言的教學(xué)對象。在Coursera等在線教育平臺(tái)上，可以發(fā)現(xiàn)有來自密歇根大學(xué)、萊斯大學(xué)、約翰霍普金斯大學(xué)等眾多高校的Python課程；國內(nèi)南京大學(xué)張莉老師的課程也在其中。然而國內(nèi)這方面的工作做得還遠(yuǎn)遠(yuǎn)不夠。截至2015年，我國開設(shè)Python語言教學(xué)的高校不超過10所[3]。目前在國內(nèi)大力推動(dòng)Python教學(xué)改革的主要有北京理工大學(xué)嵩天老師等人，已編著并出版相應(yīng)的大學(xué)教材[4]，受到廣泛歡迎。哈爾濱工業(yè)大學(xué)車萬翔老師等人分析了C語言作為入門語言的不足和Python作為入門語言的優(yōu)勢，闡述了計(jì)算機(jī)專業(yè)高級(jí)語言程序設(shè)計(jì)課程的改革方案和實(shí)施效果[5]。南京大學(xué)張莉老師發(fā)表了《基于MOOC的“用Python玩轉(zhuǎn)數(shù)據(jù)”翻轉(zhuǎn)課堂實(shí)踐與研究》，研究證明：采用Python教學(xué)可以較好地提高學(xué)生的主動(dòng)學(xué)習(xí)能力、學(xué)習(xí)興趣和熱情以及問題求解能力[6]。

3 基于Python的教學(xué)科研應(yīng)用改革案例

3.1 輸入輸出

輸入輸出（I/O）是每個(gè)程序都必須具備的重要功能。常見的I/O可以分為3類：標(biāo)準(zhǔn)I/O（終端打印等）、文件I/O和網(wǎng)絡(luò)I/O。以?K端I/O為例：

/* Basic I/O in C */

#include

int main（）

{

char name[20]； /* char數(shù)組，保存第一行輸入，作為名字輸出 */

scanf（"%s"， name）； /*讀取第一行輸入 */

printf（"Hello %s＼n"， name）；

return 0；

}

以上用C語言編寫的有效代碼共計(jì)8行，輸入輸出都采用標(biāo)準(zhǔn)庫函數(shù)。由于C語言本身設(shè)計(jì)方面的缺陷（如果第一行輸入超出char數(shù)組大小），可能導(dǎo)致嚴(yán)重的緩沖區(qū)溢出問題。針對這一問題，C++對數(shù)組越界進(jìn)行了保護(hù)，從而提高系統(tǒng)安全性。

如果采用Java實(shí)現(xiàn)，則有效代碼共10行。由于Java的面向?qū)ο缶幊趟枷耄旅孢@個(gè)示例程序中多了很多對象構(gòu)造的流程，引用的庫看起來也相對較多，如下所示。我們只需要對這段代碼進(jìn)行稍微修改，就可以實(shí)現(xiàn)網(wǎng)絡(luò)I/O和文件I/O。例如，替換“System.in”，就能夠?qū)崿F(xiàn)對文件或者網(wǎng)絡(luò)流讀取。將“Reader”和“InputStream”替換，就能夠?qū)崿F(xiàn)寫入。

/ * Basic I/O in Java */

import java.io.BufferedReader；

import java.io.IOException；

import java.io.InputStreamReader；

public class HelloWorld {

public static void main（String[] args） throws Exception { /*所有Java程序的入口函數(shù) */

/* 新建輸入對象，用來讀取標(biāo)準(zhǔn)輸入。其中對象構(gòu)造有嵌套*/

BufferedReader reader = new BufferedReader（new InputStreamReader（System.in））；

String name = reader.readLine（）； /* 讀取第一行輸入 */

System.out.printf（"Hello %s＼n"， name）；

}

}

相比之下，基于Python的代碼則非常短小簡潔：

/* Basic I/O in Python */

import sys

name = sys.stdin.readline（） /* 讀取第一行輸入 */

print（"Hello " + name）

有效代碼僅僅只有3行！同樣，替換其中的“sys.stdin”可以實(shí)現(xiàn)對文件讀取。對于動(dòng)態(tài)類型的Python來說，所有的變量都不需要繁復(fù)的聲明，直接用就可以，再加上解釋執(zhí)行的特點(diǎn)，無需定義入口函數(shù)即可運(yùn)行。

以上是對C/C++、Java、Python在基本終端I/O操作上的比較，當(dāng)推廣到文件I/O和網(wǎng)絡(luò)I/O后，Python的優(yōu)勢會(huì)更突出，詳見表1。

3.2 數(shù)據(jù)操作

數(shù)據(jù)處理是大數(shù)據(jù)時(shí)代我們面臨的首要問題。然而，由于信息化系統(tǒng)建設(shè)過程中，數(shù)據(jù)可能以不同的結(jié)構(gòu)存在，可能是純文本文件、CSV格式，也可能是Excel格式，或者是各種不同廠商的數(shù)據(jù)庫格式。

當(dāng)然，可以采用C++或Java來讀取各種異構(gòu)數(shù)據(jù)源，但過程相當(dāng)繁瑣，需要利用各種底層驅(qū)動(dòng)，甚至是一些商業(yè)化組件。以Excel文件讀取為例，為了處理Excel數(shù)據(jù)，C/C++代碼需要用到libxl商業(yè)庫，而Java也需要用到Apache POI開源庫。而利用Python對Excel文件進(jìn)行讀取則需要利用Pandas開源數(shù)據(jù)處理分析庫，示例代碼如下：

/* Read Excel in Python */

import pandas

df = pandas.read_excel（'sample.xls'）

print df.columns /* 輸出列名 */

values = df['列名'].values /* 獲取某一列的所有數(shù)據(jù) */

FORMAT = ['列名1'， '列名2'， '列名3'] /* 獲取指定列組成的數(shù)據(jù)幀 */

df_selected = df[FORMAT]

總的來說，在數(shù)據(jù)庫操作方面，C++、Java和Python的支持都非常好。C++和Java都為SQL提供了標(biāo)準(zhǔn)的連接、驅(qū)動(dòng)管理類，不同的數(shù)據(jù)庫只需要加載不同的驅(qū)動(dòng)就可以。Java對數(shù)據(jù)庫有比較好的語言級(jí)別支持，相應(yīng)的驅(qū)動(dòng)也比較豐富。Python也提供語言級(jí)別的支持，同時(shí)第三方庫十分豐富，甚至一種數(shù)據(jù)庫有多個(gè)不同的連接庫。另外值得一提的是， 盡管當(dāng)前很多流行的分布式大數(shù)據(jù)平臺(tái)及分布式數(shù)據(jù)庫使用Java編寫，但利用Python同樣能夠方便地基于第三方庫實(shí)現(xiàn)操作Hbase、Hive以及其他非關(guān)系數(shù)據(jù)庫，如Mongodb、Redis等，這種特點(diǎn)是C/C++不能比擬的。表2為Python與C++、Java在數(shù)據(jù)庫操作上的比較。

由于Python對各種文件和數(shù)據(jù)庫的支持都非常好，它十分適合編寫數(shù)據(jù)庫之間，數(shù)據(jù)庫與文件之間相互導(dǎo)入導(dǎo)出數(shù)據(jù)的腳本，是大數(shù)據(jù)處理的首選語言。

3.3 數(shù)據(jù)可視化

豐富的可視化數(shù)據(jù)圖形能夠更好地對數(shù)據(jù)進(jìn)行展示。利用數(shù)據(jù)可視化，可方便分析人員從宏觀上了解數(shù)據(jù)的形態(tài)和分布，或者進(jìn)行最后的結(jié)果展示。

Python提供了豐富的數(shù)據(jù)可視化工具，如pandas、Seaborn、Bokeh、matplotlib等。下面以matplotlib為例說明如何利用Python完成數(shù)據(jù)繪圖與可視化。

假定我們要展現(xiàn)的數(shù)據(jù)用CSV格式保存，內(nèi)容見表3。目標(biāo)是基于matplotlib進(jìn)行直觀的數(shù)據(jù)總體分布展示，例如利用直方圖統(tǒng)計(jì)年齡分布、利用箱體圖展示薪資水平、利用散點(diǎn)圖繪制年齡與收入的相關(guān)關(guān)系。完整代碼如下：

import matplotlib.pyplot as plt

import pandas as pd

df = pd.read_csv（"example.csv"） /* ?x取數(shù)據(jù) */

fig = plt.figure（）

ax1 = fig.add_subplot（1，4，1） /* 定義展示布局 */

ax1.hist（df["Age"]， bins = 5） /* 定義直方圖 */

plt.axis（[20，45，0，5]）

plt.title（"Age distribution"）

plt.xlabel（"Age"）

plt.ylabel（"Employee"）

plt.show（）

ax2 = fig.add_subplot（1，4，2） /* 確定圖在畫布中的位置 */

ax2.boxplot（df["Age"]） /* 定義箱線圖 */

ax3 = fig.add_subplot（1，4，3）

ax3.bar（df["Age"]，df["Income"]） /* 定義條形圖 */

ax3.set_title（"Income distribution"）

ax3.set_xlabel（"Age"）

ax3.set_ylabel（"Income"）

ax4 = fig.add_subplot（1，4，4）

ax4.scatter（df["Age"]，df["Income"]） /* 定義散點(diǎn)圖 */

ax4.set_title（"Income distribution"）

ax4.set_xlabel（"Age"）

ax4.set_ylabel（"Income"）

plt.show（）

得到的可視化效果如圖1所示。

Python的開放性還表現(xiàn)為利用支持庫，實(shí)現(xiàn)如圖1所示的各類統(tǒng)計(jì)效果和復(fù)雜的展示（如地圖、熱力圖以及復(fù)雜網(wǎng)絡(luò)等）。此外，除了構(gòu)建在Python之上的原生庫，還有大量其他的數(shù)據(jù)可視化工具包（如基于Javascript的Plot.ly、百度的Echart等），這些工具包同時(shí)也提供Python的調(diào)用封裝，豐富了基于Python的可視化效果，體現(xiàn)了強(qiáng)大的Python計(jì)算生態(tài)。

3.4 圖像處理與深度神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)的出現(xiàn)點(diǎn)燃了研究者對神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)的研究熱情，特別是基于Google Tensorflow的AlphaGo接連擊敗世界圍棋冠軍，更加吸引了人們對深度學(xué)習(xí)的關(guān)注。在深度學(xué)習(xí)領(lǐng)域，很多優(yōu)秀的開源平臺(tái)與框架（如Tensorflow、Caffe、Theano、MXNet等）都提供Python接口。這也從側(cè)面反映出Python計(jì)算生態(tài)已經(jīng)建立。下面以Tensorflow提供的Python接口為例，介紹Python在圖像處理與深度神經(jīng)網(wǎng)絡(luò)方面的應(yīng)用。

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一個(gè)重要模型。Tensorflow已經(jīng)屏蔽了關(guān)于卷積神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)，如神經(jīng)元函數(shù)、拓?fù)溥B接狀態(tài)等。程序員只需要通過參數(shù)指定，就能完成網(wǎng)絡(luò)模型的設(shè)計(jì)，例如

conv1 = tf.layers.conv2d（inputs=input_layer，filters=32，kernel_size=[5， 5]， padding="same"，activation=tf.nn.relu）

pool1 = tf.layers.max_pooling2d（inputs=conv1， pool_size=[2， 2]， strides=2）

通過設(shè)置輸入層ID、激活函數(shù)、padding方法、核大小等參數(shù)，就可以唯一確定輸入層、卷積層、池化層，再通過調(diào)整參數(shù)并選擇一定的學(xué)習(xí)算法，結(jié)合pillow、scikit-image等基于Python的圖像處理工具包，從而可以利用深度網(wǎng)絡(luò)自動(dòng)完成特征學(xué)習(xí)，完成模式識(shí)別或圖像分類工作。

卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢范文第4篇

關(guān)鍵詞：視覺注意；自頂向下；顯著性；對象信息；卷積神經(jīng)網(wǎng)

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-9081（2016）11-3217-05

0 引言

視覺注意機(jī)制的研究是探索人眼視覺感知的重要一環(huán)。在過去幾十年中，如何用計(jì)算模型模擬人眼視覺注意過程一直是核心問題。盡管取得了很大的進(jìn)步，但是快速準(zhǔn)確地在自然場景中預(yù)測人眼視覺注意區(qū)域仍然具有很高的挑戰(zhàn)性。顯著性是視覺注意的一項(xiàng)重要研究內(nèi)容，它反映了區(qū)域受關(guān)注的程度。本文的研究著眼于顯著性計(jì)算模型，更多模型對比和模型分類可以參考Borji等[1]的文章。視覺注意存在兩種機(jī)制：自底向上（Bottom-up）和自頂向下（Top-down）。過去的研究中，大多數(shù)的計(jì)算模型是基于自底向上的信息，即直接從圖像像素獲取特征。

自底向上顯著性計(jì)算模型開創(chuàng)性工作源自于文獻(xiàn)[2]的Itti模型，該模型是很多其他模型的基礎(chǔ)和對照基準(zhǔn)，它通過整合多種低層次特征，如顏色、亮度、方向等，給出一個(gè)顯著度的概率分布圖。Harel等[3]在Itti模型的基礎(chǔ)上引入圖算法，通過計(jì)算節(jié)點(diǎn)間特征值相似性和空間位置距離進(jìn)行差異性度量獲取顯著圖。近年來隨著深度學(xué)習(xí)技術(shù)在目標(biāo)識(shí)別領(lǐng)域的成功應(yīng)用[4]，研究者們對特征學(xué)習(xí)產(chǎn)生了更多的興趣。Borji等[5]通過稀疏編碼方法獲取特征，使用圖像塊的稀疏表示結(jié)合局部和全局統(tǒng)計(jì)特性計(jì)算圖像塊的稀有性（rarity），稀有性反映了當(dāng)前圖像塊中心位置的顯著性。Vig等[6]通過訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)獲取層次特征，然后自動(dòng)優(yōu)化特征組合。特征提取的過程可以看作是一種隱式空間映射，在映射空間中使用簡單的線性模型進(jìn)行顯著或非顯著的分類。以上學(xué)習(xí)方法獲得的特征都是一些低層次特征，對圖像中的邊緣和特定紋理結(jié)構(gòu)敏感。此外，部分研究人員希望從數(shù)學(xué)統(tǒng)計(jì)和信號(hào)處理的角度來度量顯著性。Bruce等[7]根據(jù)最大化信息采樣的原則構(gòu)建顯著性模型。Li等[8]總結(jié)了多種基于頻域的視覺注意研究工作，提出了一種基于超復(fù)數(shù)傅里葉變換（Hypercomplex Fourier Transform）的視覺注意模型，并展示了其他多種基于頻域的模型在某種程度上都是此模型的特例。

以上模型均為數(shù)據(jù)驅(qū)動(dòng)的顯著性模型，模擬人眼視覺注意過程中自底向上的機(jī)制。由于人眼視覺注意過程中不可避免地受到知識(shí)、任務(wù)、經(jīng)驗(yàn)、情感等因素的影響，因而整合自底向上和自頂向下信息的視覺注意研究受到更多的關(guān)注。現(xiàn)有模型整合的自頂向下信息可以分為三類：任務(wù)需求、場景上下文和對象特征。

Borji等[9]提出了一種構(gòu)建任務(wù)驅(qū)動(dòng)的視覺注意模型的聯(lián)合貝葉斯方法。Zhang等[10]提出了一種使用貝葉斯框架整合自底向上和自頂向下顯著性信息的方法。Siagian等[11]利用多種低層次特征對場景主旨進(jìn)行建模，使用場景主旨引導(dǎo)視覺注意的轉(zhuǎn)移。考慮到任務(wù)需求和場景上下文建模的復(fù)雜性，研究人員將對象特征視為一種高層次的知識(shí)表示形式引入視覺注意模型中。Judd等[12]和Zhao等[13]通過將低層次特征和對象特征整合在一個(gè)學(xué)習(xí)框架下來獲得特征整合過程中每張?zhí)卣鲌D的疊加權(quán)重，但是模型使用的對象特征只有人臉、行人、車輛等有限的幾種。Borji等[14]遵循了同樣的方法，但是在整合過程中添加了更多特征并且結(jié)合了其他顯著性模型的結(jié)果，最后用回歸、支撐向量機(jī)（Support Vector Machine， SVM）、 AdaBoost等多種機(jī)器學(xué)習(xí)算法結(jié)合眼動(dòng)跟蹤數(shù)據(jù)進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明對象特征引入較大地提高了模型性能。Xu等[15]將特征劃分為像素級(jí)、對象級(jí)和語義級(jí)三個(gè)層次，并重點(diǎn)探索對象信息和語義屬性對視覺注意的作用；然而，模型中的對象級(jí)和語義級(jí)特征是手工標(biāo)定的，因而不是一種完全意義上的計(jì)算模型。

總的來看，雖然部分模型已經(jīng)使用對象特征作為自頂向下的引導(dǎo)信息，但是在對象特征的獲取和整合上仍有很大的局限性。首先，對不包含特定對象的場景適應(yīng)性較差；其次，對象特征描述困難，通常是通過特定目標(biāo)檢測方法獲取對象特征，計(jì)算效率低下；此外，對象特征的簡單整合方式不符合人眼的視覺感知機(jī)制。本文提出了一種結(jié)合深度學(xué)習(xí)獲取對象特征的視覺注意計(jì)算模型，重點(diǎn)研究了對象級(jí)特征的獲取和整合方法。算法結(jié)構(gòu)如1所示，其中像素級(jí)突出圖獲取采用現(xiàn)有視覺注意模型的方法，對象級(jí)突出圖獲取采用本文提出的基于卷積神經(jīng)網(wǎng)（Convolutional Neural Network， CNN）的特征學(xué)習(xí)和基于線性回歸的特征整合方法。實(shí)驗(yàn)結(jié)果表明，對象級(jí)特征的引入可以明顯提高顯著性預(yù)測精度，預(yù)測結(jié)果更符合人類視覺注意效果。

1 對象信息獲取

1.1 對象特征

大量實(shí)驗(yàn)證據(jù)表明對象特征引導(dǎo)視覺注意的轉(zhuǎn)移。視覺注意中引入對象特征是為了獲得圖像中對象位置等信息，目的與計(jì)算機(jī)視覺中的目標(biāo)檢測類似。因而，已有的視覺注意計(jì)算模型的對象特征通常是通過特定目標(biāo)檢測方法獲得。其中，Viola&Jones人臉檢測和Felzenszwalb車輛行人檢測是最常用的方法。文獻(xiàn)[12-14]均使用此類方法引入對象特征。由于這一類特征針對特定對象樣本進(jìn)行設(shè)計(jì)和訓(xùn)練，因而推廣能力不強(qiáng)。

li=fixations（obji）area（obji）（3）

其中： fixations（）表示落入當(dāng)前對象區(qū)域的正樣本的數(shù)目；area（）表示對象區(qū)域面積。li衡量當(dāng)前對象單位面積受關(guān)注的程度，對象單位面積受關(guān)注程度越高，其在對象整合過程中的權(quán)重應(yīng)越高，因而li與疊加權(quán)重成正比。

式（4）通過一個(gè)線性回歸模型對已有樣本數(shù)據(jù)進(jìn)行訓(xùn)練，獲得對象整合疊加權(quán)重W：

L=WF（4）

其中：F={F1，F(xiàn)2，…，F(xiàn)N}為訓(xùn)練樣本數(shù)據(jù)集合；L={l1，l2，…，lN}為訓(xùn)練樣本標(biāo)簽集合。

測試時(shí)根據(jù)式（5）～（6）獲得對象級(jí)突出圖：

3 顯著圖生成

視覺注意是自底向上和自頂向下兩種機(jī)制作用的結(jié)果。完全使用自頂向下的對象特征進(jìn)行顯著區(qū)域預(yù)測有一定缺陷，主要表現(xiàn)在以下幾個(gè)方面：首先，知識(shí)是對訓(xùn)練樣本數(shù)據(jù)的抽象表示，由于神經(jīng)網(wǎng)絡(luò)的規(guī)模和訓(xùn)練樣本中對象種類的限制，場景中部分對象對應(yīng)的特征沒有被抽象在網(wǎng)絡(luò)結(jié)構(gòu)中；其次，部分不具有明確語義的區(qū)域被錯(cuò)誤地認(rèn)為是對象，對視覺注意形成錯(cuò)誤的引導(dǎo)；另外，人眼視覺注意轉(zhuǎn)移的生理學(xué)機(jī)制并不清楚，興趣區(qū)可能落在不具有對象特征區(qū)域中。因此，使用像素級(jí)特征給出低層次顯著性信息是必要的。

視覺注意模型中常用的像素級(jí)特征有顏色、亮度、方向等[2-3，12]。本文直接使用GBVS（Graph-Based Visual Saliency）算法[4]整合多種像素級(jí)特征獲取像素級(jí)突出圖Spixel。式（7）給出了整合的方法：

其中：S（i， j）為最終給出的視覺注意顯著圖；N（）為歸一化操作；λ控制對象級(jí)突出圖與像素級(jí)突出圖的相對權(quán)重，通過實(shí)驗(yàn)分析可知λ=0.4時(shí)效果較好。當(dāng)圖像中不存在顯著物體或無法獲得高置信度的對象信息時(shí)，圖像任意位置Sobj（i， j）=0，此時(shí)完全由像素級(jí)特征驅(qū)動(dòng)的視覺注意引導(dǎo)。

4 實(shí)驗(yàn)結(jié)果及分析

本次實(shí)驗(yàn)是以Visual Studio 2012為實(shí)驗(yàn)平臺(tái)，選取OSIE和MIT數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)。OSIE數(shù)據(jù)集包含700張含有一個(gè)或多個(gè)明顯語義對象的圖片以及15名受試者的眼動(dòng)跟蹤數(shù)據(jù)，此外該數(shù)據(jù)集還提供了語義對象統(tǒng)計(jì)及人工標(biāo)注的精確對象區(qū)域。MIT數(shù)據(jù)集包含1003張自然場景圖片以及15名受試者的眼動(dòng)跟蹤數(shù)據(jù)。這兩個(gè)數(shù)據(jù)集是當(dāng)前視覺注意研究領(lǐng)域中較大的數(shù)據(jù)集。為了驗(yàn)證本文方法的準(zhǔn)確率，將本文算法與GBVS[4]、 Itti[2]、 Judd[3]、 AIM[10]、LG[8]等視覺注意方法進(jìn)行對比。

對比實(shí)驗(yàn)中使用的評(píng)價(jià)指標(biāo)為ROC（Receiver Operating Characteristic）曲線，實(shí)現(xiàn)方法與文獻(xiàn)[12，15]相同。圖6～8為實(shí)驗(yàn)對比結(jié)果，顯著區(qū)域百分比是通過對歸一化顯著圖作閾值處理獲得，真正率（True Positive Rate）反映當(dāng)前落入顯著區(qū)域的樣本占所有樣本的比例。通過變化顯著區(qū)域百分比獲得ROC曲線。為了更直觀比較算法效果，實(shí)驗(yàn)結(jié)果圖中標(biāo)注了每種算法的AUC（Area Under Curve）值，AUC值通過計(jì)算ROC曲線下的面積獲得。AUC值越大表示該方法給出的顯著性預(yù)測結(jié)果越準(zhǔn)確。

圖6為利用對象級(jí)突出圖作為顯著圖在OSIE數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。相對于RCNN算法， fasterRCNN算法使用了更深層次的網(wǎng)絡(luò)結(jié)構(gòu)和更多對象類別的訓(xùn)練樣本，具有較高的對象位置預(yù)測準(zhǔn)確率和對象檢出率。實(shí)驗(yàn)分析可以看出，使用fasterRCNN算法生成對象級(jí)突出圖可以更好進(jìn)行顯著性預(yù)測。同時(shí)，人臉特征（FACE）的引入進(jìn)一步提升了預(yù)測準(zhǔn)確性，從一個(gè)側(cè)面說明了對象性信息對視覺注意的轉(zhuǎn)移具有引導(dǎo)作用。

圖7是多種視覺注意算法在OSIE數(shù)據(jù)集上的ROC曲線，可以看出本文方法實(shí)驗(yàn)效果明顯好于其他算法。僅次于本文算法的是GBVS和Judd，Itti的準(zhǔn)確率較差。圖中對象級(jí)特征曲線為使用fasterRCNN結(jié)合人臉特征生成對象級(jí)突出圖獲得，由于該方法完全使用自頂向下的對象特征，顯著性預(yù)測準(zhǔn)確率明顯弱于其他方法，因而證明了引入像素級(jí)特征必要性。圖8為MIT數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，本文方法和Judd算法為最好的兩種方法，實(shí)驗(yàn)結(jié)果相差不大。AIM和LG方法效果較差。本文方法和Judd方法均使用了對象特征，可以看出整合了對象特征的方法相對于完全自底向上模型有明顯優(yōu)勢。

圖9中給出了多種算法顯著圖的直觀對比。與其他方法強(qiáng)調(diào)對象邊緣不同，本文結(jié)合了對象信息的方法可以有效突出圖像中的完整對象區(qū)域。

5 結(jié)語

本文提出一種結(jié)合對象信息的視覺注意方法。與傳統(tǒng)的視覺注意整合對象方法相比，該方法利用卷積神經(jīng)網(wǎng)學(xué)到的對象特征，獲取圖像中對象位置等信息；然后通過一個(gè)線性回歸模型將同一幅圖像的多個(gè)對象加權(quán)整合，獲得對象級(jí)突出圖；最后，根據(jù)視覺注意的層次整合機(jī)制，將低層次特征和對象特征進(jìn)行融合形成最終的顯著圖。本文方法在不同數(shù)據(jù)集上的準(zhǔn)確率要高于現(xiàn)有模型。針對包含明顯對象的圖像，本文方法克服了部分現(xiàn)有模型由于邊緣強(qiáng)化效果導(dǎo)致的顯著區(qū)域預(yù)測不準(zhǔn)的問題。本文方法仍然存在一定局限性，未來的工作將嘗試非線性對象整合以及增大訓(xùn)練樣本數(shù)量和網(wǎng)絡(luò)規(guī)模以獲取更多種對象特征。

參考文獻(xiàn)：

卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢范文第5篇

關(guān)鍵詞： 情感分析； 情感傾向性； 詞典擴(kuò)充； 電力客服工單； 主動(dòng)服務(wù)

中圖分類號(hào)： TN915.853?34； V249 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）11?0163?04

Dictionary expansion based sentiment tendency analysis of power customer service order

GU Bin， PENG Tao， CHE Wei

（State Grid Jiangsu Electric Power Company， Nanjing 210000， China）

Abstract： In order to improve the customer satisfaction and active service consciousness of the electric power enterprises effectively， the textual characteristic of the power customer service order is combined to construct the sentiment analysis model of the power customer service order. The keywords of the service order are extracted according to TF?IDF thought. The word2vec training is used to get the word vector of each word. The cosine similarity is calculated to expand the high similarity field vocabulary to the sentiment dictionary. The service order sentiment analysis and text classification are performed. The validity of the method is verified with experimental analysis. The results show that， in comparison with the original sentiment dictionary， the method of dictionary expansion and service order sentiment tendency analysis is superior， has higher accuracy， and can provide a certain reference significance for the customer relation management of power enterprise.

Keywords： sentiment analysis； sentiment tendency； dictionary expansion； power customer service order； active service

0 引 言

隨著電力體制改革的逐步深化，配電市場競爭不斷加劇，迫切需要供電企業(yè)改變傳統(tǒng)的思維方式和工作模式，進(jìn)一步樹立市場化服務(wù)意識(shí)，從客戶需求出發(fā)，挖掘客戶的潛在需求和內(nèi)在價(jià)值，從而提升客戶滿意度和運(yùn)營效益。作為與客戶交流、溝通的重要窗口，電力企業(yè)95598客服系統(tǒng)記錄了海量的客戶信息，若能徹底挖掘客服工單中的客戶特征、情感信息并了解客戶的關(guān)注焦點(diǎn)，對電力企業(yè)和客戶都將具有十分重要的意義[1]。

電力客服工單情感傾向性分析可以有效地發(fā)掘客戶情感信息和需求，可根據(jù)客戶情感傾向性識(shí)別潛在的投訴客戶，可根據(jù)反饋信息判別某項(xiàng)業(yè)務(wù)的實(shí)施效果等。針對文本情感傾向性分析，現(xiàn)有的理論研究比較側(cè)重于文本特征提取以及采用機(jī)器學(xué)習(xí)方法對文本進(jìn)行分類，但是基于具體業(yè)務(wù)特征進(jìn)行情感詞典擴(kuò)充的研究還比較少，導(dǎo)致情感傾向性計(jì)算往往會(huì)存在一定的差異，因此，根據(jù)電力行業(yè)的特c，進(jìn)行客戶服務(wù)工單情感詞典擴(kuò)充及情感傾向性的研究非常有必要。

情感分析是指利用文本挖掘、機(jī)器學(xué)習(xí)技術(shù)分析挖掘隱藏在文本中的情感信息，并將其分類為積極情感態(tài)度和消極情感態(tài)度[2]。目前，國內(nèi)外關(guān)于文本情感傾向性分析已經(jīng)進(jìn)行了較多的研究工作[3?7]，文獻(xiàn)[3]基于情感詞間的點(diǎn)互信息和上下文約束，提出一種兩階段的領(lǐng)域情感詞典構(gòu)建算法，提升了情感詞情感傾向的識(shí)別能力。文獻(xiàn)[4]研究了基于矩陣投影（MP）和歸一化向量（NLV）的文本分類算法，實(shí)現(xiàn)對商品評(píng)價(jià)的情感分析，不僅可以有效識(shí)別商品評(píng)論情感性傾向，而且提升了識(shí)別效率。文獻(xiàn)[5]將詞級(jí)別向量和字級(jí)別向量作為原始特征，采用卷積神經(jīng)網(wǎng)絡(luò)提取文本特征并進(jìn)行情感傾向性分析，結(jié)果表明字級(jí)別向量可取得較高的準(zhǔn)確率。文獻(xiàn)[6]提出一種詞圖模型的方法，利用PageRank算法得到情感詞的褒貶權(quán)值，并將其作為條件隨機(jī)場模型特征預(yù)測情感詞傾向，提升了具體語境下預(yù)測的準(zhǔn)確性，但是針對文本數(shù)量較大的情況準(zhǔn)確率較低。文獻(xiàn)[7]結(jié)合句子結(jié)構(gòu)上下文語義關(guān)聯(lián)信息，提出一種基于深度神經(jīng)網(wǎng)絡(luò)的跨文本粒度情感分類模型，提升了分類準(zhǔn)確率，但該方法只適應(yīng)于特定領(lǐng)域，泛化能力較低。

鑒于以上研究現(xiàn)狀，本文以電力客戶服務(wù)領(lǐng)域文本特征為突破口，構(gòu)建了電力客服工單情感分析模型，基于工單關(guān)鍵詞提取對原始的情感詞典進(jìn)行擴(kuò)充，并對工單情感傾向性進(jìn)行分析，最后，通過算例應(yīng)用驗(yàn)證了本文所提方法的有效性。

1 相關(guān)工作

1.1 情感分類

情感分類技術(shù)的主要目標(biāo)是基于文本數(shù)據(jù)識(shí)別用戶所表達(dá)的情感信息，并將文本數(shù)據(jù)分為正類和負(fù)類。當(dāng)前，針對情感分類的研究，主要從監(jiān)督學(xué)習(xí)、基于規(guī)則方法、跨領(lǐng)域情感分析等方面展_研究，與此同時(shí)，針對文本特征的提取和特征情感判別是情感分類研究的兩個(gè)關(guān)鍵問題。

1.2 Word2vec介紹

word2vec是Google在2013年開源的一款將詞表征為實(shí)數(shù)值向量（word vector）的高效工具，采用的模型有CBOW（Continuous Bag?of?Words，即連續(xù)的詞袋模型）和Skip?Gram兩種，word2vec采用的是Distributed Representation的詞向量表示方式，經(jīng)過對輸入集數(shù)據(jù)進(jìn)行訓(xùn)練，可以實(shí)現(xiàn)將文本詞匯轉(zhuǎn)換為維空間向量，然后基于空間向量相似度來表達(dá)文本語義相似度，模型輸出結(jié)果可用于自然語言處理領(lǐng)域相關(guān)工作，比如文本聚類、詞典擴(kuò)充、詞性分析等。

word2vec生成詞向量的基本思想來源于NNLM（Neural Network Language Model）模型，其采用一個(gè)三層神經(jīng)網(wǎng)絡(luò)構(gòu)建語言模型，假設(shè)某個(gè)詞的出現(xiàn)只與前個(gè)詞相關(guān)，其原理示意圖如圖1所示。

圖1中，最下方的為前個(gè)輸入詞，并根據(jù)其預(yù)測下一個(gè)詞每個(gè)輸入詞被映射為一個(gè)向量，為詞語的詞向量。網(wǎng)絡(luò)的第一層（輸入層）為輸入詞語組成的維向量網(wǎng)絡(luò)第二層（隱藏層）計(jì)算為偏置因子，使用激活函數(shù)tanh；網(wǎng)絡(luò)第三層（輸出層）包含個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)表示下一詞的未歸一化log概率，并使用softmax激活函數(shù)將輸出值歸一化，最后使用隨機(jī)梯度下降法對模型進(jìn)行優(yōu)化。

圖1 NNLM原理模型圖

模型的目標(biāo)函數(shù)為：

需要滿足的約束條件為：

2 電力客服工單情感分析模型

本文以某電力公司客服工單數(shù)據(jù)為研究對象，在深入理解電力業(yè)務(wù)及工單文本語義特點(diǎn)的基礎(chǔ)上，建立了一種電力客服工單情感分析模型。首先，在進(jìn)行文本預(yù)處理的基礎(chǔ)上，對文本進(jìn)行分詞處理并且完成關(guān)鍵詞提取；然后，采用word2vec訓(xùn)練工單數(shù)據(jù)，并基于關(guān)鍵詞進(jìn)行情感詞典擴(kuò)充，構(gòu)建電力客服領(lǐng)域?qū)Ｓ们楦性~典；最后，進(jìn)行工單情感傾向性分析。

2.1 工單文本預(yù)處理

由于工單文本數(shù)據(jù)中存在大量價(jià)值含量較低甚至沒有價(jià)值意義的數(shù)據(jù)，在進(jìn)行分詞、情感分析中會(huì)對結(jié)果產(chǎn)生較大的影響，那么在文本挖掘之前就必須先進(jìn)行文本預(yù)處理，去除大量沒有挖掘意義的工單數(shù)據(jù)。工單文本預(yù)處理工作主要包括：刪除未標(biāo)注業(yè)務(wù)類型數(shù)據(jù)、分句處理、文本去重、短句刪除等。

分句處理：將工單數(shù)據(jù)處理成以句子為最小單位，以句尾標(biāo)點(diǎn)符號(hào)為標(biāo)志分割，包括“，”，“。”，“；”，“！”等符號(hào)。

文本去重：就是去除工單數(shù)據(jù)中重復(fù)的部分，常用的方法有觀察比較刪除法、編輯距離去重法、Simhash算法去重等。

短句刪除：刪除過短的文本，如“還可以”，“非常好”等，設(shè)置文本字符數(shù)下限為10個(gè)國際字符。

2.2 電力客戶服務(wù)領(lǐng)域情感詞典構(gòu)建

2.2.1 分詞

本文采用python的jieba分詞工具對數(shù)據(jù)集進(jìn)行分詞，并完成詞性標(biāo)注和去除停用詞，由于情感分析通常由名詞、形容詞、副詞和連詞等反映出來，因此刪除詞性為動(dòng)詞的詞匯。jieba中文分詞工具包包含三種分詞模式：精確模式、全模式和搜索引擎模式，綜合分詞效果及后文的研究，本文選擇精確模式進(jìn)行分詞，三種模式的分詞效果如表1所示。

另外，在實(shí)際的分詞過程中，出現(xiàn)了個(gè)別分詞結(jié)果與實(shí)際的語義不符，原因是字典中缺少相關(guān)的專有名詞，或者是這些詞語的詞頻較低，比如“客戶/咨詢/抄/表示/數(shù)等/信息”，“客戶/查戶/號(hào)”，“變壓器/重/過載”，“查/分/時(shí)/電價(jià)”等，因此，需要對原有詞典進(jìn)行更新。python中采用jieba.load_userdict（dict.txt）語句添加自定義詞典，其中dict.txt是保存字典內(nèi)容的文件，其格式為每一行分三部分：一部分為詞語；另一部分為詞頻；最后為詞性（可省略），用空格隔開。

2.2.2 關(guān)鍵詞提取

構(gòu)建電力客戶服務(wù)領(lǐng)域?qū)偾楦性~典，需要盡可能保證領(lǐng)域詞典的多樣性，關(guān)鍵詞的提取要求一方面能夠盡量反應(yīng)出這個(gè)特征項(xiàng)所屬的類別，另一方面能夠把自身屬于的類別與其他類別有效地區(qū)分開來，依據(jù)此原理，本文采用TF?IDF思想進(jìn)行電力客戶服務(wù)領(lǐng)域關(guān)鍵詞的提取，關(guān)鍵詞選取的權(quán)重決定了情感詞典的多樣性，為下文情感詞典的擴(kuò)充做好基礎(chǔ)，算法原理如下。

將工單文檔和特征項(xiàng)構(gòu)建成二維矩陣，各條工單的特征向量可表示為：

式中：表示第個(gè)工單中第個(gè)特征中的詞頻。則與為：

式中：表示語料庫中的文件總數(shù)；表示包含詞語的文件總數(shù)，防止分母為零的情況，通常對分母做+1的處理。因此，的計(jì)算公式為：

實(shí)際應(yīng)用中，依據(jù)維度的大小確定相應(yīng)的權(quán)重大小，這樣就形成了代表語料特征的關(guān)鍵詞集。

2.2.3 基于word2vec進(jìn)行情感詞典擴(kuò)充

隨著經(jīng)濟(jì)技術(shù)的發(fā)展及客戶文化的差異，不同的客戶通常使用不同的詞匯描述同一個(gè)對象特征，且電力行業(yè)中存在許多專用詞匯，同樣也表達(dá)了一定情感，但這些詞脫離于現(xiàn)有的情感詞典，因此，有必要對現(xiàn)有的情感詞典進(jìn)行擴(kuò)充，進(jìn)而提升工單情感傾向性分析的準(zhǔn)確性[8]。選取中國知網(wǎng)情感詞集和大連理工大學(xué)林鴻飛教授整理和標(biāo)注的中文情感詞匯本體庫作為基礎(chǔ)的情感詞典，然后依據(jù)權(quán)重較大的關(guān)鍵詞對原有詞典進(jìn)行擴(kuò)充[9]。基于上文電力客戶服務(wù)工單中提取的關(guān)鍵詞，采用word2vec工具對工單數(shù)據(jù)集進(jìn)行訓(xùn)練，根據(jù)CBOW模型或Skip?Gram模型訓(xùn)練出每個(gè)詞的詞向量，并通過計(jì)算余弦相似度得到文本語義上的相似度，并將相似度較高的詞語加入到情感詞典中。

依據(jù)上文分詞后得到的工單文本數(shù)據(jù)，采用Linux Version2.6環(huán)境對數(shù)據(jù)進(jìn)行訓(xùn)練，操作命令如下：

./word2vec ?train data95598.txt ?output vectors_95598data.bin ?cbow 0 ?size 200 ?winodw 5 ?negative 0 ?hs 1 ?sample le?3 threads 12 ?binary 1

其中，data95598.txt為輸入數(shù)據(jù)集；vectors_95598data.bin為模型輸出文件；采用Skip?Gram模型進(jìn)行訓(xùn)練，詞向量維度設(shè)置為200；訓(xùn)練窗口大小設(shè)置為5；-sample表示采樣的閾值，訓(xùn)練結(jié)果采用二進(jìn)制方式存儲(chǔ)。這樣，得到的模型文件中就包含了每個(gè)詞的詞向量。

采用余弦相似度計(jì)算關(guān)鍵詞的相似詞，即基于生成的詞向量計(jì)算兩個(gè)維向量的相似度，因?yàn)閣ord2vec本身就是基于上下文語義生成的詞向量，因此，余弦值越大，表明兩個(gè)詞語的語義越相似。向量與的余弦計(jì)算公式如下：

通過distince命令計(jì)算輸入詞與其他詞的余弦相似度，經(jīng)過排序返回相似詞列表，再經(jīng)過人工篩選，將這些詞加入到原有情感詞典中，實(shí)現(xiàn)對原有情感詞典的擴(kuò)充。

2.3 工單情感傾向性分析

工單情感傾向性分析是基于構(gòu)建的情感詞典，計(jì)算每個(gè)客服工單的情感分值，從而判斷工單的情感傾向性。通過上文處理，每一個(gè)客服工單都可以被分割成一個(gè)個(gè)子句片段，表示為每個(gè)子句片段由一系列分詞后的詞語構(gòu)成，提取每個(gè)句子的情感詞、否定詞等，表示為依據(jù)情感詞典中給定詞的極性值計(jì)算每個(gè)子句的情感值，分別算每個(gè)句子的正向和負(fù)向情感分值，計(jì)算公式如下：

式中：SenSum表示某個(gè)客服工單的情感分值；表示第個(gè)子句中第個(gè)正向情感詞的極性值；表示第個(gè)子句中第個(gè)負(fù)向情感詞的極性值。

在否定子句中，當(dāng)為偶數(shù)時(shí)，否定子句情感為正；當(dāng)為奇數(shù)時(shí)，否定子句情感極性為負(fù)。對所有的子句情感分值求和并求均值，就得到了整個(gè)客服工單的情感值，進(jìn)而判斷客服工單的情感傾向性，若SenSum為正，表示工單情感為正向；否則，工單情感為負(fù)向。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

本文的實(shí)驗(yàn)環(huán)境基于Linux系統(tǒng)，采用python語言進(jìn)行算法的實(shí)現(xiàn)，抽取某電力公司95598客服工單數(shù)據(jù)作為研究對象，運(yùn)用jieba包進(jìn)行中文分詞處理，并采用word2vec訓(xùn)練數(shù)據(jù)生成詞向量及擴(kuò)充情感詞典。由于工單數(shù)據(jù)是按照業(yè)務(wù)類型生成的，因此選取業(yè)務(wù)類型為表揚(yáng)的工單作為正類，選取業(yè)務(wù)類型為投訴的作為負(fù)類，其中，正類和負(fù)類數(shù)據(jù)比例為21，共得到20 000條數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)集，隨后進(jìn)行情感傾向性分析，隨機(jī)選擇70%的數(shù)據(jù)作為訓(xùn)練集，30%的數(shù)據(jù)作為測試集。

3.2 評(píng)價(jià)指標(biāo)

當(dāng)前針對文本分類效果評(píng)估有許多方法，本文選擇準(zhǔn)確率（precision）、召回率（recall）和值進(jìn)行文本情感分類效果的評(píng)估，準(zhǔn)確率是對分類精確性的度量，召回率是對分類完全性的度量，值越大說明分類效果越好，準(zhǔn)確率和召回率是一組互斥指標(biāo)，值是將二者結(jié)合的一個(gè)度量指標(biāo)，值越大，分類效果越好，并將通過本文情感分析模型得到的結(jié)果與業(yè)務(wù)員標(biāo)注的類型做對比分析。它們的計(jì)算公式如下：

3.3 實(shí)驗(yàn)結(jié)果及分析

本文基于抽取到的客服工單數(shù)據(jù)，結(jié)合設(shè)計(jì)的電力客服工單情感分析模型，實(shí)現(xiàn)對電力客戶服務(wù)領(lǐng)域情感詞典的擴(kuò)充，并基于構(gòu)建的電力客服領(lǐng)域?qū)僭~典進(jìn)行工單情感傾向性分析，70%的數(shù)據(jù)用于訓(xùn)練word2vec并進(jìn)行情感詞典的擴(kuò)充，30%的數(shù)據(jù)用于測試工單情感分類的準(zhǔn)確性。測試集共包含工單數(shù)6 000條，其中正類工單3 895條，負(fù)類工單2 105條。將采用本文情感分析模型得到的結(jié)果與原始基礎(chǔ)情感詞典得到的結(jié)果進(jìn)行對比分析，見表2。

由表2可知，采用本文構(gòu)建的電力客服工單詞典針對正向和負(fù)向的情感詞都有較高的準(zhǔn)確率、召回率和值，由此可知，本文設(shè)計(jì)的電力客服工單情感分析模型是合理的，且具有明顯的性能優(yōu)勢。

4 結(jié) 語

本文設(shè)計(jì)了一種電力客服工單情感分析模型，構(gòu)建了電力客服領(lǐng)域情感專用詞典并進(jìn)行工單情感傾向性分析。采用word2vec工具對采集到的數(shù)據(jù)進(jìn)行訓(xùn)練，并用測試集數(shù)據(jù)對本文提出的模型進(jìn)行驗(yàn)證分析，結(jié)果表明，本文所提方法具有一定的合理性和可行性，可為電力企業(yè)客戶關(guān)系管理提供一定的參考意義，促進(jìn)企業(yè)客戶滿意度及運(yùn)營效益的提升。此外，本文主要研究了基于構(gòu)建的電力客服專用情感詞典進(jìn)行客戶情感傾向性分析，但是對于無監(jiān)督性學(xué)習(xí)方法情感傾向性分析以及情感強(qiáng)度的分析還有待進(jìn)一步研究。

參考文獻(xiàn)

[1] 李勝宇，高俊波，許莉莉.面向酒店評(píng)論的情感分析模型[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2017，26（1）：227?231.

[2] SINGH VK， PIRYANI R， UDDIN A， et al. Sentiment analysis of movie reviews： a new feature?based heuristic for aspect?level sentiment classification [C]// Proceedings of 2013 International Multi?Conference on Automation， Computing， Communication， Control and Compressed Sensing （iMac4s）. Kottayam： IEEE， 2013： 712?717.

[3] 郗亞輝.產(chǎn)品評(píng)論中領(lǐng)域情感詞典的構(gòu)建[J].中文信息學(xué)報(bào)，2016，30（5）：136?144.

[4] 鐘將，楊思源，孫啟干.基于文本分類的商品評(píng)價(jià)情感分析[J].計(jì)算機(jī)應(yīng)用，2014，34（8）：2317?2321.

[5] 劉龍飛，楊亮，張紹武，等.基于卷積神經(jīng)網(wǎng)絡(luò)的微博情感傾向性分析[J].中文信息學(xué)報(bào)，2015，29（6）：159?165.

[6] 黃挺，姬東鴻.基于圖模型和多分類器的微博情感傾向性分析[J].計(jì)算機(jī)工程，2015，41（4）：171?175.

[7] 劉金碩，張智.一種基于聯(lián)合深度神經(jīng)網(wǎng)絡(luò)的食品安全信息情感分類模型[J].計(jì)算機(jī)科學(xué)，2016，43（12）：277?280.