前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇網絡流量監測范文,相信會為您的寫作帶來幫助,發現更多的寫作思路和靈感。
中圖分類號:TP393 文獻標識碼:A 文章編號:1007-9599 (2012) 17-0000-02
隨著網絡規模的日益擴大和網絡結構的日益復雜,導致計算機網絡管理的難度越來越大,相應的要求也變得越來越高。各種網絡活動都離不開網絡流量,網絡流量作為網絡用戶活動的主要載體,發揮著較為重要的作用。通過監測分析網絡流量,可以完成容量規劃、鏈路狀態監測、異常監測、網絡性能分析等,對于計算機網絡的維護和運行都能夠發揮重要作用。如netcounter是一款簡單易用的網絡流量監控軟件。它可以分別顯示手機網絡和wifi當天、本周、本月和所有時間的流量統計。本文就計算機網絡管理中網絡流量監測進行研究。
1 網絡流量的特征
1.1 大部分TCP會話是短期的。對于TCP會話而言,超過90%的會話時間都不會超過幾秒,交換數據量一般都在5-10K字節,很少有能夠10K字節的。雖然遠程登陸和文件傳輸之類的TCP會話是長期的,但是百分之八十多的WWW文檔傳輸大小都是小于10K字節,而目前這種WWW文檔傳輸大幅度增加,從而導致大部分TCP會話是短期的。
1.2 數據流是雙向的,但通常是非對稱的。對于計算機網絡而言,大部分互聯網應用都不采用單向交換,而是雙向交換數據,所以,網絡流量也自然都是雙向的。但通常這兩個方向的數據率存在很大的差異,主要原因就在于:網站到客戶端的數據量會由于網站下載而比客戶端到網站的數據量多。
1.3 網絡通信量具有局域性。對于網絡流量而言,一般都包括兩種局域性,分別是空間局域性和時間局域性。用戶通過互聯網應用層來對網絡進行訪問,主要是在包的目的地址和時間上進行體現,從而顯示出空間局域性(基于空間相關)和時間局域性(基于時間相關)。
1.4 包的到達過程不是泊松過程。按照傳統的通信網絡設計和排隊理論都假設泊松過程就是包的到達過程,也就是說,包到達的間斷時間的分布是獨立的指數分布。
例如電話、交通事故、地震等事件都是獨立地、按照一定的概率來發生的,這也就是泊松到達過程。但是根據近年來測量互聯網絡通信量的顯示結果表明,泊松過程已經不再是包到達的過程。包的到達具有有突發性,在很多時候都會有多個包連續到達,包到達的間斷時間不是獨立分布的,同時也不服從指數分布。包的到達過程已經不能被泊松過程來精確描述。造成這樣的原因部分在于數據傳輸所使用的協議。這種非泊松結構使得人們在研究網絡的可靠性時不再采用簡單的泊松模型,從而使得網絡通信量模型的研究大大促進。
2 計算機網絡管理中網絡流量監測的方法
在深入了解互聯網通信特性之后,我們在監測網絡流量的時候就可以采取相應的技術措施。從目前的實踐經驗來看,計算機網絡管理中網絡流量監測的方法主要有兩種,分別是被動測量和主動測量。
2.1 主動測量。主動測量的工作原理就是通過測量設備來測量端到端的網絡流量和網絡特征,進而了解被測網絡當前提供數據傳輸的能力和具體的運行狀態。在主動測量網絡流量的過程中,網絡測量系統應當由四個部分構成,分別是分析服務器、中心數據庫、中心服務器、測量節點。
主動測量網絡流量的最大優點就在于三個方面,分別是靈活性、可控性、主動性都較好,而且還能夠直觀地統計端到端的性能。但是主動測量網絡流量的方法也存在著不足之處,那就是實際情況與我們所獲得的結果存在著一定的偏差,主要原因在于主動測量是主動對網絡注入流量。
2.2 被動監測。被動測量其監測原理是通過部署一定的網絡設備和監測點來被動地獲取網絡流量的數據和相關信息,這是一種典型的分布式網絡監測技術。被動監測恰恰彌補了主動監測的缺點和不足,它不會對原有網絡流量進行改變,自然也就不會如主動監測一樣造成這樣大的偏差,實踐也證明了這一點。但是被動監測也存在著自身的不足,主要就是它采集數據和相關信息是從單個點或設備進行的,這種實時采集的方式很有可能會泄露數據,也很難有效分析網絡端對端的性能看,采集信息數據量過大,但是總的來說,被動測量的優點是占主導地位的,所以被動測量比主動測量應用更為廣泛,正在被大量地應用在對網絡流量分布進行分析和測量中。
3 網絡流量監測技術的具體應用
3.1 為網絡出口互聯鏈路的設置提供決策支持。通過有效地分析網絡出口流向和流量,能夠有效地掌握網絡內部用戶對于網絡的訪問情況,從而可以有效的決策,減少互聯鏈路中的浪費現象,有效地節約開支。同時,通過網絡流量監測與分析,能夠為各種網絡優化措施,如路由選擇、重要鏈路帶寬設置、多出口流量負載均衡等提供正確的數據依據。
3.2 網絡流量監測可以對網絡運行商提供大客戶統計分析和重要應用的統計分析。通過對這些流量進行統計分析,可以有效地分析網絡帶寬成本,有助于在網絡成本和網絡服務質量二者之間取得最佳平衡點,既讓大客戶滿意,又能夠讓網絡運行商有較好的盈利。同時,通過監控分析大客戶接入電路上的流量,能夠有效地統計出通信數據量、通信時間、服務等級、業務類型等多個參數,為基于服務等級協議(SLA)和IP的計費應用的校驗服務提供正確的數據依據。
3.3 通過對各個分支網絡出入流量的監控,分析流量的大小、方向及內容組成,了解各分支網絡占用帶寬的情況,從而反映其占用的網絡成本,作出價值評估。
3.4 掌握網絡內部用戶對其他運營商的網絡訪問情況。通過監控網絡內部用戶對其他運營商的網絡訪問情況,可以有效地掌握用戶對于那些網站有興趣,也可以準確地分析網絡內部用戶訪問外網主要流量方向及業務特點,根據分析結果來有的放矢,找到廣大網絡用戶感興趣的熱點信息,然后對自己的網絡內容進行相應的補充和建設,減輕用戶流失。同時,長期監控一些特定網絡流量,有助于網絡流量模型被網絡管理人員所了解、所掌握,網絡管理人員可以通過所掌握的基準數據來對網絡使用狀況進行正確的分析,在網絡安全存在隱患的時候就能夠及時異常警訊,采取相應的防御措施,從而使得整個網絡的整體效能和整體質量都得到大幅度的提升。
4 結語
隨著網絡流量監測技術的完善,必將為提高計算機網絡管理的管理水平和服務質量發揮更為重要的作用。
【 關鍵詞 】 模糊相對熵;網絡異常行為;網絡異常流量檢測
【 中圖分類號 】 TP309.05 【 文獻標識碼 】 A
1 引言
IP網絡具有體系架構開放、信息共享靈活等優點,但是因其系統開放也極易遭受各種網絡攻擊的入侵。網絡異常流量檢測屬于入侵檢測方法的一種,它通過統計發現網絡流量偏離正常行為的情形,及時檢測發現網絡中出現的攻擊行為,為網絡安全防護提供保障。在網絡異常流量檢測方法中,基于統計分析的檢測方法通過分析網絡參數生成網絡正常行為輪廓,然后度量比較網絡當前主體行為與正常行為輪廓的偏離程度,根據決策規則判定網絡中是否存在異常流量,具有統計合理全面、檢測準確率高等優點。基于相對熵的異常檢測方法屬于非參數統計分析方法,在檢測過程中無須數據源的先驗知識,可對樣本分布特征進行假設檢驗,可在缺乏歷史流量數據的情況下實現對網絡異常行為的檢測與發現。本文系統研究了模糊相對熵理論在網絡異常流量檢測中的應用,并搭建模擬實驗環境對基于模糊相對熵的網絡異常流量檢測方法進行了測試驗證。
2 基于模糊相對熵的多測度網絡異常流量檢測方法
2.1 模糊相對熵的概念
相對熵(Relative Entropy)又稱為K-L距離(Kullback-Leibler divergence),常被用作網絡異常流量的檢測方法。本文引入模糊相對熵的概念,假定可用來度量兩個概率分布P={p1,p2,...,...,pn}和Q={q1,q2,...,...,qn}的差別,其中,P、Q是描述同一隨機過程的兩個過程分布,P、Q的模糊相對熵定義為:
S(P,Q)=[Pi ln+(1-pi)ln] (1)
上式中qi可以接近0或1,這會造成部分分式分母為零,因此對(1)式重新定義:
S'(P,Q)=[Pi ln+(1-pi)ln](2)
模糊相對熵為兩種模糊概率分布的偏差提供判斷依據,值越小說明越一致,反之亦然。
2.2 多測度網絡異常流量檢測方法流程
基于模糊相對熵理論的多測度網絡異常檢測具體實施分為系統訓練和實際檢測兩個階段。系統訓練階段通過樣本數據或監測網絡正常狀態流量獲取測度的經驗分布,實際檢測階段將實測數據獲取的測度分布與正常測度分布計算模糊相對熵,并計算多個測度的加權模糊相對熵,根據閾值判定網絡異常情況,方法流程如下:
Step1:獲取網絡特征正常流量的參數分布。通過樣本數據或監測網絡正常狀態流量獲取各測度的經驗分布。
Step2:獲取網絡特征異常常流量的參數分布。對選取網絡特征參數異常流量進行檢測獲取各種測度的概率分布。
Step3:依據公式(2)計算單測度正常流量和異常流量間模糊相對熵Si。
Step4:計算多測度加權模糊相對熵S。
S=α1S1+α2S2+…+αkSk (3)
式中αk表示第k個測度的權重系數,由測評數據集統計分析獲得。
最終,根據S建立不同的等級閾值來表征網絡異常情況。S越大,表示網絡流量特征參數分布偏離正常狀態越多,網絡中出現異常流量的概率越大;S越小,表示網絡流量特征參數分布與正常狀態吻合度越好,網絡中出現異常流量的概率越小。
3 測試驗證
為測試方法的有效性,搭建如圖1所示的實驗環境,模擬接入層網絡拓撲結構、流量類型和流量負載情況。測試環境流量按業務域類型分類,主要分為視頻、語音、數據三種業務域,按每個業務單路帶寬需求計算,總帶寬需求約為2368kbps~3200kbps。
(1)檢測系統接入交換機鏡像端口,系統部署環境。
①硬件環境:Intel(R) Core(TM) 2 Duo CPU 2.00GHz,2.0G內存;②操作系統環境:Windows XP,.NET Framework 3.5;③數據庫系統:Microsoft SQL Server 2005 9.00.1399.06 (Build 2600: Service Pack 3)。
測試環境交換機采用華為S3050C,用戶主機接入點配置如表1所示。
測試網絡正常流量狀態方案配置。
①1號主機架設視頻服務器模擬視頻業務域,單路平均帶寬需求2.59Mbps;②2、3號主機架設音頻服務器模擬語音業務域,單路平均帶寬需求128kbps;③4、5、6號主機采用應用層專用協議和傳輸UDP協議模擬發包程序模擬數據業務域,單路平均帶寬需求64kbps。
按上述方案配置網絡環境,交換機網絡流量負載約為2.996Mbps。
3.1 測試用例設計
網絡中的異常行為主要包括非法網絡接入、合法用戶的違規通信行為、網絡攻擊及未知的異常流量類型等,系統將其定義為四類:帶寬占用、非法IP地址、非法IP會話、模糊相對熵異常四類異常事件,其中模糊相對熵異常可根據經驗數據設定多個閾值等級。測試用例以網絡正常流量為背景流量,根據測試目的添加異常流量事件。測試用例設計及實驗測試過程如表2所示。
3.2 結果分析
測試用例持續監測網絡兩小時。根據模糊相對熵數據輸出,繪制ROC曲線,檢測率與誤警率的關系如圖2所示。通過ROC曲線,能夠準確反映模糊相對熵異常流量檢測方法檢測率與誤警率的關系。權衡檢測率與誤警率,選擇合適的閾值。當模糊相對熵閾值設定為39.6時,系統檢測率為84.36%,誤警率為3.86%,表明檢測系統對未知異常流量具有較好的檢測效果。
4 結束語
基于模糊相對熵的網絡異常流量檢測方法可以在不具備網絡歷史流量信息的情況下,通過對網絡流量特征進行假設檢驗,實現對網絡異常行為的檢測發現。實驗測試結果表明,設定合理的模糊相對熵閾值,該方法的檢測率可達84.36%。在下一步的工作中,將研究自學習式閾值設定方法,以及對模糊相對熵方法進一步優化,提升方法的準確性和效率。
參考文獻
[1] 蔣建春,馮登國等.網絡入侵檢測原理與技術[M].北京: 國防工業出版社,2001.
[2] 蔡明,嵇海進.基于ISP網絡的DDoS攻擊防御方法研究[J].計算機工程與設計,2008, 29(7):1644-1646.
[3] Francois Bavaud. Relative Entropy and Statistics[EB/OL].http://unil.ch/webdav/site/imm/users/ fbavaud/private/IT_statistics_bavaud.pdf.,2011-05-16.
[4] 張亞玲,韓照國,任姣霞.基于相對熵理論的多測度網絡異常檢測方法[J].計算機應用,2010, 30(7):1771-1774.
[5] 李涵秋,馬艷,雷磊.基于相對熵理論的網絡Dos攻擊檢測方法[J].電訊技術, 2011, 51(3):89-92.
[6] 張登銀,廖建飛.基于相對熵理論網絡流量異常檢測方法[J].南京郵電大學學報(自然科學版),2012, 32(5):26-31.
[7] 胡為,胡靜濤.加權模糊相對熵在電機轉子故障模糊識別中的應用[J].信息與控制,2009, 38(3):326-331.
作者簡介:
姚宏林(1974-),男,碩士,副教授,從事信息安全教學與研究。
關鍵詞:最優質量傳輸,神經網絡,視頻檢測,監督式分類
中圖分類號:TP183 文獻標志碼:A 文章編號:1007-2683(2017)01-0086-05
0 引言
目前,火焰檢測大多是通過使用點式光電感煙探測技術來執行的。這些方法在大的,開放空間和有固定延時的情況下檢測效果不好,這是因為燃燒粒子所到達傳感器所用時間的影響。文僅使用像素的顏色信息最為特征來檢測。文中的檢測方法使用傅里葉描述符來描述火焰的邊界。在文中,使用小波分析來解決FFT執行時窗口的選擇問題。這種方法依賴于小波能量,尋找小波能量最低且對噪聲是敏感的點。文中,作者提出一種系統,這種系統建模火焰像素作為一種固定空間像素小波系數的隱馬爾科夫模型,這種固定空間像素是在三中狀態之間變化的變量。此外,他們使用邊界區域光滑作為分類變量。這兩個屬性相結合作為一個弱分類器。在文中非煙區域使用背景估計和顏色信息進行濾波。然后,計算Lucas-Ka-nade光流并且使用流的統計信息來訓練神經網絡。
這些方法有一個共同點,就是不試圖區分類獨立的像素。本文為了檢測火焰和煙霧,同樣不去使用獨立的像素,以利于與火焰、火災煙霧顏色相近的實物的區分。基于該主要研究目的,提出了基于最優質量傳輸光流法的檢測算法,并結合神經網絡,對火焰和煙霧進行檢測。
1 分類器特征選擇
目前大多數的檢測方法都是基于啟發式模型,這種模型描繪火或者煙的大約特征,但這往往不是最優的。一個最基本的方法是從描述煙或者火的訓練數據中學習,訓練一個分類器如神經網絡等。訓練和測試的原理如圖1所示。
計算一個圖像序列的光流,而不是簡單的幀差,這允許考慮成像過程所期望的屬性;接下來會討論原因,基于最優質量傳輸的光流被計算用于火的分類,Horn-Schunck光流用于煙霧區域的分類。
圖1(a)通過人工標記樣本圖像序列創建訓練數據。樣本含有時空像素鄰域,這個鄰域被標記是否含有火,煙或者二者都沒有。通過系數矩陣有限差分求解器來計算最優質量傳輸光流。特征矢量是由含有R、G、B顏色通道和光流速度形成的,且特征矢量通過一個反向傳播神經網絡分類器進行分類處理。
圖1(b)在一個新的視頻幀中使用訓練的分類器權重為每個像素鄰域創建特征適量測試分類器。最終的輸出含有每個像素類成員的概率(煙、火都沒有)。
1.1 最優質量傳輸
最優質量傳輸問題起初是由Gaspar Monge在1781年提出的,且關注尋找將一堆土從一個地點移動到另一個地點最優的方式,其意義在于最小化傳輸成本。這個問題在Kantorovich研究中被給出一種數學構造,這就是熟知的Monge-Kantorovich問題。
我們現在給出Monge-Kantorovich問題的構造。令Ω0和Ω1是Rd的兩個子域,擁有光滑的邊界,每個有一個正的密度函數,分別是μ0和μ1。我們假設
這項總的相同質量是與Ω0和Ω1有關的。我們認為微分同胚映射u是從(Ω0,μ0)到(Ω1,μ1),微分同胚映射的意義是映射一個密度到其他的密度
(1)
也許有許多這樣的映射,并且從某種意義上來說我們想要選擇一種最優的。因此,定義LPKantorovich-Wasserstein度量標準如下:
(2)
(3)式中|Hω|表示ω的海森行列式。
因此,Kantorovich-Wasserstein度量定義兩個質量密度的距離,通過考慮式(2)給出的公式計算從一個域到另一個域最便宜的方式,最優傳輸映射在p=2是情況下,是某一種函數的梯度。這個結果的新穎之處在于,它像平面上的Riemann映射理論,這個過程指出一個特定的偏愛幾何學的映射。
1.2 光流法
光流是一種計算方法來計算在很短時間差內一組圖像間運動。主要的思想是每個圖像的灰度值在兩幀圖像間是不變的。這導出光流約束方程
(4)
(5)
注意方程(5)的一個潛在的假設是亮度恒定。在這種假設下,一個物體的亮度從一幀到另一幀是恒定的。這個假設適用于一個朗伯表面剛性物體但不是用于氣體和液體材料。在計算機視覺中,這些通過所謂的動態紋理建模。煙和火的典型的動態紋理具有內在動態,所以不能通過標準光流方法來進行捕獲。同時,煙/火區域流的速度比周圍地區的速度快的多,通過公式(5)給出的模型可能又會產生很多錯誤結果。
這篇文章的目聳腔竦酶好的光流場模型用于火和煙霧檢測。這樣做的一個方法是基于在這些過程中物理屬性的光流。一個簡單的屬性是火和煙大約使亮度守恒作為一個廣義質量并且以文中的最優方法進行移動。因此,一個恰當的數學上的光約束不是強度守恒而且質量守恒或者亮度守恒。這個模型被寫為
(6)
理由如下:
這意味著區域強度的總的變化率僅通過一個光流表示(邊界上進入或者出去的)。這是一個守恒定律。但是通過散度定理
這是一個精確無窮小亮度(質量)守恒條件。
下面是前面部分的解釋,本文提出了用于動態紋理分割的光流:
第一項是優化問題,代表移動圖像的總質量,第二項是質量守恒光流方程。
2 神經網絡分類分類器
煙霧檢測可以抽象為兩種模型,其檢測結果由給定的像素決定屬于有煙的情況或是無煙的情況。神經網絡的最小二乘計算模型滿足貝葉斯判別式。輸出的結果是關于一個像素屬于某一特定類的概率,因此決定像素屬于有煙情況或是無煙情況的閾值是使用者根據其期望設定的。根據貝葉斯定理,多個事件的后驗概率公式可以寫成如下形式:
(8)
上式中的x由Ck類滿足判別式yk(x,w)具有最大值時確定。如果x屬于Ck則目標值tk(x)=l,否則都為零。神經網絡每次輸出的誤差如下式所示:
(9)
當樣本數量趨近無限大時,在文中可以看出,反向傳播算法最小化下面的式(10)來縮小由神經網絡來產生的誤差
(10)式中的n代表類的數量。上式表明當數據點的數量趨近與無窮時,輸出的結果的判別式等價于后驗概率中)yk(x,ω)≈P(Ck|x)。因此,把x指定給類Ck,也就是映射具有最大值的判別式函數,相當于把x指定為具有最大后驗概率的這個類。
根據貝葉斯原理,確定判別式的形式。后驗概率如下式:
(11)
將文中ak=ln(p(x|Ck)p(Ck))的替換,式(11)也稱為softmax函數。此式恰恰是神經網絡使用的激勵函數。
假設類的條件概率密度p(x|Ck)屬于分布的限制指數族,則采用下面的形式:
(12)
將上式的密度代入式(11),得到的等式是關于ak(x)與x成線性關系:
(13)
因此,判別式采用激勵函數的形式,當非線性函數φ(x)的線性組合為變量時如下:
(14)式中f(?)為激勵函數。
在神經網絡中的非線性函數組成了隱藏單元,這些非線性函數是根據具體情況選擇的,而且它們是關于輸入的線性組合的函數。
(15)其中h(?)是一個柔性最大值(softmax)函數。本文所使用的神經網絡是完全被連接的,并且由一個含有20個隱藏單元的單隱層構成的,這個隱藏單元在隱藏層和輸出使用softmax非線性。
3 實驗結果
為了獲得如下結果,只需要6幀圖片來訓練神經網絡分類器。包括手動描繪的有火、無火、有煙和無煙的區域。樣本的數量要小并且出自同一視頻中。通過提供更多明顯的樣本,例如來自不同的視頻資源的有用和沒用的數據樣本。可以使分類器檢測更多的視頻。
神經網絡分類器的輸出結果為每個像素的后驗概率p(Ck|x),這里的類Ck指的是有火或煙和無火或煙,x是給定像素的特征向量,圖2中顯示了分類器的一個樣本輸出中一幀圖像的所有像素。根據閾值可以選擇像素的類,圖2顯示的是煙,圖3顯示的是火。
對圖2所示的圖片進行特征向量提取和相鄰時空像素最優質量傳輸光流速度值計算,并提供給神經網絡分類器。輸出的每個像素的概率屬于煙的類。如圖2(b)所示,這種選擇是根據閾值概率做出的。可見白煙是從白墻中區分出來的。
將圖3所示的一組圖像序列提供給神經網絡分類器,這個分類器已經通過有火和無火的圖像訓練過。這時,分類器通過給定的閾值概率來標記圖像中火焰。
【關鍵詞】:主動測量 被動測量 抽樣測量
網絡流量性能測量與分析涉及許多關鍵技術,如單向測量中的時鐘同步問題,主動測量與被動測量的抽樣算法研究,多種測量工具之間的協同工作,網絡測量體系結構的搭建,性能指標的量化,性能指標的模型化分析,對網絡未來狀態進行趨勢預測,對海量測量數據進行數據挖掘或者利用已有的模型(petri網、自相似性、排隊論)研究其自相似特征,測量與分析結果的可視化,以及由測量所引起的安全性問題等等。
1.在IP網絡中采用網絡性能監測技術,可以實現
1.1 合理規劃和優化網絡性能
為更好的管理和改善網絡的運行,網絡管理者需要知道其網絡的流量情況和盡量多的流量信息。通過對網絡流量的監測、數據采集和分析,給出詳細的鏈路和節點流量分析報告,獲得流量分布和流向分布、報文特性和協議分布特性,為網絡規劃、路由策略、資源和容量升級提供依據。
1.2 基于流量的計費
現在lSP對網絡用戶提供服務絕大多數還是采用固定租費的形式,這對一般用戶和ISP來說,都不是一個好的選擇。采用這一形式的很大原因就是網絡提供者不能夠統計全部用戶的準確流量情況。這就需要有方便的手段對用戶的流量進行檢測。通過對用戶上網時長、上網流量、網絡業務以及目的網站數據分析,擺脫目前單一的包月制,實現基于時間段、帶寬、應用、服務質量等更加靈活的交費標準。
1.3 網絡應用狀況監測與分析
了解網絡的應用狀況,對研究者和網絡提供者都很重要。通過網絡應用監測,可以了解網絡上各種協議的使用情況(如www,pop3,ftp,rtp等協議),以及網絡應用的使用情況,研究者可以據此研究新的協議與應用,網絡提供者也可以據此更好的規劃網絡。
1.4 實時監測網絡狀況
針對網絡流量變化的突發性特性,通過實時監測網絡狀況,能實時獲得網絡的當前運行狀況,減輕維護人員的工作負擔。能在網絡出現故障或擁塞時發出自動告警,在網絡即將出現瓶頸前給出分析和預測。現在隨著Internet網絡不斷擴大,網絡中也經常會出現黑客攻擊、病毒泛濫的情況。而這些網絡突發事件從設備和網管的角度看卻很難發現,經常讓網絡管理員感到棘手。因此,針對網絡中突發性的異常流量分析將有助于網絡管理員發現和解決問題。
1.5 網絡用戶行為監測與分析
這對于網絡提供者來說非常重要,通過監測訪問網絡的用戶的行為,可以了解到:
1)某一段時間有多少用戶在訪問我的網絡。
2)訪問我的網絡最多的用戶是哪些。
3)這些用戶停留了多長時間。
4)他們來自什么地方。
5)他們到過我的網絡的哪些部分。
通過這些信息,網絡提供者可以更好的為用戶提供服務,從而也獲得更大的收益。
2.網絡流量測量有5個要素:
測量時間、測量對象、測量目的、測量位置和測量方法。網絡流量的測量實體,即性能指標主要包括以下幾項。
2.1 連接性
連接性也稱可用性、連通性或可達性,嚴格說應該是網絡的基本能力或屬性,不能稱為性能,但ITU-T建議可以用一些方法進行定量的測量。
2.2 延遲
對于單向延遲測量要求時鐘嚴格同步,這在實際的測量中很難做到,許多測量方案都采用往返延遲,以避開時鐘同步問題。
2.3 丟包率
為了評估網絡的丟包率,一般采用直接發送測量包來進行測量。目前評估網絡丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4 帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當一條路徑(通路)中沒有其他背景流量時,網絡能夠提供的最大的吞吐量。
2.5 流量參數
ITU-T提出兩種流量參數作為參考:一種是以一段時間間隔內在測量點上觀測到的所有傳輸成功的IP包數量除以時間間隔,即包吞吐量;另一種是基于字節吞吐量:用傳輸成功的IP包中總字節數除以時間間隔。
3.測量方法
Internet流量數據有三種形式:被動數據(指定鏈路數據)、主動數據(端至端數據)和BGP路由數據,由此涉及兩種測量方法:被動測量方法和主動測量方法然而,近幾年來,主動測量技術被網絡用戶或網絡研究人員用來分析指定網絡路徑的流量行為。
3.1 主動測量
主動測量的方法是指主動發送數據包去探測被測量的對象。以被測對象的響應作為性能評分的結果來分析。測量者一般采用模擬現實的流量(如Web Server的請求、FTP下載、DNS反應時間等)來測量一個應用的性能或者網絡的性能。由于測量點一般都靠近終究端,所以這種方法能夠代表從監測者的角度反映的性能。
3.2 被動測量
被動測量是在網絡中的一點收集流量信息,如使用路由器或交換機收渠數據或者一個獨立的設備被動地監測網絡鏈路的流量。被動測量可以完全取消附加流量和Heisenberg效應,這些優點使人們更愿意使用被動測量技術。有些測度使用被動測量獲得相當困難:如決定分縮手縮腳一所經過的路由。但被動測量的優點使得決定測量之前應該首先考慮被動測量。被動測量技術遇到的另一個重要問題是目前提出的要求確保隱私和安全問題。
3.3 網絡流量抽樣測量技術
選擇部分報文,當采樣時間間隔較大時,細微的網絡行為變化就無法精確探測到。反之,抽樣間隔過小時,又會占用過多的帶寬及需要更大的存儲能力。采樣方法隨采樣策略的不同而不同,如系統采樣或隨機采樣;也隨觸發采樣事件的不同而不同。如由報文到達時間觸發(基于時間采樣),由報文在流中所處的位置觸發(基于數目采樣)或由報文的內容觸發(基于內容采樣)。為了在減少采樣樣本和獲取更精確的流量數據之間達到平衡。
【關鍵詞】公司信息 在線監測 應用實踐
隨著供電公司信息化建設的不斷推進,電力信息網絡規模迅速擴大,各類業務應用進一步普及,主機的運行狀態監測、性能監測和網絡運行維護也愈發重要[1,2]。供電公司目前主機服務器主要是Windows服務器,對主機的服務、進程、事件日志、性能、存儲、網絡流量、應用系統、基本配置等對象的運行監控基本上采用人工巡檢和手工監測的方式,既耗費大量人力時間,又很難及時準確有效地發現主機的潛在隱患和故障,難以適應對信息網絡運行維護一體化、自動化、精細化管理的需要,因此開發應用了一套專用主機監測系統工具,已成為公司實現主機運維一體化管理和自動化管理的必然手段。
1 主機監控實現
主機監控工具主要功能包括主機服務檢測[3]、主機狀態監測、關鍵進程監測、CPU利用率監測、CPU峰值監測、CPU階段利用率監測、內存使用監測、內存階段利用率監測、磁盤數量掃描、磁盤空間監測、主機網絡流量監測、主機網絡丟包率監測、主機網絡延遲率監測、IIS狀態監測、IIS應用監測、數據庫連接監測、服務程序名采集等多項實用化監測指標采集以及各類采集策略配置、采集數據告警配置,并需要與地市公司信息專業統一監控工具的集成應用。
工具技術架構見圖1。
主機監控工具是主要包括主機網絡監控、主機監控、應用監控,通過監控網絡的流量、延遲率、丟包率、主機服務、進程、事件日志、性能變化、硬盤可用空間、指定文件使用概況、WEB服務器、數據庫服務器、數據庫空間使用等來實時掌握主機的運行情況,確保主機和網絡的正常運行。
工具完全由軟件來實現,部署簡單,集中部署,無需更改網絡配置,不影響網絡的正常運行。其中管理平臺采用WEB架構,部署在應用服務器中。采集服務程序通過主動和被動的方式來獲取主機和網絡信息。 工具基礎數據庫采用MYSQL數據庫 ,存儲主機基礎臺帳信息、初始化配置信息、網絡采集信息、主機采集信息等。
主機監測的參數采集及計算方式如下:
(1)通過Snmp協議對Windows服務器監測,檢測Windows進程、Windows主機磁盤剩余容量和接口信息。
(2)編寫WMI腳本實現自動任務管理,通過C++程序接口、.Net類等方法獲取Windows操作系統的對象信息。
(3)通過WMI獲取遠程主機的Windows機基本信息。
(4)采用平均值算法計算網絡流量、網絡的延遲率和網絡的丟包率。
2 實現效果
圖2為主機運行狀態監測展示界面,運維人員可快速掌握主機在線狀態、CPU及內存使用情況等基本主機信息。
3 結語
通過主機在線監測工具的開發和應用解決了地市供電公司日常運維過程中對主機的服務、進程、事件日志、性能、存儲、網絡流量、應用系統、基本配置等對象的運行監控采用落后的人工巡檢和手工監測的方式,既避免了耗費大量人力時間,又達到及時準確有效地發現主機的潛在隱患和故障的目的。
參考文獻:
[1]蘭建容.基于Windows 2000主機監控系統的設計與實現.江西理工大學學報,2006, 27(3):38-42.