發布時間:2022-04-19 07:22:12
序言:寫作是分享個人見解和探索未知領域的橋梁,我們為您精選了8篇的網絡流量監測樣本,期待這些樣本能夠為您提供豐富的參考和啟發,請盡情閱讀。
本文就網絡流量監測的作用和移動互聯網的研究現狀進行分析,探討CDMA移動互聯網的特征,以便更好的對網絡流量進行監測。
【關鍵詞】
網絡流量;監測;移動互聯網
0 引言
隨著互聯網規模的不斷擴大,其應用領域越來越廣泛,因此,急需要對網絡流量進行實時、在線的監控和管理。對網絡流量特征進行研究,有利于有效的管理、規劃、發展網絡。其中網絡流量監測是網絡測量技術之一,通過對網絡流量進行監測和分析研究,能夠較好的掌握網絡流量的特征,了解網絡的狀況,并能夠根據詳細的流量信息,對故障進行定位和修復,能夠獲取網絡所承載的業務的大小,及時了解用戶應用強度、頻度等行為模型。
1 網絡流量監測的作用
其一,有利于網絡規劃。在移動網絡中出現擁堵的現象時,傳統的做法通常為網絡擴容。如果借助網絡流量監測技術,能夠及時的掌握當前的移動網絡的流量趨勢,有效的解決網絡中出現的問題,并運用科學合理的方式進行規劃。
其二,提高網絡資源的利用率。由于移動網絡的流量比較復雜多變,目前還有大多數網絡特征未被外界認知,通過網絡流量監測技術,能夠及時的了解當前網絡流量的情況和移動網絡業務的特征。
其三,便于移動網絡安全維護。隨著網絡的普及,越來越多的惡意程序通過網絡傳播,嚴重影響到用戶的隱私和財產安全。充分運用網絡流量監測技術,能夠對網絡流量進行分析,制定出不同移動平臺的移動網絡安全策略。
2 移動互聯網的現狀
近年來,隨著社交網絡、微博、微信等新型網絡應用的發展,使得互聯網行業的發展充滿生機和活力。移動通信技術和互聯網技術的緊密結合形成了一種新的網絡,即移動互聯網。移動互聯網指的是通過使用手機網絡、平板電腦等移動終端,基于移動網絡聯網獲取圖像、語音、文字等用戶需求的隨時可接入的網絡。根據通訊世界網訊全球技術研究和咨詢公司的最新研究報告表明,我國手機用戶在2013年突破10億,預測在2014年,我國手機市場將銷售4.436億部手機,使用手機將超過10.76億部。網民人數達到6.15億,移動互聯網用戶數已達到8.38億。我國的移動互聯網用戶人數將會呈現持續增長的趨勢,同時,伴隨著平板電腦、智能手機的發展,國內移動互聯網絡用戶群將會逐漸擴大。另外,在移動互聯網迅猛發展的同時,也會帶來一定的風險和挑戰。首先隨著移動互聯網內容不斷的豐富,產生了各種寬帶負荷較大的業務,例如基于P2P業務。傳統的互聯網監控方式不一定適用于移動互聯網,缺乏有針對性的移動互聯網監控平臺。目前移動互聯網的監控制度還不夠完善,限制了網絡服務質量的提高,對未來網絡的發展具有嚴重的影響作用。其次,移動網絡運營商雖然為各種內容提供商業支持,推廣了各種業務,但多種業務的流量特征研究不夠完善,運行質量沒有進行深入的研究,大多互聯網基礎指標在移動互聯網的場景下分布比較異常。
3 CDMA移動互聯網特征研究
3.1網絡流量原始流量采集
本文使用的網絡數據是由本研究團隊自行研發的檢測設備TMS進行采集的。原始網絡流量均采用我國某大城市的骨干網節點。在采集CDMA實驗數據時,部署了4個采集探針在同一個城市的鏈路上,位于分組數據服務節點和城市核心節點之間并行的鏈路上。詳情如圖1所示。
另外,網絡流量分類技術主要包括深度包檢測和深度流檢測技術。分類時,首先使用深度包檢測技術,通常能夠達到較高的分類效果。針對不同的網絡應用,比較適合使用深度流檢測技術。本文的算法中就引入了深度流檢測的技術。
3.2網絡流量建模
由于采集的網絡寬帶較大,運算和存貯資源比較有限,需要選取一個適合的時間段,采集數據子集后為后續分析充當樣本。網絡流量建模的原理指的是充分利用統計獲取的網絡流量特征,對其進行數學推導后得出的符合統計規律的模型來模擬實際網絡流量趨勢。網絡流量建模通常采用ARIMA模型[3]。其指的是分差整合移動平均自回歸模型,通常用于進行平穩序列和分差后平穩序列的建模分析。ARIMA模型分析的一般步驟為:(1)根據序列的自相關函數分布圖和偏相關函數分布圖,分析序列的平穩性。(2)對非平穩性序列進行平穩化處理;根據時間序列的識別規定,對ARIMA模型的相關參數進行識別,建立相應模型。建立分析后,需要對參數進行評估,并對參數進行檢驗,其中參數檢驗通常會采用AIC準則。AIC的計算公式為:
其中T為可使用的觀測值,RSS指的是參差平方根和,n為待估參數個數。比較不同參數時,需要采用AIC值更小的模型。
3.3網絡流量基本特征
其一,網絡協議。在互聯網中使用的TCP/IP協議族為傳輸層明確了兩個主要的協議,分別為TCP協議和UDP協議。TCP協議需要在兩個TCP之間建立一個虛連接,在運輸層中使用流量控制和差錯控制機制,即為面向連接的、可靠的傳輸協議。UDP協議為無連接、不可靠傳輸協議。本文對兩種網絡協議進行研究,如表1所示。
其二,網絡流長(字節)分布。網絡中的流量實際時由IP流來承擔的,IP流的長度在一定程度上反映了網絡負載的情況。圖2為CDMA網絡中的流長分布情況。
其三,網絡流持續時間分布。IP流持續的時間為IP流第一個報文達到的時間和最后一個報文達到的時間差值。對IP流持續的時間分布進行研究,可以從宏觀的角度反映出IP流在網絡中分布的時間,根據其他網絡特征,可以綜合對網絡流的各種行為特點進行研究。根據統計可知,CDMA網絡中平均UDP流持續的時間為62.15秒,在TCP流中持續的時間為17.85秒。
4 總結
隨著移動互聯網絡的飛速發展,多種移動互聯網絡的應用成為人們生活中不可或缺的一部分。由于移動互聯網場景復雜,使得流量的多種特征還沒被發現。網絡流量監測技術和移動互聯網特征的研究,能夠對移動網絡流量進行保存,可以有效的規劃網絡,充分利用網絡資源,維護移動互聯網的安全。
【參考文獻】
[1]王華奎.移動通信原理與技術[M].清華大學出版社,2010.
>> 基于支持向量機的網絡流量分類方法 一種基于多維支持向量機的P2P網絡流量識別模型 基于支持向量機的地鐵客流量預測 支持向量機的半監督網絡流量分類方法 基于組合優化理論的無線網絡流量建模與預測 基于支持向量機的Freegate軟件流量檢測研究 基于小波神經網絡的網絡流量預測 基于徑向基神經網絡的網絡流量預測 基于小波神經網絡的網絡流量預測研究 基于改進Elman神經網絡的網絡流量預測 基于改進小波神經網絡的網絡流量預測研究 基于BP神經網絡的非線性網絡流量預測 一種基于神經網絡的網絡流量組合預測模型 基于支持向量機的股指期貨合約價格預測 基于支持向量機的債券時間序列預測 基于支持向量機回歸的中國CPI預測研究 基于免疫支持向量機預測模型的研究 基于支持向量機的短期負荷預測 基于支持向量機的短期電力負荷預測 基于長相關網絡流量預測分析 常見問題解答 當前所在位置:l上獲得),按5分鐘的時間尺度對該流量序列做聚集操作,獲得了用于建模的流量序列,記為TSb,長度為250。
核函數選擇徑向基函數,動態調整法選取參數后,流量預測結果如圖1所示,預測RMSE為2.5136,RRMSE為0.021。各項誤差指標對比如表1所列,在參數優化后, RMSE和RRMSE都少了,表明參數優化后的效果優于優化前。
5 結論
網絡流量工程對于大規模網絡的規劃設計、網絡資源管理以及實現網絡入侵檢測等方面都具有積極的意義,而流量建模與預測是網絡流量工程的重要組成部分。傳統的流量時間序列模型只適合于分析平穩過程及特殊的非平穩過程,難以刻畫大規模網絡的復雜流量行為。文中采用支持向量機回歸方法進行網絡流量預測,首先對觀測序列進行歸一化預處理,根據訓練樣本動態調整參數后,再進行預測。從實際預測結果來看,該方法具有較好的預測效果。
參考文獻:
[1] Kantz H.非線性時間序列分析[M].北京:清華大學出版社,2000.
[2] Chen Bor-Sen ,Peng Sen-Chueh,Wang Ku-Chen. Traffic Modeling,Prediction,and Congestion Control for High-Speed Networks:A Fuzzy AR Approach[J].IEEE Transaction on Fuzzy Systems,2000 ,8(5)
[3] Vapnik V N. Statistical Learning Theory [M].New York Wiley,1998.
[4] 劉勝,李妍妍.自適應GA-SVM 參數選擇算法研究[J]. 哈爾濱工程大學學報,2007,28(4).
[5] 魏海坤.神經網絡結構設計的理論與方法[M].北京:國防工業出版社,2005.
【論文摘要】:網絡流量性能測量是網絡管理和系統管理的一個重要組成部分,為網絡的運行和維護提供了重要信息,問時也是網絡流量具體建模、分析的必要前提和手段。網絡流量的測量方法分為主動測量和被動測量。兩種測量方法各有優缺點,分別用于不同的場合。針對網絡流量的測量展開系統性的研究將對Internet行為學方面的研究取得理論突破具有重要意。
網絡流量性能測量與分析涉及許多關鍵技術,如單向測量中的時鐘同步問題,主動測量與被動測量的抽樣算法研究,多種測量工具之間的協同工作,網絡測量體系結構的搭建,性能指標的量化,性能指標的模型化分析,對網絡未來狀態進行趨勢預測,對海量測量數據進行數據挖掘或者利用已有的模型(petri網、自相似性、排隊論)研究其自相似特征,測量與分析結果的可視化,以及由測量所引起的安全性問題等等。
1.在IP網絡中采用網絡性能監測技術,可以實現
1.1 合理規劃和優化網絡性能
為更好的管理和改善網絡的運行,網絡管理者需要知道其網絡的流量情況和盡量多的流量信息。通過對網絡流量的監測、數據采集和分析,給出詳細的鏈路和節點流量分析報告,獲得流量分布和流向分布、報文特性和協議分布特性,為網絡規劃、路由策略、資源和容量升級提供依據。
1.2 基于流量的計費
現在lSP對網絡用戶提供服務絕大多數還是采用固定租費的形式,這對一般用戶和ISP來說,都不是一個好的選擇。采用這一形式的很大原因就是網絡提供者不能夠統計全部用戶的準確流量情況。這就需要有方便的手段對用戶的流量進行檢測。通過對用戶上網時長、上網流量、網絡業務以及目的網站數據分析,擺脫目前單一的包月制,實現基于時間段、帶寬、應用、服務質量等更加靈活的交費標準。
1.3 網絡應用狀況監測與分析
了解網絡的應用狀況,對研究者和網絡提供者都很重要。通過網絡應用監測,可以了解網絡上各種協議的使用情況(如www,pop3,ftp,rtp等協議),以及網絡應用的使用情況,研究者可以據此研究新的協議與應用,網絡提供者也可以據此更好的規劃網絡。
1.4 實時監測網絡狀況
針對網絡流量變化的突發性特性,通過實時監測網絡狀況,能實時獲得網絡的當前運行狀況,減輕維護人員的工作負擔。能在網絡出現故障或擁塞時發出自動告警,在網絡即將出現瓶頸前給出分析和預測。現在隨著Internet網絡不斷擴大,網絡中也經常會出現黑客攻擊、病毒泛濫的情況。而這些網絡突發事件從設備和網管的角度看卻很難發現,經常讓網絡管理員感到棘手。因此,針對網絡中突發性的異常流量分析將有助于網絡管理員發現和解決問題。
1.5 網絡用戶行為監測與分析
這對于網絡提供者來說非常重要,通過監測訪問網絡的用戶的行為,可以了解到:
1)某一段時間有多少用戶在訪問我的網絡。
2)訪問我的網絡最多的用戶是哪些。
3)這些用戶停留了多長時間。
4)他們來自什么地方。
5)他們到過我的網絡的哪些部分。
通過這些信息,網絡提供者可以更好的為用戶提供服務,從而也獲得更大的收益。
2.網絡流量測量有5個要素:
測量時間、測量對象、測量目的、測量位置和測量方法。網絡流量的測量實體,即性能指標主要包括以下幾項。 2.1 連接性
連接性也稱可用性、連通性或可達性,嚴格說應該是網絡的基本能力或屬性,不能稱為性能,但ITU-T建議可以用一些方法進行定量的測量。
2.2 延遲
對于單向延遲測量要求時鐘嚴格同步,這在實際的測量中很難做到,許多測量方案都采用往返延遲,以避開時鐘同步問題。
2.3 丟包率
為了評估網絡的丟包率,一般采用直接發送測量包來進行測量。目前評估網絡丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4 帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當一條路徑(通路)中沒有其他背景流量時,網絡能夠提供的最大的吞吐量。
2.5 流量參數
ITU-T提出兩種流量參數作為參考:一種是以一段時間間隔內在測量點上觀測到的所有傳輸成功的IP包數量除以時間間隔,即包吞吐量;另一種是基于字節吞吐量:用傳輸成功的IP包中總字節數除以時間間隔。
3.測量方法
Internet流量數據有三種形式:被動數據(指定鏈路數據)、主動數據(端至端數據)和BGP路由數據,由此涉及兩種測量方法:被動測量方法和主動測量方法然而,近幾年來,主動測量技術被網絡用戶或網絡研究人員用來分析指定網絡路徑的流量行為。
3.1 主動測量
主動測量的方法是指主動發送數據包去探測被測量的對象。以被測對象的響應作為性能評分的結果來分析。測量者一般采用模擬現實的流量(如Web Server的請求、FTP下載、DNS反應時間等)來測量一個應用的性能或者網絡的性能。由于測量點一般都靠近終究端,所以這種方法能夠代表從監測者的角度反映的性能。
3.2 被動測量
被動測量是在網絡中的一點收集流量信息,如使用路由器或交換機收渠數據或者一個獨立的設備被動地監測網絡鏈路的流量。被動測量可以完全取消附加流量和Heisenberg效應,這些優點使人們更愿意使用被動測量技術。有些測度使用被動測量獲得相當困難:如決定分縮手縮腳一所經過的路由。但被動測量的優點使得決定測量之前應該首先考慮被動測量。被動測量技術遇到的另一個重要問題是目前提出的要求確保隱私和安全問題。
3.3 網絡流量抽樣測量技術
選擇部分報文,當采樣時間間隔較大時,細微的網絡行為變化就無法精確探測到。反之,抽樣間隔過小時,又會占用過多的帶寬及需要更大的存儲能力。采樣方法隨采樣策略的不同而不同,如系統采樣或隨機采樣;也隨觸發采樣事件的不同而不同。如由報文到達時間觸發(基于時間采樣),由報文在流中所處的位置觸發(基于數目采樣)或由報文的內容觸發(基于內容采樣)。為了在減少采樣樣本和獲取更精確的流量數據之間達到平衡。
4.結語
【關鍵詞】網絡監控 流量測量 采集技術 技術構架 局域管理
伴隨著計算機技術的飛速發展,以網絡連接為主導的科技力量逐漸增強,并形成了多點傳輸、兼容運行的管理機制,視頻、下載、多播等技術手段日益豐富。然而在網絡應用不斷擴大,線路錯綜、流量范圍不斷復雜的今天,網絡連接不流暢、流量堵塞、鏈接速度緩慢、網絡病毒傳播等現象凸顯出來,影響到我們的正常使用。因此,加強網絡流量監控,合理規劃流量布置,調整網絡運用時差,有效控制網絡病毒傳播,研發新型網絡流量監控系統勢在必行。
1 分析計算機網絡流量監控技術現狀
傳統的網絡流量監控技術,是建立在某一區域內,點對點的直線傳輸和管理的,它的監控原理是:通過控制數據端口和輸出端口的IP流量,來檢測系統內的流量,分析網絡資源。基于人們對現代網絡技術的發展需求,開發設計新型網絡流量監控系統,可高效、快捷的進行局域網絡管理,調節網絡流量資源,達到快速上網和減少病毒傳播的目的,同時可借鑒傳統流量監控技術,合理設計局域網絡監控系統。這類設計應用的特點是:通訊流量大、種類繁多、無固定服務端口、特征變化迅速和可控制管理等。其監控系統應具有的技術功能:TCP/IP協議,建設網絡的基礎單元;數據采集和流量測量技術,網絡監控管理的必備條件等。
2 計算機網絡流量監控的設計與實現
2.1 計算機網絡流量監控系統設計的技術構架
為滿足人們日益增長的網絡需求,實現快速、高效的網絡鏈接,合理調節資源配置,有效防范病毒傳播,進行可控的網絡管理,對局域網絡流量監控進行設計(如圖1)。由圖可知,局域網絡流量監控系統是由系統管理、流量采集、實時性能監控、站點流量管理、P2P流量及分析統計模塊組成,它們相互促進,協調管理,共同完成網絡流量監控。
2.2 網絡流量的測量與采集主要模塊技術
在網絡流量監控系統中,最為重要的功能模塊:網絡流量測量與采集技術,這也是基于Net-Flow網絡流量監控設計的核心組成部件。網絡流量測量在其形式上分為主動測量和被動測量兩種方式。所謂的主動測量方式,是指通過向網絡流量監控系統中,放入可探測流量的軟件或數據包,通過數據反饋或數據入庫跟蹤等,得到有效測量流量的一種方式。例如,網絡中綜合對寬帶信號進行定位和流程測量,具體措施就是通過植入探測流量器,來實現寬帶網絡的流量配置,它的鏈接方式就是通過主動測量方式進行的。被動測量,就是根據各個有效站點反饋的數據和記錄,進行數據分析和統計,從而通過計算等方式得到的間接的流量獲得方式。例如,P2P網絡流量系統中經常通過交換機、路由器或其它監測設備,通過之路數據采集,從而得到網絡流量。被動測量憑借不單獨依附特殊設備運行、可避免系統的不兼容等特點,略優于主動測量方式。
網絡流量采集技術,是按照系統所反饋的信息內容進行劃分、重組的。一般分為四個類型:第一種實現了直接從一個端口到另一個端口的直線連接,即傳統意義上的IP流量,其中包含了大量的數據信息;第二種用戶鏈接網絡所產生的流量信息,它的采集意義重大,可控制網絡主要病毒的獲取;第三種各個節點的網絡流量,其信息量包括字節、數量、容積等,主要采用MRTG技術進行采集;第四種則是企業專用的業務層流量采集,主要應用Sniffer技術采集整理。
2.3 新型計算機網絡流量監控的實現
基于Net-Flow網絡流量監控系統,主要解決了傳統P2P網絡流量的端口、IP和通信限制,實現了點到面的綜合流量監控,有效防范了外網的技術漏洞和安全隱患,是目前網絡系統中應用較為廣泛的流量監測技術。無論通過路由器還是交換機連接進入網絡,最終都是通過流量采集模塊和嚴格的監控管理,進行數據劃分和測量,其中間環節加大了對信息流量的監控力度,有效的減少了網絡病毒傳播,促進了局域網的良性循環。
首先可通過系統結構運行原理,具體分析數據流量的來龍去脈,高效的掌握網絡鏈接情況,并實時通過數據采集,快捷的確定數據包內容,包括源IP地址、端口信息、終點地址、協議類型等服務,來實現具體業務類型及傳送方向等。其次,通過Net-Flow網絡流量監控系統,可實施監控網絡資源,如寬帶高峰、低谷時間段,流量占用量,具體下載速度等,通過流量采集和網絡測量模塊,調節網絡流量運行趨勢,使之更高效、更快捷的提供數據反饋信息,強有力的控制網絡病毒,為合理的使用網絡資源提供有力的保證。
3 結束語
綜上所述,基于Net-Flow網絡流量監控系統設計,實現了局域網的流量鏈接管理,有效防范了外部網絡的惡意攻擊,對局域網絡連接帶來了新的突破和發展。同時網絡運營商為全面擴寬網絡業務,充分發揮網絡流量監控方面的資源優勢,必須整合網絡科學技術,依靠先進的計算機理論,設計更為專業、高效的網絡流量可控系統,綜合提高網絡運行速度和安全管理能力。
參考文獻
[1]王繼梅,金連普.基于JDBC的網絡管理系統流量統計研究[J].計算機工程與設計,2009(8).
[2]梁鴻,劉芳.基于TCP/IP的網絡流量監控系統模型的研究[J].計算機系統應用,2007(6).
[3]柯棟梁,萬燕.基于SNMP協議的流量監控系統的設計與實現[J].微計算機信息廣西教育,2009(4).
作者簡介
趙韜(1982-),男,湖北省鄖縣人。大學本科學歷。現為湖北省鄖陽師范高等專科學校講師。研究方向為計算機網絡。
結合校園網絡實際面臨到的問題,我們應借助網絡應用層監測技術,使用相關流控設備,做好流量管控,既可讓教育公眾雙網運作順暢、有限帶寬資源得到有效應用,又可提高網絡性能。
關鍵詞:DPI;智能流量管理系統;管理策略
Campus Network Application Layer Traffic Monitoring and Flow Control Equipment to Study
TAO Wei-tian
(Network Management Center of Traditional Chinese Medicine in Gansu, Lanzhou 730000, China)
Abstract: With exports of campus network bandwidth increases and new applications development, the traditional port and IP-based traffic management difficult to meet the requirements, and has brought various problems. With quantitative analysis based on network planning and optimization is particularly important and urgent.
With the actual faces to the campus network, we should draw the network application-level monitoring technology, use-related flow control equipment, good flow control, only to allow the smooth operation of the dual network to educate the public, limited bandwidth, the effective application of resources, but also improve the network performance.
Key words: DPI; intelligent traffic management system; management strategy
隨著大學校園上網規模的增加,BT、P2P、視頻下載等應用風行,盡管已經多次升級線路帶寬,卻發現上網還是卡,帶寬還是不夠用。各式病毒攻擊也伴隨而來,更是惱人的問題。使得校園網流量管理變得異常困難,大量帶寬被非核心業務占用,而傳統的基于端口和IP的流量管理難以滿足要求;面對眾多的用戶及復雜多元的網絡應用,給校園網絡管理帶來很大的威脅,網絡管理人員經常遭遇下列問題:網絡占用率較高不能查明原因、帶寬不足需優化而缺乏統計數據、網絡突然中斷不能查明原因等、希望獲得詳細的網絡管理報表用來網絡優化或升級需要而沒有現成資料。
針對上述校園網絡實際面臨到的問題,我認為追根究底是要做好流量管控,使用應用層流量分析管理技術和產品,即可實現這方面的管理效果,這就需要做到:1) 了解網絡應用流量監測技術;2) 合理的使用流量管理產品。下面,分別就這兩方面做以闡述:
1 網絡應用流量監測原理及辦法
我們知道,傳統的流量和帶寬管理是基于OSI L2~L4層,通過IP包頭的五元組(源地址、目的地址、源端口、目的端口以及協議類型)信息進行分析,通常我們稱此為“普通報文檢測”。“普通報文檢測”僅分析IP包的4層以下的內容,通過端口號來識別應用類型。而當前網絡上的一些應用會采用隱藏或假冒端口號的方式躲避檢測和監管,造成仿冒合法報文的數據流侵蝕著網絡(例如P2P下載軟件大多采用動態協商端口機制),此時采用L2~L4層的傳統檢測方法就無能為力了。
為了識別諸如基于開放端口、隨機端口甚至采用加密方式等進行傳輸的應用類型,網絡流量應用識別基本技術DPI、DFI技術應運而生。也有文獻稱之為業務識別技術。
1.1網絡流量應用識別基本技術
1.1.1 DPI
DPI全稱為“Deep Packet Inspection”,稱為“深度包檢測”。DPI技術在分析包頭的基礎上,增加了對應用層的分析,是一種基于應用層的流量檢測和控制技術。當IP數據包、TCP或UDP數據流經過基于DPI技術的流量管理系統時,該系統通過深入讀取IP包載荷的內容,來對OSI 7層協議中的應用層信息進行重組,從而得到整個應用程序的內容,然后按照系統定義的管理策略對流量進行整形操作。
DPI技術通常采用如下的數據包分析方法:
傳輸層端口分析。許多應用使用默認的傳輸層端口號,例如HTTP協議使用80端口。
特征字匹配分析。一些應用在應用層協議頭,或者應用層負荷中的特定位置中包含特征字段,通過特征字段的識別實現數據包檢查、監控和分析。
通信交互過程分析。對多個會話的事務交互過程進行監控分析,包括包長度、發送的包數目等,實現對網絡業務的檢查、監控和分析。
DPI技術是達到應用層流控目標的基本方法,通過DPI技術,把流細分為對應具體的應用流,在分離流量的基礎上,定義帶寬通道,從而使網絡中的流量根據應用各行其道,優化寬帶服務,提高網絡運行效率和服務品質,保障關鍵應用,獲得更好的用戶體驗。
DPI實現應用粒度控制的流程是:識別分析控制報告,其中識別準確度是關鍵,是評估流控產品的重要指標。
1.1.2 DFI
DFI(Deep/Dynamic Flow Inspection,深度/動態流檢測)與DPI進行應用層的載荷匹配不同,采用的是一種基于流量行為的應用識別技術,即不同的應用類型體現在會話連接或數據流上的狀態各有不同。DFI更關注于網絡流量特征的通用性,因此,DFI技術并不對網絡流量進行深度的報文檢測,而僅通過對網絡流量的狀態、網絡層和傳輸層信息、業務流持續時間、平均流速率、字節長度分布等參數的統計分析,來獲取業務類型、業務狀態。
2 網絡流量管理產品
2.1 智能管理
早期的網絡流量管理方式是在路由器、防火墻或局域網交換機上使用簡單的帶寬管理或QOS來實現(至今一些單位的簡易流控需求仍沿用這種方式),但這種控制方式需要人為干涉,操作復雜,無法做到智能管理,所以不能滿足網絡管理中復雜策略的精細程度和靈活程度需要。
智能流量管理系統是一款專業的L7應用層流量管理產品,適用于大中型企業、校園網、城域網等流量大、應用復雜的網絡化境;通過監控網絡流量,分析流量行為,設置流控策略,分時段、按用戶、按應用實現流量控制和帶寬保障,全面提升帶寬利用價值。智能流量管理系統融合了DPI和DFI兩種技術,具有四個顯著特征。
1) 精確而廣泛的應用識別能力:對應用的識別是進行流量控制的基礎。智能流量管理系統應用識別庫能覆蓋各種主流應用,特別是結合國內網絡應用的實際情況,提供對迅雷、QQ等本土應用的識別。另外,智能流量管理系統能夠對諸如QQ這種具有即時消息、文件傳輸、音頻視頻、游戲等多種子協議的網絡應用,提供精細化的子應用識別。
2) 優異的產品性能及安全性保障:智能流量管理系統對用戶網絡中的所有流量進行處理,能夠承受巨大的流量壓力,特別是在配置復雜策略情況下,不會造成設備性能的下降。另外,設備是以串接方式接入用戶網絡,具有良好的安全性,在設備出現運行斷電或異常情況時,能夠保障用戶業務的暢通。
3) 強大的控制能力:智能流量管理系統能夠根據用戶的實際需求,提供強大而完善的控制手段。通過不同時間段、不同用戶、不同網絡應用、不同控制動作等條件,實現不同情景下的策略配置。我們知道任何網絡流量的使用都和人的因素密不可分,智能流量管理系統能夠對用戶進行靈活的分類管理,從而使控制策略更加符合實際需要。
4) 清晰而全面的信息查詢:智能流量管理系統不僅能實現對網絡流量的控制,而且能幫助網絡管理者對異常問題進行定位,以及通過網絡應用現狀的分析實現對網絡的優化。智能流量管理系統通過柱狀圖、餅狀圖、走勢圖等圖表,以及從不同的分析角度,可向用戶提供清晰而全面的實時信息查詢、歷史日志查詢、以及自動生成報表等功能。
2.2 國內外產品介紹
國外廠商,以Cisco SCE、Allot、Packteer、Sendvine、 ACENET、Maxnet。產品特性能好,解決方案和產品成熟,均有用戶管理系統(可能為動態IP環境中使用,將用戶帳號和流量策略結合來控制流量),除ACENET外,其主流產品功能相對單一,但非常專業。
國內廠商中,比較優秀的有暢訊信通的QQSG、南京信風、寬廣、華為SIG、金御等,國內產品適合國情,國內應用的識別率相對國外產品高,存在問題是產品性能宣傳強,但實際使用,尤其是在策略較多情況下性能差,個別產品有POS接口(適合部分國內運營商),價格較國外廠商有較大優勢,功能較多,但在流量管理領域,屬于發展期,不夠成熟。
2.3 設備的選擇
2.3.1 硬件技術
流量管理設備硬件技術主要有三種:Intel X86架構、ASIC技術和NP技術,由于X86架構處理速度相對較慢,單個芯片的可擴展性較差,所以大部分廠家的低端產品采用X86架構,高端產品采用ASIC或NP技術,以適用于不同的網絡環境需求。
2.3.2 工作模式
1) 路由模式:通過網關模式串接在用戶網絡鏈路中,所有流量都通過網關處理,對內網用戶上網行為和數據包實施控制、攔截、流量管理等功能。若將設備作為Internet 出口網關,設備的防火墻功能保障組織網絡安全,NAT功能內網用戶上網,實現基本的路由功能等。
2) 網橋模式:同樣串接在用戶網絡鏈路中,如同連接在出口網關和內網交換機之間的“智能網線”,對流經流控設備的所有數據流進行控制、攔截、流量管理等操作。網橋模式主要適用于不希望更改網絡結構、路由配置、IP 配置的用戶。
3) 旁路模式:即在出換機中配置鏡像端口,將流控設備的廣域網口同鏡像端口相連,實現對內網數據包的監聽。
采用旁路模式部署的流控設備,將與交換機的鏡像端口相連,部署實施簡單,完全不影響原有的網絡結構,降低了網絡單點故障的發生概率。
2.3.3 性能要求
1) 應用協議的識別與分類(種類和準確性),流控策略的普適性及長效性;
有些通過應用層特征碼來控制P2P的流控策略,如果不能及時更新特征碼或特征碼變得不可知,就可能導致流控失敗,一個近期的例子:BT通訊協議加密及迅雷通訊協議發生變化導致專門的P2P流控設備失效。好的流控設備不依賴于應用的特征碼,因此可以經得起時間及應用軟件協議變化的考驗。
2) 流控策略的全面性
普通設備的只對P2P應用做控制,好的設備對所有流量的帶寬、會話數、總流量和應用做控制。由于流量的多樣性,單靠一兩種策略是不能管理好的,必須實行全面的流控策略才能達到流量管理的目的。
3) 看監控對象及流控策略的精細度
好的設備既可以監控出口網關處的流量又可以監控來源網絡的流量分布;
普通設備的控制精度只能達到IP一級或網關一級,好的設備可以對每一源IP的不同應用分別做帶寬及會話數的控制,而且只有這樣才能保障關鍵應用及其它應用的服務質量以及相同等級用戶上網體驗的一致性。
4) 看流量數據存儲及處理方式
好的設備可以將流量數據輸出到專門的流量分析工作站,將流量存儲、分析、統計、查詢功能和流量捕捉功能分開,保證了流量分析設備的運行效率和流量數據存儲的可持續性。
5) 應盡可能使用性能可靠、管理方便、特別是在有故障時能夠自動旁路的設備,避免故障點的出現。
2.4 設備優缺點
流控設備不是萬能的,還要了解其缺點。
首先,因為它的工作原理和防病毒一樣屬于事后起作用,所以其優點是精準,其缺點是:1) 總有部分(10~30%)流量不可識別,例如IP碎片、加密流量等;2) 性能會持續下降,當特征碼越來越多時,性能就會越來越低,這種趨勢發展到一定程度就會使流控設備成為網絡中新的性能瓶頸;3) 由于要頻繁更新特征碼,因此一、設備后期維護難度大,總體擁有成本高;二、對廠家的依賴程度高,廠家停產、倒閉等不可抗力因素使得購買其產品成為一種賭博行為。其次,要區別對待基于應用層的帶寬分析技術和控制技術,確定有未知流量的存在對于7層帶寬分析技術來說是一種間接的成果,但是對于基于其上的帶寬控制技術來說就是現實的噩夢,因為它要先識別再做控制,所以這部分流量永遠無法得到有效的控制,當某種未知流量短期內突然增大時,流控措施就會馬上失效,例如,08年新版迅雷的快速普及就導致了不少流控設備失效,特別是一些國外的設備。
3 總結
綜上所述,只有做到網絡應用流量監測技術和網絡流量管理設備的深入了解,才能針對校園網所面臨的問題,選擇好適合自己需要的網絡流量管理設備,做到“心中有數、有的放矢”。
參考文獻:
[1] 聶瑞華.基于DPI技術的校園網絡帶寬管理[J].計算機技術與發展,2009(4).
[2] 馬科.業務識別與管理系統和網絡流量的管理[J].現代電信科技,2008(4).
關鍵詞 網絡監測 Cacti 系統研究
中圖分類號TP393 文獻標識碼:A
1 課題背景
近年來,隨著計算機網絡技術的飛速發展,信息網絡越來越多地融入到人們的工作、學習和生活中,網絡管理也變得越來越重要。作為網絡管理人員使用傳統的網絡管理,由于缺少有效的網絡監測手段,工作程序較為被動。為解決這一問題,我們應開發一套實時、動態監測并詳細記錄全網設備運行狀況、鏈路狀況、流量狀況等信息,以直觀的、圖形化方式實時反映網絡運行的監測系統。此系統應及時發現問題,對潛在隱患實時向管理員進行報警,使網絡管理由人工轉為智能、由被動轉為主動,幫助網絡管理員提高網絡管理和運行的服務質量。
2 網絡監測概述
網絡監測軟件可以提供給管理員當前的網絡狀態、網絡負載和網絡設備的工作狀態等信息。這些監測軟件大多來自于軟件開發公司、個人和非盈利機構。價格從免費的開源軟件到收取高額費用的商業軟件不等,一個高效的網絡監測軟件也包括網絡故障的報警機制,一旦監測到網絡故障,監測軟件會利用多種途徑來通知網絡管理員。另外,高效的監測軟件應該有獨立運行機制,不需要在每個被監測設備上都安裝客戶端。
3 Cacti 概述
Cacti 是一個基于 PHP,SNMP,MySQL 和 RRDTool 開發的開源網絡流量監測圖形分析軟件,它可以實現對當前網絡狀態的圖形化顯示、故障診斷、指定每個用戶查看所對應的樹狀結構。Cacti 的開放式系統框架 PIA 提供了監測系統的所有基礎部件和函數組,自身不但具有豐富的插件,第三方的插件如Weathtermap 都可以十分方便地嵌入到Cacti 平臺中,使用者可以根據自身需求定制和安裝相應的插件。Cacti 通過使用NET-SNMP 程序中的 snmpget 和 snmpgetnext 命令來進行數據的獲取,通過使用 RRDTool來進行數據存取、更新、繪制圖形,所采集的數據可以重復利用,并且可以定義任意時間段制圖。
Cacti 通過 snmpget 命令采集數據,利用RRDTool 來制圖,MySQL 數據庫中存放了RRDTool 繪圖時所需要的所有信息,Cacti 的操作界面簡潔直觀,用戶不需要掌握RRDTool 的復雜數據和命令的情況下就可以輕易繪制出所需要的圖形。
4 Nagios 概述
隨著計算機網絡規模的不斷發展,網絡內的計算機主機和網絡設備也不斷增加,因此發生網絡故障的概率也不斷增加,這時就需要一款良好的監測和管理措施,當網絡設備發生故障時可以在第一時間通知給網絡管理者,做到故障的及時發現和排除。Nagios是一款免費開源的網絡監測軟件,其能夠有效監測 Windows 和 Linux 主機的狀態,可以根據當前的網絡拓撲結構將所有的網絡設備如交換機、路由器和打印機等納入到其監測范圍之內。當系統或服務的狀態發生異常時會及時通過郵件或短信的形式通知給網絡管理員,在所有狀態都恢復后會再一次發出通知,為故障的排除贏時間,也因此提高了網絡的管理效率。
5 Cacti 與 Nagios 整合
Nagios 的監測服務器的運行狀態和報警功能十分強大,但對像流量等這種持續數據的呈現能力較弱;而 Cacti 比較側重于對直觀數據的監控并成生圖形,用來監測網絡流量、CPU 和內存利用率等最為合適。比較兩個軟件,Cacti 側重于監測持續的數據信息如網絡設備的流量負載并成生圖形,但在故障分析和報機制方面有待完善,而 Nagios 側重于監測網絡服務和報警,而在繪制圖形方面遜色于 Cacti,通過兩者的結合可以更有效的管理網絡。Cacti 和 Nagios 的整合是通過NDOUtils 插件來中轉數據的,NDOUtils 負責將Nagios 所采集的數據存放在 MySQL 數據庫中,而 Cacti 的 NPC 插件負責從 MySQL 數據庫中讀取此數據,并顯示 Nagios 的監控信息。
6系統體系結構設計
本系統是采用 B/S 模式,系統由要由 Cacti 模塊、Nagios 模塊、整合模塊組成;其中 Cacti 模塊負責網絡設備如交換機/路由器的運行狀態和流量監測、網絡氣象圖、網絡設備的溫度檢測等;Nagios 負責對服務、協議的運行狀態進行檢測和異常報警等;整合模塊是通過安裝 NPC 和 ndoutils 插件將Nagios 的數據導入 Cacti 數據庫中,并由Cacti 以圖形的方式顯示給用戶。
參考文獻
[1] 馬安龍,趙勁松.基于 MRTG、RRDTOOL 的校園網絡流量監測系統[J].連云港職業技術學院學報,2007.
[關鍵詞]僵尸網絡 P2P 檢測
一、緒論
1.課題背景和目的
僵尸網絡(botnet)是攻擊者出于惡意目的傳播的僵尸程序(bot)來控制大量主機,并通過一對多的命令與控制信道所組成的網絡。隨著網絡系統應用及復雜性的增加,僵尸網絡成為網絡系統安全的重要威脅。Symantec公司2006年監測數據表明,中國大陸被Botnet控制的主機數占全世界總數的比例從上半年的20%增長到下半年的26%,已超過美國,成為最大的僵尸網絡受害國,但國內對Botnet的關注和研究工作還不夠全面。作為一種日趨嚴重的因特網安全威脅,Botnet己成為計算機安全領域研究者所的關注熱點。Botnet成為計算機網絡對抗研究的首要課題,預示著計算機網絡威脅新的發展趨勢。
2.國內研究現狀
盡管僵尸網絡在很早之前就已經出現了,但直到近幾年,隨著僵尸網絡的危害越來越大,對僵尸網絡檢測技術的研究才被各方面所關注。國際上的一些蜜網組織,如法國蜜網項目組織Richard Clarke等,最早對僵尸網絡進行了研究,他們利用蜜網分析技術對僵尸網絡的活動進行了深入的跟蹤和分析。
早期由于IRC僵尸網絡占據著主導地位,所以對僵尸網絡的大多數研究都是在基于IRC僵尸網絡上的。而IRC僵尸網絡的檢測基本上無一例外都致力于研究其C&C(Command & Control)信道。2003年Puri在“Bobs $ Botnet:An Overview”一文中主要針對當時的IRC僵尸網絡進行了比較全面系統的概述。
近年來隨著計算機網絡的高速發展,出現了許多新型的僵尸網絡,如基于IM、HTTP等不同協議的僵尸網絡,并出現了采用樹型結構、隨機網絡拓撲結構以及具有部分P2P特征的僵尸網絡。從傳統的基于IRC網絡的僵尸網絡,逐步演變成基于P2P網絡的僵尸網絡,大大增加了其生存性和隱蔽性,同時也使得檢測此類僵尸網絡變得更加困難。P2P僵尸網絡是利用P2P技術來傳播或控制僵尸程序的網絡。因為P2P僵尸網絡最近幾年才出現,所以對于P2P僵尸網絡的研究就相對來說比較少。Helsinki科技大學的Antti Nummipuro提出了基于主機的P2P僵尸網絡檢測方法,但是該方法與其他惡意代碼檢測技術類似,并沒有新穎或創新之處。阿姆斯特丹大學的Reinier Schoof和Ralph Koning等人提出P2P僵尸網絡的檢測主要方法是對P2P對等端上的檢測。
從2005年開始,國內才逐步對僵尸網絡進行研究。北京大學計算機科學技術研究所在2005年1月開始實施用蜜網跟蹤僵尸網絡的項目。CNCERT惡意代碼研究項目組在2005年7月開始對僵尸網絡進行研究。
二、基于P2P僵尸網絡的原理與分析
1.基于P2P僵尸網絡的結構
僵尸控制者(Botmaster)、僵尸主機(Bot)、命令與控制(Command and Control,C&C)網絡共同組成了僵尸網絡(Botnet)。僵尸控制者是控制整個僵尸網絡的攻擊者;命令與控制網絡一般有一個或多個命令與控制(C&C)服務器,僵尸控制者通過控制這些服務器來管理和控制僵尸主機;僵尸主機是攻擊者通過C&C服務器控制的主機;僵尸主機從命令與控制網絡獲得命令,對網絡上的主機進行攻擊和欺騙活動。基于P2P僵尸網絡的結構如圖1所示。
2.基于P2P僵尸網絡的傳播與控制
隨著P2P應用的日漸普及,僵尸控制者將僵尸程序偽裝成正常的文件或隱藏于正常的文件中,通過用戶下載安裝這些文件來實現Bot感染、傳播。P2P技術主要被用來控制僵尸主機傳播僵尸程序。
P2P網絡中所有節點是對等的,每一個節點既是客戶端又是服務器,因此,基于P2P的Botnet控制與IRC Botnet有很大的不同。在后者中,攻擊者利用IRC服務器作為C&C務器控制僵尸計算機,我們可以通過在IRC服務器上監測Botnet的行為特征檢測到并進一步將其清除;而在前者中,攻擊者只需加入P2P網絡向其他對等節點發出控制命令即可。因此,基于P2P控制的Botnet通信系統很難被徹底毀壞,即使有一些Bot被查殺掉,也不會影響到Botnet的生存,故其具有不存在單點失效的特點。
三、僵尸網絡的檢測
早期對Botnet檢測的研究主要集中在如何檢測和跟蹤到單個的僵尸主機,但是隨著Botnet采用協議和結構的復雜性,特別是P2P協議廣泛應用之后,大大增加了Botnet的隱藏性和破壞性,需要綜合研究Botnet的傳播、行為、拓撲結構……,對Botnet的檢測技術也在逐步的完善。下面對基于主機特征的檢測和基于網絡流量的檢測為例,敘述Botnet的檢測方法。
1.基于主機特征的檢測
基于主機特征的檢測主要是指在一個負責監控的主機內部部署傳感器用來監控和記錄相關的系統事件,用來對監測僵尸程序的可疑活動行為。當存在僵尸網絡時攻擊時,監控主機就會產生一些典型的異常行為,主要表現為添加注冊表自啟動項、竊取敏感信息、篡改重要文件、遠程訪問等,這種檢測方法類似于惡意代碼的檢測方法。目前基于主機特征的僵尸網絡監測技術主要采用是“蜜罐”技術和虛擬機技術。
2.基于網絡流量檢測的
基于流量檢測方法就是通過分析P2P僵尸網絡通信行為表現出來的特征及變化規律并利用這些流特征來判斷網絡流量中是否存在P2P僵尸網絡流量,為檢測P2P僵尸網絡提供參考依據。
(1)基于連接成功率的檢查方法
在P2P僵尸網絡中,每個Peer從開始就試圖和一些感染的主機建立連接,但由于P2P網絡的不穩定性、連接的目的IP的不定性,Peer鏈接的成功率并不高。對于這種網絡行為,我們可以用TCP連接成功率來描述。據試驗研究表明:絕大部分P2P協議,都使用TCP傳輸協議來實施第一步建立聯系的行為。基于TCP連接成功率的P2P僵尸網絡節點識別算法的形式化描述如下:
RC = b / a
其中,RC 為TCP連接成功率,a為節點發送的SYN數據包中不同目的IP地址數;b為收到的SYN/ACK數據包中不同源IP地址數。
通過試驗表明:低于正常P2P節點的RC值[0.2,0.4],就是僵尸網絡。
(2)基于流量變化率檢測方法
在網絡流量中,正常P2P網絡與僵尸P2P網絡的最大區別在于:后者有大量數據傳輸。如果一個Peer在相對較長的時間內出現大量數據傳輸,也就是網絡流量異常的現象,則可判斷該Peer是疑似僵尸網絡節點。
參考文獻:
[1]國家計算機網絡應急技術處理協調中心.CNCERT/CC2006年網絡安全工作報告[DB/OL].省略.cn/UserFiles/ File/2006CNCERTCCAnnual Report_Chinese.pdf,2007,2,15.
[2]Enterprise firewall[EB/OL]. /.2009,10,02.
[3] A.Nummipuro.Delecting P2P-Controlled Bots on the Host.In Seminar on Network Security,2007,10.
[4]R.Schoof.R.Koning.Detectingpeer-to-peer Botnets.staff.science.uva.nl/delaat/sne-2006-2007
[5]張琛 王亮 熊文柱:P2P僵尸網絡的檢測技術.[J]計算機應用.2010
根據Android的特性及安全現狀,可從功能性需求和非功能性需求對安全軟件進行分析。就軟件功能需求來看,主要包括查看網絡流量信息,其需求時序為:用戶點擊進入檢測界面獲取系統應用信息調用數據庫查詢流量信息并返回處理數據并將其展現在界面上反饋給用戶;檢測和處理惡意軟件,其需求時序為:點擊進入檢測界面將檢測結果傳送給處理模塊存入數據庫并返回給用戶;控制軟件權限細粒度,其需求時序為:在用戶進入管理界面前初始化配置用戶進入管理界面后獲取配置信息對數據信息進行處理并顯示給用戶重新配置權限并將信息存儲到數據庫將更新后的數據顯示給用戶界面;短信和來電過濾設置,其需求時序為:根據短信或來電數據初始化數據庫過濾短信和來電號碼將攔截下來的信息存入日志數據庫并將過濾結果反饋給用戶。就軟件非功能需求來看,主要包括性能需求、數據庫需求和外部接口需求等內容,在此不作過多列述。
2安全軟件設計及實現
2.1惡意軟件檢測模塊設計及功能實現
惡意軟件檢測和處理功能需要網絡流量信息監測、異常識別、響應處理以及關鍵信息存儲等模塊的相互配合來實現。其一,網絡流量信息監測模塊的設計,為提高流量信息捕獲效率,將該模塊放置于Linux內核中,采用LKM開發模式,開發流程如下:模塊初始化(鉤子函數注冊和初始化)關閉模塊(鉤子函數注銷及模塊卸載)編譯內核模塊;其二,異常識別模塊的設計,根據Android移動終端的特點以及惡意軟件對該系統流量信息的影響情況,采用SVM分類算法,通過構造特征向量,提取進程ID、數據包發送/接收時間、上/下行流量、源/目的IP地址等特征來反映系統網絡流量的特征,再通過Netlink方式從監測模塊中獲取待識別數據,改進交叉編譯后移植給Android平臺;其三是響應處理模塊設計,根據安全策略對被檢測軟件進行相應處理,主要包括對訪問通信錄、惡意軟件聯網、發送和讀取短信等權限進行控制,將可疑信息上傳云儲存服務器供監測系統分析使用。
2.2深度短信和來電攔截模塊設計及功能實現
深度短信和來電攔截功能需要短信和來電過濾與關鍵信息存儲模塊的相互配合來實現。其一,短信和來電過濾模塊的設計,該模塊在Android的Framework層進行開發,通過修改系統源碼來添加短信和來電攔截功能,短信和來電過濾模塊的函數調用流程如下:初始化時序通知函數調用時序監聽注冊函數時序過濾處理函數調用時序;其二,關鍵信息存儲模塊的設計,按照設計的數據庫表來創建數據庫,主要包括模型數據表、訓練數據表、關鍵信息表、權限管理表、操作日志表、過濾表、信任名單表、模塊設置表和安全策略表,對外提供數據庫表的操作接口,接口定義在DBsql。
3結論