前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇云計算與分布式技術(shù)范文,相信會為您的寫作帶來幫助,發(fā)現(xiàn)更多的寫作思路和靈感。
關(guān)鍵詞:云計算 金融 分布式 數(shù)據(jù)中心
云計算的英文全稱是Cloud Computing,是并行處理、分布式計算以及網(wǎng)格計算等基礎(chǔ)的商業(yè)實現(xiàn),其實現(xiàn)的基本原理是將計算進(jìn)行功能劃分,使其分布在不同的計算機(jī)上,可以完全脫離本地的計算機(jī)或者服務(wù)器,這樣,便使得云計算的的運(yùn)行與互聯(lián)網(wǎng)網(wǎng)絡(luò)極為相似,這樣,便可以使得企業(yè)能夠根據(jù)需求自動的調(diào)整應(yīng)用,從而訪問需求中所需要的分布式存儲系統(tǒng)或者計算機(jī)。云計算是分布式計算的一種,分布式計算的核心便是將龐大的計算能力需求進(jìn)行劃分,變成非常小的模塊,各個模塊均被劃分到不同的計算機(jī)中運(yùn)行。最終將這些結(jié)果進(jìn)行綜合,得出的結(jié)果便是所需要的結(jié)果。
一、分布式云計算特點
具有超大的規(guī)模。“云”具有一定的規(guī)模,在企業(yè)中,私有的云一般都擁有數(shù)百上千臺服務(wù)器,“云”能夠賦予用戶很強(qiáng)的計算能力,可以達(dá)到用戶前所未有的計算能力。
虛擬化。在任何地方,不管用戶采用何種終端獲取服務(wù)云計算均支持。這些資源來自“云”,而不是某種有形的固定實體。在應(yīng)用中,用戶不需要擔(dān)心應(yīng)用運(yùn)行的位置,通過網(wǎng)絡(luò)服務(wù)云計算就可以滿足我們的需求,甚至是超計算這樣的任務(wù)。
可靠性極高。多個副本容錯數(shù)據(jù),計算節(jié)點同構(gòu)可互相交換等使云計算比本地計算機(jī)更安全可靠。
可通用。多種應(yīng)用均可以在“云”的支撐下構(gòu)造,其不針對某種特定的應(yīng)用,不同的應(yīng)用可以在同一個“云”的支撐下運(yùn)行。
可擴(kuò)展性高。“云”根據(jù)應(yīng)用和用戶規(guī)模的增長可以進(jìn)行動態(tài)伸縮滿足其需求。
按需服務(wù)。“云”的資源相當(dāng)豐富,可以按你的需求進(jìn)行購買。
二、分布式云計算在金融業(yè)中的應(yīng)用
云計算的出現(xiàn),使得各個行業(yè)都投入到了云計算技術(shù)的應(yīng)用方面,金融行業(yè)自然也不例外,目前,很大一部分的金融交易平臺都選擇云計算技術(shù),主要是因為,采用云計算技術(shù)能夠使得金融交易平臺節(jié)省開支,不需要花大價錢去購買昂貴的數(shù)據(jù)中心,云計算方案的實施還能夠使得金融交易平臺脫離存儲設(shè)備、網(wǎng)絡(luò)設(shè)備以及服務(wù)器等硬件設(shè)備,所有的技術(shù)問題都交給專業(yè)的、功能強(qiáng)大的云計算服務(wù)器提供商去實現(xiàn)。此外,云計算還解決了硬件以及軟件兼容的問題,金融交易平臺僅僅需要關(guān)心自身的業(yè)務(wù)。
金融交易平臺之所以選擇云計算進(jìn)行一些方案的解決只要是因為云計算具有易用、可管、部署迅速等特性。傳統(tǒng)都是自己去購買軟硬件的模式,但云計算的模式相對比較靈活,同時也大大縮短了使用的成本,在很多方便都得到了很大程度上的改善。金融交易平臺運(yùn)用云計算解決方案,在很大的程度上簡化了IT基礎(chǔ)設(shè)施的維護(hù)和使用。
我國與外國相比較,雖然起步的時間相同,在我國仍然處在起步階段的時候,國外云計算的應(yīng)用早已經(jīng)進(jìn)入了初步階段,為什么會存在應(yīng)用進(jìn)程的差異呢?在國外傳統(tǒng)意義上的外包可以自然的向基于更加靈活方便的云計算外包過度,而在國內(nèi),大多數(shù)的企業(yè)不敢嘗試,對云計算的應(yīng)用產(chǎn)生懷疑的態(tài)度,擔(dān)心自己的業(yè)務(wù)放到云端是否安全,會比放在自己的機(jī)房可靠嗎?會有很大的風(fēng)險嗎?等等原因主要是由于缺少IT外包造成的。但隨著業(yè)務(wù)的擴(kuò)大,管理上與國際化的接軌,金融交易平臺光靠傳統(tǒng)的方式有了很大的壓力和挑戰(zhàn)。面對科技的發(fā)展,科學(xué)的進(jìn)步,國際化的統(tǒng)一,信息化建設(shè)和應(yīng)用水平一直領(lǐng)先于其他產(chǎn)業(yè)的金融交易平臺面對迅速膨脹的市場需求,已經(jīng)面臨了前所未有的挑戰(zhàn),金融交易平臺的IT系統(tǒng)已經(jīng)跟不上國際化的發(fā)展。面對這樣的挑戰(zhàn),國內(nèi)金融交易平臺開始采取措施積極應(yīng)對。首先,許多金融交易平臺采取并購、吸納一些海外的投資進(jìn)行資本的運(yùn)作,擴(kuò)大自身的規(guī)模,大大增強(qiáng)自身的競爭能力;其次,國內(nèi)的金融交易平臺也大大提升產(chǎn)品的創(chuàng)新力度,從服務(wù)水平到業(yè)務(wù)的網(wǎng)絡(luò)向國際先進(jìn)金融交易平臺靠近。專家向金融交易平臺提議,在金融交易平臺系統(tǒng)中要合理的運(yùn)用云計算,必須要全方面的考慮一些問題:首先要分析云計算可以給金融交易平臺節(jié)約多少成本,以數(shù)據(jù)的形式進(jìn)行分析,多提出一些有難度的問題。
云計算最基本的作用就是可以大大的降低國內(nèi)金融交易平臺的IT基礎(chǔ)設(shè)施成本。在很多領(lǐng)域中,云計算很大程度上擴(kuò)大了金融交易平臺服務(wù)市場,給金融交易平臺提供了很好的機(jī)會,可以改善金融交易平臺吸引、留住和服務(wù)客戶的方式。雖然云計算在金融交易平臺系統(tǒng)中有很大的應(yīng)用,但有人則認(rèn)為,如果金融交易平臺在沒有充分的了解相關(guān)風(fēng)險并不知如何成功避開風(fēng)險的情況下,還是不要輕易的飛入云端。
三、總結(jié)
分布式計算的思想是未來計算的主流技術(shù),是解決復(fù)雜計算問題的關(guān)鍵技術(shù),基于分布式核心技術(shù)的云計算技術(shù),其發(fā)展過程是一個相對比較長的過程,但是卻已經(jīng)確定了未來IT發(fā)展的主體方向。此外,隨著科學(xué)技術(shù)的發(fā)展,云計算,作為引領(lǐng)未來信息技術(shù)產(chǎn)業(yè)創(chuàng)新的關(guān)鍵戰(zhàn)略性技術(shù)和手段,將使人們的工作方式和商業(yè)模式發(fā)生根本性的變革,必將在金融領(lǐng)域發(fā)揮著至關(guān)重要的作用,為金融行業(yè)發(fā)展注入新鮮的活力。
參考文獻(xiàn):
[1]Michael Miller.云計算[M].機(jī)械工業(yè)出版社,2009
[2]張建文,汪鑫.云計算技術(shù)在銀行中的應(yīng)用探討[J].華南金融電腦,2009
關(guān)鍵詞:分布式計算;云計算;并行計算;Web Service;網(wǎng)格計算
中圖分類號:TP393.02文獻(xiàn)標(biāo)識碼:A 文章編號:1009-3044(2011)22-5463-03
Introduction of Distributed Computation
DUAN Xiao-guo
(College of Information Science and Engineering, Shandong University of Science and Technology, Qingdao 266500, China)
Abstract: Distributed Computation system is developing quickly, we can use cheap hard ware to do some research work which only high performance computer can do before by this technology, today distributed computation system is an important technology in research, database search, complex computation and other fields. Such as: P2P, Mobile Agent, Grid Computing, Cloud Computing, Web Service. Introduce this technology and some application examples here.
Key words: distributed computation; cloud computing; parallel computing; Web Service; grid computing
1 綜述
分布式計算和并行計算技術(shù)為研究開發(fā)高性能計算機(jī)另辟蹊徑,使用普通的計算機(jī)通過網(wǎng)絡(luò)連接之后,通過這兩種計算技術(shù)來完成以前只有在高性能計算機(jī)上才能進(jìn)行的工作,隨著技術(shù)的發(fā)展和進(jìn)步,分布式計算技術(shù)已經(jīng)使參與分布式計算的普通計算機(jī)的“聯(lián)合計算能力”超過了單臺超級計算機(jī)。分布式計算技術(shù)已經(jīng)有十幾年的研究歷史, 但現(xiàn)在仍然是計算機(jī)研究領(lǐng)域的一片熱土,在不同的應(yīng)用領(lǐng)域發(fā)展起來特點各異的分布式計算技術(shù)的分支。
1.1 分布式計算國內(nèi)外研究現(xiàn)狀[1]
現(xiàn)在對分布式計算技術(shù)的研究主要集中兩個方面:分布式操作系統(tǒng)和分布式計算環(huán)境。經(jīng)過近20年的研究,已經(jīng)有多種分布式計算技術(shù)在各不同領(lǐng)域得到應(yīng)用,下面是比較主流的幾種技術(shù):中間件技術(shù)、P2P技術(shù)、移動Agent技術(shù)、網(wǎng)格技術(shù)、Web Service技術(shù),這些技術(shù)已經(jīng)比較成熟,且得到了大家的認(rèn)同,已經(jīng)在其適合的領(lǐng)域內(nèi)用于科學(xué)研究或大規(guī)模數(shù)據(jù)計算。
整體研究水平來看,國內(nèi)的研究水平和國際上發(fā)達(dá)國家有明顯差距,我國雖然擁有數(shù)量巨大的計算機(jī)用戶和網(wǎng)絡(luò)用戶,但了解或者知道分布式計算的用戶卻不多,大部分人或者絕大部分用戶使用計算機(jī)進(jìn)行日常辦公、網(wǎng)上查詢、聊天等工作,只有部分高校和科研機(jī)構(gòu)才參與分布式計算,這和西方歐美發(fā)達(dá)國家相比,我們的理論起點低,研究的深度和應(yīng)用的廣度都和發(fā)達(dá)國家有巨大的差距。
1.2 分布式計算國內(nèi)外應(yīng)用現(xiàn)狀[1]
現(xiàn)在分布式計算已經(jīng)應(yīng)用在科研、教育、天氣預(yù)報分析、數(shù)據(jù)庫搜索、生物技術(shù)等諸多領(lǐng)域,以下是幾個比較典型的例子:
SETI@home是國際上比較著名的一個分布式計算應(yīng)用的項目。這個項目主要是通過使用參與分布式計算的計算機(jī)下載計算程序來對射電望遠(yuǎn)鏡收到的海量信號進(jìn)行計算分析,目的是確定地球之外有無類人或類似地球生物的生命存在,尋找宇宙中的生命體,我們國家也有一些機(jī)構(gòu)和個人參與這個科研項目。
若說SETI@home和我們的實際生活沒有多大關(guān)系,那么下面這兩個項目則和我們有密切的關(guān)系。Climateprediction工程是分布式計算技術(shù)在氣象預(yù)測領(lǐng)域內(nèi)的成功應(yīng)用例子之一,研究者首先建立氣象計算模型,全球各地巨的氣象數(shù)據(jù)輸入計算程序,任何參加這個項目的組織和機(jī)構(gòu)或者個人,都可領(lǐng)到合適的計算任務(wù),并把計算的結(jié)果返回,通過海量的計算來組建地球氣象模型。
Folding@home是另一個著名的分布式計算工程,這個項目主要是研究蛋白質(zhì)折疊、、聚合及由此過程引起的一些相關(guān)疾病。使用計算機(jī)來模擬蛋白質(zhì)的折疊和聚合過程需要海量的計算,分布式計算可以通過利用大量的閑散計算資源,甚至是跨越國界、民族的界限,來承擔(dān)這個巨大的計算任務(wù),研究這些疾病的產(chǎn)生原理,為攻克和預(yù)防這些疾病做理論上的分析,目前有多個國家的科研機(jī)構(gòu)和組織參與這個項目,我們中國也有人參與這個項目。
作為應(yīng)用分布式計算最成功的組織之一:谷歌,他的文件管理系統(tǒng)被作為一個典范,許多學(xué)者對其研究,一些同行進(jìn)行效仿,甚至有些人將谷歌的文件管理系統(tǒng)作為一門學(xué)科來研究,GFS這個原本是谷歌自有名詞縮寫因此也成了這個行業(yè)應(yīng)用分布式計算的一個典范。
和上面的應(yīng)用例子類似的分布式計算工程有很多,分布在不同的國家和地區(qū),但這些項目大都互無聯(lián)系,甚至每個項目都使用一個不同的軟件,使用不同的分布式計算技術(shù),如何整合這些互不關(guān)聯(lián)的項目,更大限度地發(fā)揮參與這些工程的計算機(jī)的能力,這也是一個研究課題,美國加州大學(xué)伯克利分校已經(jīng)建立了一個開放的網(wǎng)絡(luò)計算平臺,即行內(nèi)皆知的BOINC(BERKELEY OPEN INFRASTRUCTURE FOR NETWORK COMPUTING),這個平臺的主要功能是把不同的分布式計算項目連接起來,對參與這些項目的計算資源進(jìn)行統(tǒng)一合理分配,從而更有效的利用這些計算資源,提高計算效率。
2 分布式計算的關(guān)鍵技術(shù)
2.1 關(guān)鍵技術(shù)一:中間件技術(shù)[2]
中間件技術(shù)是比較早期的分布式計算技術(shù),所謂的中間件技術(shù),就和字面上的意思一樣,是一個聯(lián)絡(luò)不同技術(shù)和操作系統(tǒng)的紐帶,通過這個軟件,分布式應(yīng)用軟件可以在使用不同的操作系統(tǒng)和技術(shù)的計算機(jī)之間進(jìn)行計算資源共享,IBM和SUN Microsystems以及AT&T貝爾實驗室都對中間件技術(shù)的研究和發(fā)展做出重要貢獻(xiàn),貝爾實驗室于1984年的Tuxedo應(yīng)該算是早期比較成熟的中間件技術(shù)產(chǎn)品,這個負(fù)責(zé)屏蔽不同操作系統(tǒng)、編程語言、通訊協(xié)議的中間件就負(fù)責(zé)計算資源的管理和分配以及網(wǎng)絡(luò)通信。經(jīng)過十幾年的發(fā)展,多種技術(shù)開始融合,中間件技術(shù)又發(fā)展出不同層次和類型的多個產(chǎn)品,例如:自適應(yīng)中間件、移動中間件、對象中間件、消息中間件、數(shù)據(jù)庫中間件,遠(yuǎn)程過程調(diào)用中間件等等。
中間件技術(shù)是分布式計算技術(shù)中的一種基礎(chǔ)技術(shù),其他一些分布式計算技術(shù)和中間件技術(shù)結(jié)合以優(yōu)化分布式計算技術(shù),例如:網(wǎng)格計算。
2.2 關(guān)鍵技術(shù)二:網(wǎng)格技術(shù)[3]
網(wǎng)格計算是目前最重要的分布式計算技術(shù)之一,它通過網(wǎng)絡(luò)系統(tǒng)將分布在不同地點或區(qū)域的計算機(jī)資源(包括各種硬件和軟件以及信息數(shù)據(jù)等)連接成一個巨大的“異構(gòu)計算機(jī)”,雖然這些計算資源分布在各自不同的計算機(jī)上,這些計算機(jī)可能有不同的操作系統(tǒng)、不同的技術(shù)協(xié)議,但是通過網(wǎng)格技術(shù)組建的這個系統(tǒng)卻可以象一臺計算機(jī)一樣對這些資源進(jìn)行管理和利用,從而完成一些計算規(guī)模巨大的復(fù)雜運(yùn)算和數(shù)據(jù)處理任務(wù)。從另一個意義上說,這種計算資源的統(tǒng)一管理和共享,不僅僅為提供復(fù)雜就算提供支持,還可以在很大的區(qū)域范圍內(nèi),打破企業(yè)、組織和國家界限,避免重復(fù)資源投資和浪費(fèi),充分利用自己的計算資源,因此網(wǎng)格計算在分布式計算技術(shù)中占有十分重要的地位。
網(wǎng)格有多種體系結(jié)構(gòu),其中Foster等提出的五層沙漏結(jié)構(gòu)(圖1)為比較典型的一種體系結(jié)構(gòu),自下向上分別是構(gòu)造層、連接層、資源層、匯聚層和應(yīng)用層;還有一種典型的結(jié)構(gòu)體系:開放網(wǎng)格服務(wù)結(jié)構(gòu)OGSA(Open Grid Services Architecture),這個結(jié)構(gòu)是結(jié)合Web Service技術(shù)的網(wǎng)格體系,OGSA是以服務(wù)為中心的“服務(wù)結(jié)構(gòu)”,定義了“網(wǎng)格服務(wù)”的概念,網(wǎng)格服務(wù)是一種Web Service,該服務(wù)提供了一組接口。
網(wǎng)格系統(tǒng)大致都可以劃分為三個層次的基本結(jié)構(gòu):底層(構(gòu)造層),主要是分布在各個計算機(jī)上的資源,硬件和軟件、信息數(shù)據(jù)等;中間層,主要負(fù)責(zé)屏蔽底層資源的異構(gòu)性,是上面提到的中間件技術(shù);應(yīng)用層,這是我們的工作平臺,通過應(yīng)用層來組織協(xié)調(diào)和合理利用底層的資源來完成分布式工作任務(wù)。
網(wǎng)格(GRID) 歸諸于一個下部基礎(chǔ)構(gòu)造,它使得高端計算、網(wǎng)絡(luò)、數(shù)據(jù)庫和私有科學(xué)工具的集成和協(xié)作使用成為可能,并且,能夠被多個組織所管理。網(wǎng)格應(yīng)用通常包含大量的數(shù)據(jù)或計算,經(jīng)常需要組織間的安全的資源共享。因此,它們不易被今天的Internet和WEB基礎(chǔ)構(gòu)造所處理。
2.3 關(guān)鍵技術(shù)三:移動Agent技術(shù)[4]
移動Agent是一種可以在構(gòu)成分布式計算系統(tǒng)的各節(jié)點移動的軟件Agent,軟件Agent應(yīng)該是人工智能技術(shù)發(fā)展起來的一個產(chǎn)物,人工智能的研究主要解決知識表達(dá)、機(jī)器學(xué)習(xí)、推理等類似人的智能的算法問題,而軟件Agent就具有類人的智能,可以自主管理,能對環(huán)境做出響應(yīng),甚至主動行動,進(jìn)行推理計算來完成任務(wù)。我們一般把軟件Agent看做是在一臺機(jī)器上運(yùn)行的一個程序,而移動Agent則是可以自主在網(wǎng)絡(luò)上構(gòu)成分布式計算系統(tǒng)的各節(jié)點之間進(jìn)行移動的一個程序。這個程序帶著自己的任務(wù)找到可以完成這個任務(wù)的節(jié)點(這個節(jié)點有完成這個任務(wù)所需要的數(shù)據(jù)、硬件、軟件等資源),通過網(wǎng)絡(luò)移動到這個節(jié)點,在此暫時定居,利用這個節(jié)點的資源進(jìn)行計算,計算結(jié)束后,這個Agent攜帶計算結(jié)果通過網(wǎng)絡(luò)自主移動到下一個需要達(dá)到的節(jié)點,這種模式可以減少網(wǎng)絡(luò)擁堵,在一個節(jié)點盤踞期間,甚至可以斷開網(wǎng)絡(luò)連接也不會影響其正常工作,只要在它完成任務(wù)需要移動時恢復(fù)網(wǎng)絡(luò)連接即可。這種移動類似密封采蜜,一朵花上的資源用完之后飛到另外一朵花上,滿載之后(完成任務(wù))飛回蜂窩,卸載蜂蜜,進(jìn)行第二次行動。這和傳統(tǒng)的數(shù)據(jù)調(diào)用方式要好得多,一來可以減少大量數(shù)據(jù)在網(wǎng)絡(luò)上傳輸,對帶寬的要求就低了;二來可以減少大量數(shù)據(jù)傳遞帶來的數(shù)據(jù)錯誤,提高計算的效率和魯棒性;圖2和圖3分別是傳統(tǒng)網(wǎng)絡(luò)計算和移動Agent的示意圖。
圖2 傳統(tǒng)網(wǎng)絡(luò)計算方式 圖3 移動Agent
移動Agent技術(shù)自90年代開始發(fā)展很快,因其本身就是一種適用性很強(qiáng)的分布式計算模式,且具有極好的魯棒性,對網(wǎng)絡(luò)的要求低,故這項技術(shù)是目前分布式計算技術(shù)研究的一個熱點。
2.4 關(guān)鍵技術(shù)四:P2P技術(shù)[5]
P2P(Peer-to-Peer)對等網(wǎng)絡(luò)應(yīng)該是資格比較老的一項技術(shù),例如TCP/IP協(xié)議,并沒有對客戶機(jī)和服務(wù)器做區(qū)分,所謂的“對等”就是地位相同,在網(wǎng)絡(luò)中的節(jié)點處于同樣的地位,沒有客戶端和服務(wù)器的區(qū)分,這些地位相等的節(jié)點可以互相進(jìn)行資源利用和數(shù)據(jù)共享,不需要通過服務(wù)器來轉(zhuǎn)接和通信,這樣可以減少對服務(wù)器的依賴,也就降低了對服務(wù)器的性能要求(軟件、硬件要求)。當(dāng)然,純粹的對等網(wǎng)也有其弊端,為了解決這些問題,一些分支和混合技術(shù)發(fā)展起來,例如為了解決P2P搜索速度慢的問題,在對等網(wǎng)中仍然設(shè)置服務(wù)器,但是服務(wù)器只提供搜索索引,各節(jié)點可以快速在服務(wù)器上查到要搜索的資源目錄和地址,然后直接去目標(biāo)地址完成資源交互。為了解決熱點資源網(wǎng)路堵塞的問題,數(shù)據(jù)傳輸方式由點對點方式發(fā)展為多點對多點傳輸,該項技術(shù)已經(jīng)在現(xiàn)在的網(wǎng)絡(luò)上廣泛應(yīng)用。點對點傳輸只能在在源節(jié)點和目標(biāo)節(jié)點之間傳送數(shù)據(jù),若一個節(jié)點的資源對應(yīng)多個目標(biāo)節(jié)點,其傳送效率就低了,多點傳送解決這個問題,將數(shù)據(jù)源分割成多個數(shù)據(jù)包,這些數(shù)據(jù)包可以不依照順序給各目標(biāo)節(jié)點發(fā)送,同時收到數(shù)據(jù)包的目標(biāo)節(jié)點可以作為其他目標(biāo)節(jié)點的源節(jié)點,給其他未收到該數(shù)據(jù)包的節(jié)點傳送數(shù)據(jù),使用這種技術(shù),下載源數(shù)據(jù)的節(jié)點越多,實際傳送的效率就越快,但是若不能將全部數(shù)據(jù)包都收齊,這些數(shù)據(jù)包將無法連接起來,也就無法使用,點對點傳輸則不存在這個問題。
2.5 關(guān)鍵技術(shù)五:Web service技術(shù)[6]
并行計算和分布式計算的優(yōu)點就是發(fā)揮“集體的力量”,將大任務(wù)分解成小任務(wù),分配給多個計算節(jié)點同時去計算,起初的并行計算可以在一臺計算機(jī)上執(zhí)行,也可以提高運(yùn)行效率,現(xiàn)在的分布式計算已經(jīng)將計算擴(kuò)展到多臺計算機(jī),甚至是多個網(wǎng)絡(luò),在網(wǎng)絡(luò)上有序執(zhí)行一個共同的任務(wù),當(dāng)然離不開Web技術(shù),但在分布式計算發(fā)展起來之前的網(wǎng)絡(luò)協(xié)議并不能滿足分布式計算的要求,于是產(chǎn)生了Web service技術(shù),簡單地說,這種技術(shù)的功能和中間件的功能有相似之處:Web service技術(shù)是屏蔽掉不同開發(fā)平臺開發(fā)的功能模塊的相互調(diào)用的障礙,從而可以利用 HTTP 和 SOAP 協(xié)議使商業(yè)數(shù)據(jù)在 Web 上傳輸,可以調(diào)用這些開發(fā)平臺不同的功能模塊來完成計算任務(wù)。這樣看來,要在互聯(lián)網(wǎng)上實施大規(guī)模的分布式計算,就需要Web service做支撐,因此很多人認(rèn)為這項技術(shù)是分布式系統(tǒng)繼續(xù)研究和開發(fā)的理想模型。
2.6 關(guān)鍵技術(shù)六:云計算[7]
云計算也是分布式計算技術(shù)的一種,其最基本的概念,是將巨大的計算處理程序分拆成無數(shù)個小的子程序,再將這些小程序分配給龐大的計算機(jī)網(wǎng)絡(luò)系統(tǒng)經(jīng)搜尋、計算分析之后將處理結(jié)果回傳給用戶。所謂的“云”,最初來自“電子云”的概念,這種子程序的分解是數(shù)量巨大,或者可以想象成將水滴分解到蒸氣一樣的微小顆粒,也就是“云”狀態(tài),如此多的任務(wù),分配給同樣多的計算節(jié)點去計算,每個節(jié)點的任務(wù)很小,計算也很快,但如何管理這如云一樣的龐大網(wǎng)絡(luò),就大有文章。使用這項技術(shù),服務(wù)提供者可以在短時間內(nèi)(數(shù)秒或者幾分鐘),達(dá)成處理數(shù)數(shù)量巨大的信息,達(dá)到和“超級計算機(jī)”同樣強(qiáng)大效能的網(wǎng)絡(luò)服務(wù)。最簡單的云計算技術(shù)在網(wǎng)絡(luò)服務(wù)中已經(jīng)隨處可見,例如搜尋引擎、網(wǎng)絡(luò)信箱等,使用者只要輸入簡單指令即能得到大量信息。進(jìn)一步的云計算不僅只做資料搜尋、分析的功能,更可計算一些像是分析DNA結(jié)構(gòu)、基因圖譜定序、解析癌癥細(xì)胞等。稍早之前的大規(guī)模分布式計算技術(shù)即為“云計算”的概念起源。
3 結(jié)論
分布式計算作為一項快速發(fā)展的計算機(jī)技術(shù),因有低運(yùn)營成本高計算性能的優(yōu)勢,且目前我國有豐富的閑置計算資源,其發(fā)展前景十分樂觀,關(guān)于對該項技術(shù)的研究,我國明顯落后于發(fā)達(dá)國家,已經(jīng)成為計算機(jī)大國,存在嚴(yán)重的資源浪費(fèi)和閑置,現(xiàn)在分布式計算技術(shù)只是在一些高校、科研機(jī)構(gòu)內(nèi)作為研究和應(yīng)用的對象,分布式計算技術(shù)雖然發(fā)展迅速,但各項技術(shù)大都存在一些問題,例如:數(shù)據(jù)安全問題、網(wǎng)絡(luò)異構(gòu)問題等等,還有巨大的研究和發(fā)展?jié)摿Α?/p>
參考文獻(xiàn):
[1] 鄧傳軍,馬志民.分布式計算模型探討[D].福建:廈門大學(xué),2005.
[2] 奚麗倩,袁國良.淺析中間件技術(shù)的研究現(xiàn)狀[D].上海:上海海事大學(xué),2009.
[3] 趙東.網(wǎng)格計算環(huán)境中若干關(guān)鍵技術(shù)的研究[D].成都:電子科技大學(xué),2003.
[4] 于濤,張繼棠,雷飛鵬.Mobile Agent技術(shù)應(yīng)用[D].重慶:重慶郵電大學(xué),2007.
[5] 周文莉,吳曉非.P2P技術(shù)綜述[D].北京:北京郵電大學(xué),2006.
[6] 楊濤,劉金德.web service技術(shù)綜述――一種面向服務(wù)的分布式計算模式[D].四川:電子科技大學(xué),2004.
不會改變服務(wù)器格局
IDC(中國)行業(yè)研究與咨詢服務(wù)部助理副總裁武連峰表示,雖然云計算在數(shù)據(jù)中心中已成為趨勢,并且很多數(shù)據(jù)中心也在重新規(guī)劃或者遷移中為服務(wù)器的采購創(chuàng)造了一個巨大市場,但它并不會成為改變x86和非x86架構(gòu)市場格局的推手。
x86服務(wù)器的增長動力來自于互聯(lián)網(wǎng)企業(yè)。而在私有云的建設(shè)中,由于不同的工作負(fù)載要適應(yīng)不同的基礎(chǔ)架構(gòu),大型企業(yè)仍然會按照原有的基礎(chǔ)架構(gòu)和工作負(fù)載平滑向云計算平臺過渡。在各地興起的主要為中小企業(yè)服務(wù)的云基地公有云中心也不一定都采用x86架構(gòu)。
武連峰表示,雖然政府的初衷是想把云計算平臺開放給中小企業(yè)做運(yùn)營平臺,并大量使用x86服務(wù)器,但是不少云基地主要是為以軟件外包為主營業(yè)務(wù)的中小企業(yè)服務(wù),而這些中小企業(yè)的服務(wù)對象往往是國內(nèi)外的大型企業(yè),這些大型企業(yè)對應(yīng)用平臺的性能有很高要求,比如編碼測試是基于Unix的小型機(jī)甚至是主機(jī)系統(tǒng),如果用x86服務(wù)器構(gòu)建云測試平臺,就不能滿足其要求。那么,中小企業(yè)內(nèi)部的業(yè)務(wù)是否就可以應(yīng)用基于x86架構(gòu)的云計算平臺呢?實際情況是,中小企業(yè)一般不用公有云平臺,而是采用微軟、騰訊等第三方的軟件。
兩種云平臺
談到中國用戶為什么重x86架構(gòu),而輕其他架構(gòu)平臺,IDC認(rèn)為,包括Google和AWS在內(nèi)的很多國際公共云計算平臺大多采用了分布式的架構(gòu)。這是由于互聯(lián)網(wǎng)企業(yè)普遍具有自身技術(shù)實力雄厚、IT資產(chǎn)生命周期短、核心業(yè)務(wù)對實時性要求不高等特點。因此,互聯(lián)網(wǎng)企業(yè)選擇了適合自己的分布式計算平臺,而其他行業(yè)用戶的需求和互聯(lián)網(wǎng)企業(yè)并不相同。因此用戶應(yīng)考慮自身的行業(yè)特征來選擇適合自己的云計算架構(gòu)。
IBM系統(tǒng)與科技部中國區(qū)行業(yè)及重點客戶技術(shù)支持總經(jīng)理梁建球?qū)Ψ植际皆破脚_的組成做了細(xì)致分析:硬件平臺為x86,操作系統(tǒng)為Linux/Windows,分布式數(shù)據(jù)存儲都采用MySQL-CS、BigTable、HDFS以及Hadoop Map-Reduce等分布式開源軟件。在應(yīng)用程序?qū)樱脩粜枰槍π聭?yīng)用重新編程。在梁建球看來,上述這種分布式云平臺適用于對性能、可靠性、數(shù)據(jù)一致性要求不高的應(yīng)用。
此外,IBM在Power上也加強(qiáng)了對分布式軟件的支持,比如Power小型機(jī)可以支持Linux,去年底收購的Platform Computing則在分布式計算調(diào)度和管理方面具備更大的優(yōu)勢。由此可見,云計算基礎(chǔ)架構(gòu)的搭建并不是一個簡單的軟硬件集成項目,而是一種企業(yè)IT戰(zhàn)略的改變。
IDC在《中國云計算基礎(chǔ)架構(gòu)建設(shè)指南》中的用戶調(diào)研數(shù)據(jù)顯示,多數(shù)用戶在選擇云計算架構(gòu)時,希望未來的云計算平臺能夠與企業(yè)現(xiàn)有的基礎(chǔ)架構(gòu)兼容,從而降低實施風(fēng)險,同時還可以快速地從現(xiàn)有架構(gòu)過渡到云平臺上,以便節(jié)省用戶的投資,縮短項目實施的周期。
云計算已經(jīng)成為NGDC(下一代數(shù)據(jù)中心)的主要建設(shè)目標(biāo)。IDC剛剛的《中國云計算基礎(chǔ)架構(gòu)建設(shè)指南》中列舉了中國用戶建設(shè)云計算的六大誤區(qū):重概念,輕本質(zhì);重實施,輕規(guī)則;重x86架構(gòu),輕其他架構(gòu);重硬件,輕軟件;重虛擬化,輕管理;重創(chuàng)新,輕移植。在云計算進(jìn)入數(shù)據(jù)中心的初期階段,尤其是在IaaS階段,以服務(wù)器為主的基礎(chǔ)架構(gòu)的選擇成了擺在用戶面前的一道博弈題:是選擇x86分布式計算這種初始成本低、未來成本不可預(yù)測的基礎(chǔ)架構(gòu),還是選擇初始成本高、未來有商用軟件支持的以Power為代表的小型機(jī)架構(gòu)呢?
不會改變服務(wù)器格局
IDC(中國)行業(yè)研究與咨詢服務(wù)部助理副總裁武連峰表示,雖然云計算在數(shù)據(jù)中心中已成為趨勢,并且很多數(shù)據(jù)中心也在重新規(guī)劃或者遷移中為服務(wù)器的采購創(chuàng)造了一個巨大市場,但它并不會成為改變x86和非x86架構(gòu)市場格局的推手。
x86服務(wù)器的增長動力來自于互聯(lián)網(wǎng)企業(yè)。而在私有云的建設(shè)中,由于不同的工作負(fù)載要適應(yīng)不同的基礎(chǔ)架構(gòu),大型企業(yè)仍然會按照原有的基礎(chǔ)架構(gòu)和工作負(fù)載平滑向云計算平臺過渡。在各地興起的主要為中小企業(yè)服務(wù)的云基地公有云中心也不一定都采用x86架構(gòu)。
武連峰表示,雖然政府的初衷是想把云計算平臺開放給中小企業(yè)做運(yùn)營平臺,并大量使用x86服務(wù)器,但是不少云基地主要是為以軟件外包為主營業(yè)務(wù)的中小企業(yè)服務(wù),而這些中小企業(yè)的服務(wù)對象往往是國內(nèi)外的大型企業(yè),這些大型企業(yè)對應(yīng)用平臺的性能有很高要求,比如編碼測試是基于Unix的小型機(jī)甚至是主機(jī)系統(tǒng),如果用x86服務(wù)器構(gòu)建云測試平臺,就不能滿足其要求。那么,中小企業(yè)內(nèi)部的業(yè)務(wù)是否就可以應(yīng)用基于x86架構(gòu)的云計算平臺呢?實際情況是,中小企業(yè)一般不用公有云平臺,而是采用微軟、騰訊等第三方的軟件。
兩種云平臺
談到中國用戶為什么重x86架構(gòu),而輕其他架構(gòu)平臺,IDC認(rèn)為,包括Google和AWS在內(nèi)的很多國際公共云計算平臺大多采用了分布式的架構(gòu)。這是由于互聯(lián)網(wǎng)企業(yè)普遍具有自身技術(shù)實力雄厚、IT資產(chǎn)生命周期短、核心業(yè)務(wù)對實時性要求不高等特點。因此,互聯(lián)網(wǎng)企業(yè)選擇了適合自己的分布式計算平臺,而其他行業(yè)用戶的需求和互聯(lián)網(wǎng)企業(yè)并不相同。因此用戶應(yīng)考慮自身的行業(yè)特征來選擇適合自己的云計算架構(gòu)。
IBM系統(tǒng)與科技部中國區(qū)行業(yè)及重點客戶技術(shù)支持總經(jīng)理梁建球?qū)Ψ植际皆破脚_的組成做了細(xì)致分析:硬件平臺為x86,操作系統(tǒng)為Linux/Windows,分布式數(shù)據(jù)存儲都采用MySQL-CS、BigTable、HDFS以及Hadoop Map-Reduce等分布式開源軟件。在應(yīng)用程序?qū)樱脩粜枰槍π聭?yīng)用重新編程。在梁建球看來,上述這種分布式云平臺適用于對性能、可靠性、數(shù)據(jù)一致性要求不高的應(yīng)用。
此外,IBM在Power上也加強(qiáng)了對分布式軟件的支持,比如Power小型機(jī)可以支持Linux,去年底收購的Platform Computing則在分布式計算調(diào)度和管理方面具備更大的優(yōu)勢。由此可見,云計算基礎(chǔ)架構(gòu)的搭建并不是一個簡單的軟硬件集成項目,而是一種企業(yè)IT戰(zhàn)略的改變。
關(guān)鍵詞:數(shù)據(jù)庫技術(shù); 分布式處理技術(shù); 云計算; 物聯(lián)網(wǎng)
中圖分類號:TN91934; TP311.13文獻(xiàn)標(biāo)識碼:A文章編號:1004373X(2012)04012003
Design of IOT database based on distributed processing technology
LI Na, LIU JunHui
(Department of Information Engineering, Zhengzhou College of Animal Husbandry Engineering, Zhengzhou 450011, China)
Abstract: In recent years, with the repid development of Internet of things (IOT) technology, a new challenge has been posed on data storage and access. Focusing on the database management of IOT, a design method of IOT database based on distributed processing technology (DPT) was proposed by means of computation method of peertopeer network (P2P) point clouds. An example of medical system IOT verifies that the mothed can solve the problem of IOT database management to a certain extent and provide technical support for IOT in combination with database technology, network technology, and middleware technology.
Keywords: database technology; distributed processing technology; cloud computing; IOT
收稿日期:20110815
基金項目:河南省科技廳重點項目(112102210395)0引言
物聯(lián)網(wǎng)是指通過射頻識別(RFID)、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等信息傳感設(shè)備,按約定的協(xié)議,把任何物品與互聯(lián)網(wǎng)連接起來,進(jìn)行信息交換和通信,以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理的一個巨大網(wǎng)絡(luò)[1]。從這個定義可以看出,物聯(lián)網(wǎng)的開展具有規(guī)模性、廣泛參與性、管理性、技術(shù)性、物的屬性等特征,需要各行各業(yè)的參與。物聯(lián)網(wǎng)技術(shù)是一項綜合性的技術(shù),其中非常重要的是RFID電子標(biāo)簽技術(shù)。以簡單RFID系統(tǒng)為基礎(chǔ),結(jié)合已有的網(wǎng)絡(luò)技術(shù)、數(shù)據(jù)庫技術(shù)、中間件技術(shù)等,構(gòu)筑一個由大量聯(lián)網(wǎng)的閱讀器和無數(shù)移動的標(biāo)簽組成的、比Internet更為龐大的物聯(lián)網(wǎng)已成為RFID技術(shù)發(fā)展趨勢,這使得物聯(lián)網(wǎng)中的數(shù)據(jù)庫管理問題成為了物聯(lián)網(wǎng)技術(shù)研究中的挑戰(zhàn)性問題之一,已引起了國際學(xué)術(shù)界和工程界的高度關(guān)注[26]。本文針對物聯(lián)網(wǎng)中的數(shù)據(jù)庫管理問題,通過對物聯(lián)網(wǎng)技術(shù)的研究,并結(jié)合分布式數(shù)據(jù)庫技術(shù)、P2P(對等網(wǎng))點云計算技術(shù),提出了基于分布式處理技術(shù)的物聯(lián)網(wǎng)數(shù)據(jù)庫管理方法,并探索將其應(yīng)用于醫(yī)療系統(tǒng)中。
1基礎(chǔ)理論
1.1混合模型
物聯(lián)網(wǎng)已經(jīng)構(gòu)成的應(yīng)用系統(tǒng)和應(yīng)用實例是深入研究物聯(lián)網(wǎng)體系結(jié)構(gòu)的基礎(chǔ)[78]。本文針對醫(yī)療系統(tǒng)物聯(lián)網(wǎng)采用有源CPS(網(wǎng)絡(luò)化物理系統(tǒng))結(jié)點和具備聯(lián)網(wǎng)和控制能力的互聯(lián)網(wǎng)CPS結(jié)點的混合模型(如圖1所示)進(jìn)行設(shè)計。這使得該系統(tǒng)不但具有物聯(lián)網(wǎng)系統(tǒng)有的時間和空間的控制能力,還擁有物聯(lián)網(wǎng)專用的安全性和可靠性的控制體系。互聯(lián)網(wǎng)CPS結(jié)點具有不間斷電源,不具備移動性,又具有感知能力,具有較強(qiáng)的存儲、計算和聯(lián)網(wǎng)能力,可以提供H2T,H2H 連接。
圖1有源CPS結(jié)點與互網(wǎng)CPS結(jié)點互連結(jié)構(gòu)的混合模型1.2分布式數(shù)據(jù)庫
分布式數(shù)據(jù)庫(Distributed DataBase,DDB)是傳統(tǒng)數(shù)據(jù)庫技術(shù)與網(wǎng)絡(luò)技術(shù)相結(jié)合的產(chǎn)物。近年來,分布式數(shù)據(jù)庫的快速關(guān)聯(lián)規(guī)則挖掘算法、精簡頻繁模式集和關(guān)聯(lián)規(guī)則的安全挖掘算法以及事務(wù)流的動態(tài)可串行調(diào)度算法等都是該領(lǐng)域的研究熱點[912]。一個分布式數(shù)據(jù)庫是物理上分散在計算機(jī)網(wǎng)絡(luò)各結(jié)點上,但在邏輯上屬于同一系統(tǒng)的數(shù)據(jù)集合,如圖2所示。它具有局部自治與全局共享性、數(shù)據(jù)的冗余性、數(shù)據(jù)的獨(dú)立性、系統(tǒng)的透明性等特點。分布式數(shù)據(jù)庫管理系統(tǒng)(DDBMS)支持分布式數(shù)據(jù)庫的建立、使用與維護(hù),負(fù)責(zé)實現(xiàn)局部數(shù)據(jù)管理、數(shù)據(jù)通信、分布式數(shù)據(jù)管理以及數(shù)據(jù)字典管理等功能。數(shù)據(jù)庫技術(shù)與網(wǎng)絡(luò)通信技術(shù)、人工智能技術(shù)、面向?qū)ο蟪绦蛟O(shè)計技術(shù)、并行計算技術(shù)等互相滲透,互相結(jié)合,成為當(dāng)前數(shù)據(jù)庫技術(shù)發(fā)展的主要特征。
圖2典型的分布式數(shù)據(jù)庫系統(tǒng)2本文物聯(lián)網(wǎng)數(shù)據(jù)庫設(shè)計方法
物聯(lián)網(wǎng)數(shù)據(jù)庫管理系統(tǒng)中各個領(lǐng)域都呈現(xiàn)嚴(yán)峻的數(shù)據(jù)存儲性挑戰(zhàn)。這里重點討論分布式數(shù)據(jù)庫技術(shù),并引入面向?qū)ο髷?shù)據(jù)庫系統(tǒng)技術(shù)和點云計算的P2P技術(shù)[13],以使物聯(lián)網(wǎng)系統(tǒng)具有局部自治與全局共享性、數(shù)據(jù)低冗余性、數(shù)據(jù)高獨(dú)立性及系統(tǒng)透明性。
物聯(lián)網(wǎng)是融入大量RFID系統(tǒng)和分布站點的數(shù)據(jù)庫系統(tǒng)。在系統(tǒng)計算服務(wù)中,需要引入云計算平臺,這是我國正在積極構(gòu)建的重要基礎(chǔ)計算平臺。在考慮遠(yuǎn)程數(shù)據(jù)庫事務(wù)管理之前,必須從那里獲取數(shù)據(jù),并且使其他數(shù)據(jù)庫能對它進(jìn)行全局訪問。因此,主要涉及的管理任務(wù)有:物聯(lián)網(wǎng)系統(tǒng)計算服務(wù)、訪問站點數(shù)據(jù)的位置透明性管理、數(shù)據(jù)庫鏈接管理、觸發(fā)器管理和快照管理等分布處理技術(shù)。同時在確定的每個服務(wù)站點中,引入面向?qū)ο髷?shù)據(jù)庫技術(shù)[14],以支持面向?qū)ο缶幊碳夹g(shù)與數(shù)據(jù)庫技術(shù)的融合,改善數(shù)據(jù)庫技術(shù)的可擴(kuò)展性。在點云計算中引入P2P技術(shù),自組織P2P網(wǎng)絡(luò)能夠在對等體進(jìn)入、離開和失效時自動加以調(diào)整適應(yīng)。對等體之間的通信是對稱的,它們既請求服務(wù)又提供服務(wù)。
綜上所述,該分布式物聯(lián)網(wǎng)數(shù)據(jù)庫同時具備面向?qū)ο蟆⒎植际教幚砑夹g(shù)和P2P點云計算數(shù)據(jù)庫能力。
3實例驗證:醫(yī)療系統(tǒng)物聯(lián)網(wǎng)
本應(yīng)用實例主要是探索將物聯(lián)網(wǎng)分布式數(shù)據(jù)庫技術(shù)應(yīng)用于醫(yī)療衛(wèi)生系統(tǒng)中,這將是本文未來研究的重要課題。醫(yī)療衛(wèi)生系統(tǒng)的物聯(lián)網(wǎng)構(gòu)建是我國新醫(yī)改基礎(chǔ)設(shè)施建設(shè)的重要保障。本文醫(yī)療系統(tǒng)物聯(lián)網(wǎng)系統(tǒng),如圖3所示。
圖3醫(yī)療系統(tǒng)物聯(lián)網(wǎng)模型在上述醫(yī)療系統(tǒng)物聯(lián)網(wǎng)中,主要包括了移動醫(yī)療設(shè)備數(shù)據(jù)庫系統(tǒng)、循證醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)、醫(yī)學(xué)研究網(wǎng)格計算系統(tǒng)、虛擬醫(yī)療團(tuán)隊數(shù)據(jù)庫信息以及慢性病、流行病監(jiān)控管理數(shù)據(jù)庫系統(tǒng)和個人醫(yī)療信息門戶數(shù)據(jù)庫系統(tǒng)、遠(yuǎn)程醫(yī)療服務(wù)數(shù)據(jù)庫系統(tǒng)。在整個物聯(lián)網(wǎng)數(shù)據(jù)庫系統(tǒng)中,需要P2P技術(shù)與云計算服務(wù)平臺來實現(xiàn)整合醫(yī)療服務(wù)平臺、健康知識管理、電子健康檔案統(tǒng)一信息管理等工作。其中,整合的醫(yī)療保健平臺根據(jù)需要通過醫(yī)院的各系統(tǒng)收集并存儲患者信息,并將相關(guān)信息添加到患者的電子醫(yī)療檔案數(shù)據(jù)庫中,這樣所有授權(quán)和整合的醫(yī)院都可以對這個數(shù)據(jù)庫進(jìn)行訪問,從而使各個資源和患者能夠有效地在各個醫(yī)院之間流動。利用各醫(yī)院之間適當(dāng)?shù)墓芾硐到y(tǒng)、轉(zhuǎn)診系統(tǒng)等保持信息完備性、一致性。這個平臺滿足一個有效的多層次醫(yī)療網(wǎng)絡(luò)對信息分享的需要,這樣就建立了以分布式處理技術(shù)為基礎(chǔ)的數(shù)據(jù)庫服務(wù)系統(tǒng)。電子健康檔案系統(tǒng)通過可靠的門戶網(wǎng)站集中進(jìn)行病歷整合和共享,這樣各種治療活動就可以不受醫(yī)院行政限制而形成一種整合的視角。有了電子健康檔案系統(tǒng),醫(yī)院可以準(zhǔn)確順暢地將患者轉(zhuǎn)到其他門診或其他醫(yī)院,患者可隨時了解自己的病情,醫(yī)生可以通過參考患者完整的病史為其做出準(zhǔn)確的診斷和治療。通過醫(yī)療系統(tǒng)物聯(lián)網(wǎng)的建立,將極大地改善醫(yī)療服務(wù)體系,實現(xiàn)高效、穩(wěn)健、有效的全面醫(yī)療衛(wèi)生服務(wù)。
4結(jié)語
本文重點介紹并討論了基于分布式處理技術(shù)、混合面向?qū)ο蟪绦蛟O(shè)計方法以及P2P點云計算服務(wù)的物聯(lián)網(wǎng)數(shù)據(jù)庫設(shè)計方法,并探索將其應(yīng)用于醫(yī)療系統(tǒng)物聯(lián)網(wǎng)中,從而為物聯(lián)網(wǎng)數(shù)據(jù)庫管理系統(tǒng)提供了一種新的設(shè)計方法,可探索將其拓展到智能電力電網(wǎng)、城市設(shè)施、交通管理、物流供應(yīng)鏈等行業(yè)中。然而,系統(tǒng)的設(shè)計實現(xiàn)需要核心云服務(wù)計算平臺,目前的系統(tǒng)有許多工作要做,包括P2P計算中的信息交互、高速移動醫(yī)療設(shè)備診斷、整合醫(yī)療平臺建設(shè)等。本文今后的工作將進(jìn)一步完善上述設(shè)計的物聯(lián)網(wǎng)數(shù)據(jù)庫系統(tǒng),并將其用于實踐,從而為搭建我國基礎(chǔ)醫(yī)療系統(tǒng)物聯(lián)網(wǎng)技術(shù)平臺做出應(yīng)有的貢獻(xiàn)。
參考文獻(xiàn)
[1]王保云.物聯(lián)網(wǎng)技術(shù)研究綜述[J].電子測量與儀器學(xué)報,2009,23(12):17.
[2]COOPER J, JAMES A. Challenges for database management in the Internet of things \[J\]. IETE Technical Review, 2009, 26(5): 320329.
[3] 吳功宜.智慧的物聯(lián)網(wǎng):感知中國和世界的技術(shù)[M].北京:機(jī)械工業(yè)出版社,2010.
[4]孟小峰.云數(shù)據(jù)管理技術(shù)[EB/OL].\[2009327\]..
[5]FURNESS A, CHARTIER P. Opportunities through European and UK initiatives \[C\]// Proceedings of The Electronics KTN and the Association for Automatic Identification and Mobile Data Capture (AIM) joint meeting on the "Connected World". London: England:AIM, 2010: 123129.
[6] International Telecommunication Union. ITU Internet reports 2005: the Internet of things \[R\]. \[S.l.\]: ITU 2005.
[7]沈蘇彬,范曲立,宗平,等.物聯(lián)網(wǎng)的體系結(jié)構(gòu)與相關(guān)技術(shù)研究[J].南京郵電大學(xué)學(xué)報:自然科學(xué)版,2009,29(6):1011.
[8]James A,Cooper J.Database Architecture for the Internet of Things[J].IETE Technical Review.2009,26(5):311312.
[9]賈,劉群,姜晗.分布式數(shù)據(jù)庫的精簡頻繁模式集及其挖掘算法[J].浙江師范大學(xué)學(xué)報:自然科學(xué)版,2010,33(2):132137.
[10]陳耿,倪巍偉,朱玉全,等.基于分布數(shù)據(jù)庫的快速關(guān)聯(lián)規(guī)則挖掘算法[J].計算機(jī)工程與應(yīng)用,2006(4):165167.
[11]梁雄友,薛永生.基于分布式事務(wù)流的動態(tài)可串行調(diào)度算法[J].計算機(jī)工程與應(yīng)用,2010,46(8):144147.
[12]宋寶莉,覃征.分布式數(shù)據(jù)庫關(guān)聯(lián)規(guī)則的安全挖掘算法研究[J].計算機(jī)工程與應(yīng)用,2007,43(6):181183.
[關(guān)鍵詞]去IOE 互聯(lián)網(wǎng)+ 分布式 云化架構(gòu) 虛擬化 服務(wù)化
中圖分類號:TP3-0 文獻(xiàn)標(biāo)識碼:A 文章編號:1009-914X(2016)29-0309-01
第1章 緒論
1.1 現(xiàn)狀分析
在中國,最早實踐“去IOE”系統(tǒng)轉(zhuǎn)型的,是互聯(lián)網(wǎng)用戶數(shù)最多的阿里巴巴公司。阿里公司面臨互聯(lián)網(wǎng)用戶交易量成倍增長的趨勢,由于IBM小型機(jī)、Oracle數(shù)據(jù)庫、EMC高端存儲構(gòu)建的系統(tǒng)架構(gòu)存在維護(hù)成本非常高,源代碼沖突,系統(tǒng)部署時間長,數(shù)據(jù)庫連接達(dá)到上限等諸多問題,系統(tǒng)不能滿易的處理要求,阿里CFO王堅在2008年提出“去IOE”概念。阿里以低成本的x86服務(wù)器代替IBM小型機(jī),由開源My SQL代替Oracle,使用PC Server代替EMC存儲,自主研發(fā)了強(qiáng)大的云計算平臺以提供云計算服務(wù)。2013年,最后一臺小型機(jī)在阿里的支付寶下線,標(biāo)識了阿里完成去IOE的架構(gòu)轉(zhuǎn)型成功。
1.2 發(fā)展趨勢
2015年7月,國務(wù)院頒發(fā)《國務(wù)院關(guān)于積極推進(jìn)“互聯(lián)網(wǎng)+”行動的指導(dǎo)意見》,指導(dǎo)傳統(tǒng)行業(yè)需要利用信息通信技術(shù)以及互聯(lián)網(wǎng)平臺,將互聯(lián)網(wǎng)的創(chuàng)新成果,深度融合傳統(tǒng)行業(yè),創(chuàng)造新的經(jīng)濟(jì)發(fā)展生態(tài)。
電信運(yùn)營商的傳統(tǒng)IT架構(gòu)也采用IOE架構(gòu),隨用戶數(shù)量成倍增長,在系統(tǒng)運(yùn)營維護(hù)時也體現(xiàn)出維護(hù)成本高,系統(tǒng)部署時間長,響應(yīng)慢,容易引起用戶投訴以及用戶流失等諸多問題。
第2章 運(yùn)營商分布式云架構(gòu)實踐
2.1 運(yùn)營商傳統(tǒng)IT架構(gòu)
傳統(tǒng)IOE架構(gòu)采用三層架構(gòu),Web邏輯層負(fù)責(zé)接收Web應(yīng)用請求,應(yīng)用邏輯層負(fù)責(zé)處理業(yè)務(wù)邏輯,并根據(jù)數(shù)據(jù)層提供的數(shù)據(jù)計算,數(shù)據(jù)層負(fù)責(zé)查詢返回上層數(shù)據(jù)。
2.2 分布式云架構(gòu)
為實踐“互聯(lián)網(wǎng)+”與通信行業(yè)的深度融合,消除IOE架構(gòu)帶來的問題,我們用通信行業(yè)的號碼資源為集中管理對象,構(gòu)建分布式云架構(gòu)的號碼資源集中系統(tǒng),創(chuàng)新IT支撐系統(tǒng)。
創(chuàng)新的分布式云架構(gòu)系統(tǒng),分為五層,負(fù)載均衡層、接入層、業(yè)務(wù)服務(wù)層、技術(shù)服務(wù)層、數(shù)據(jù)層。采用高內(nèi)聚、低耦合、易擴(kuò)展、服務(wù)化的設(shè)計原則,由去中心化的服務(wù)框架為應(yīng)用提供服務(wù)。下面分別介紹五層架構(gòu)級重點中間件及功能。
2.2.1 負(fù)載均衡層
負(fù)載均衡層支持軟負(fù)載均衡、硬負(fù)載均衡及自定義負(fù)載均衡。由傳統(tǒng)雙機(jī)工作轉(zhuǎn)變?yōu)榧汗ぷ鳌X?fù)載均衡通過流量分發(fā)擴(kuò)展系統(tǒng)對外的服務(wù)能力,通過消除單點故障提升系統(tǒng)的可用性。負(fù)載均衡器主要功能:1、提供4層(TCP協(xié)議)和7層(HTTP協(xié)議)的負(fù)載均衡服務(wù)。2、可對后端應(yīng)用服務(wù)器進(jìn)行健康檢查,自動屏蔽異常狀態(tài)的應(yīng)用服務(wù)器,待該服務(wù)器恢復(fù)正常后自動解除屏蔽;3、提供會話保持功能,在Session生命周期內(nèi),將同一客戶端請求轉(zhuǎn)發(fā)同一端后臺的應(yīng)用服掌魃希4、支持加權(quán)輪詢(WRR),加權(quán)最小連接數(shù)(WLC)轉(zhuǎn)發(fā)方式;5、支持針對監(jiān)聽來分配其對應(yīng)服務(wù)能達(dá)到的帶寬峰值;6、可以支持公網(wǎng)或私網(wǎng)的負(fù)載均衡。負(fù)載均衡層采用集群設(shè)計,無單點,可以根據(jù)應(yīng)用負(fù)載彈性擴(kuò)容,不同功能模塊分別申請負(fù)載均衡實例。
2.2.2 接入層
接入層支持多種接入形式,有Web管理門戶,手機(jī)應(yīng)用接入,各系統(tǒng)接入。
2.2.3 業(yè)務(wù)服務(wù)層
業(yè)務(wù)服務(wù)層提供多種業(yè)務(wù)邏輯服務(wù),核心業(yè)務(wù)服務(wù)。業(yè)務(wù)邏輯服務(wù)和核心業(yè)務(wù)服務(wù)包括號段管理:號段入庫、號段分配、號段啟用、號段下發(fā)等;號碼庫存管理:號碼查詢、號碼上下架、號碼回收、號碼屬性管理、號碼出入庫、號碼調(diào)撥、號碼狀態(tài)變更等;號碼銷售管理:號碼選占、號碼預(yù)占、制作預(yù)配預(yù)配套包、靚號減免、靚號規(guī)則查詢、號碼返銷等;部門信息管理:員工信息同步、渠道信息同步、員工新增、部門新增等;報表管理:號碼統(tǒng)計、號碼狀態(tài)統(tǒng)計、靚號統(tǒng)計等;權(quán)限管理:菜單管理、角色與員工對應(yīng)關(guān)系、角色維護(hù)、菜單權(quán)限管理等;日志管理:操作日志、接口日志、號碼日志等。
2.2.4 技術(shù)服務(wù)層
技術(shù)服務(wù)層包括分布式服務(wù)框架,服務(wù)生命周期管理、服務(wù)日志、服務(wù)治理、以及分布式消息服務(wù)、分布式緩存服務(wù),分布式文件系統(tǒng)。技術(shù)中間件區(qū)別于傳統(tǒng)架構(gòu)體系,為了充分體現(xiàn)云架構(gòu)的能力,需要遵守的原則如下:
1、服務(wù)拆分原則:低耦合,高內(nèi)聚;服務(wù)要小,功能單一、完整;每個服務(wù)對應(yīng)一個數(shù)據(jù)庫;采用自下而上的思路進(jìn)行服務(wù)的識別和設(shè)計。
2、緩存使用原則:盡量不緩存大對象,拆分為合適的有效的小對象;及時更新緩存中已經(jīng)變更的數(shù)據(jù);不使用不同的鍵緩存相同的對象,造成內(nèi)存浪費(fèi);分布式緩存服務(wù)中,不能在多個線程間共享對象。
3、數(shù)據(jù)庫拆分原則:數(shù)據(jù)關(guān)聯(lián)的表盡量采用相同的拆分字段,保證分布在同一個數(shù)據(jù)庫中
數(shù)據(jù)分布盡量均勻;避免數(shù)據(jù)熱點;小數(shù)據(jù)表、靜態(tài)數(shù)據(jù)表不拆分;
4、消息使用原則:沒有業(yè)務(wù)限制的情況下,盡量并行;消息執(zhí)行與業(yè)務(wù)系統(tǒng)低耦合;盡量過濾無關(guān)消息,提高處理效率;應(yīng)用使用統(tǒng)一封裝接口,無需關(guān)心底層組件。
2.2.4.1 分布式服務(wù)框架
分布式服務(wù)框架,可以采用分布式RPC框架、控制流和數(shù)據(jù)流分離,替代傳統(tǒng)IBM和Oracle服務(wù)框架。服務(wù)提供者在服務(wù)注冊中心進(jìn)行注冊,服務(wù)調(diào)用者就可通過服務(wù)注冊中心訂閱服務(wù)。客戶端在不知道服務(wù)端的IP情況下,只需要知道服務(wù)名,就可以調(diào)用該服務(wù)。當(dāng)服務(wù)調(diào)用失敗時,框架自動重試分布式架構(gòu)下其他服務(wù)提供者。服務(wù)生命周期管理需要實現(xiàn)自動化,經(jīng)過代碼編寫(git),代碼打包(Jenkins),代碼測試,代碼,代碼監(jiān)控。
2.2.4.2 分布式消息服務(wù)
分布式消息服務(wù):分布式消息服務(wù),可集群部署,通過web控制臺管理主題、生產(chǎn)者、消費(fèi)者等信息。消息中間件通過消息分發(fā)、消息緩存以及負(fù)載均衡技術(shù),可以異步解耦消息,達(dá)到削峰填谷的目標(biāo)。利用消息中間件可實現(xiàn)分布式事務(wù)、數(shù)據(jù)復(fù)制、日志同步、延遲隊列、廣播通知。
2.2.4.3 分布式緩存服務(wù)
分布式緩存服務(wù):提供集群版擴(kuò)展Redis性能,兼容redis協(xié)議的key-value存儲服務(wù),支持redis開源客戶端直接訪問。 config server為中心控制節(jié)點,負(fù)責(zé)管理所有的data server,維護(hù)data server的狀態(tài)信息。data server 對外提供各種數(shù)據(jù)服務(wù), 并以心跳的形式將自身狀況匯報給config server。
2.2.4.4 分布式文件系統(tǒng)
分布式文件系統(tǒng):采用開放存儲服務(wù),實現(xiàn)應(yīng)用的動靜態(tài)分離,可以像文件夾一樣管理網(wǎng)站上的圖片,腳本等靜態(tài)資源,通過BGP網(wǎng)絡(luò)或CDN加速方式,提供用戶就近訪問,有效降低云服務(wù)負(fù)載。
2.2.5 數(shù)據(jù)層
數(shù)據(jù)層采用分布式數(shù)據(jù)庫,支持彈性擴(kuò)展,平滑擴(kuò)容,垂直拆分,稻菘庠諳呃┤蕁⒈阜莼毓觥⑿閱薌嗖餳胺治觥=立基于mysql數(shù)據(jù)庫及開源產(chǎn)品cobar、tddl進(jìn)行整合的一個平臺。
第3章 去IOE化后系統(tǒng)提升
經(jīng)過驗證,去IOE后的號碼集中系統(tǒng)性能大大提升。上線測試,新系統(tǒng)實時類接口平均每秒能處理訂單5000tps,平臺每秒處理訂單40000tps。相比老系統(tǒng)每秒峰值處理訂單2700tps左右,成二十倍提升。