技術(shù)
導(dǎo)讀:平安城市是一個(gè)特大型的管理系統(tǒng),綜合性非常強(qiáng)。它的建設(shè)目標(biāo)是滿足治安管理、城市管理、交通管理、應(yīng)急指揮等需求,往往還要兼顧災(zāi)難事故預(yù)警、安全生產(chǎn)監(jiān)控等方面對(duì)圖像監(jiān)控的需求,并考慮報(bào)警、門禁等配套系統(tǒng)的集成以及與廣播系統(tǒng)的聯(lián)動(dòng)。如何做到對(duì)海量視頻數(shù)據(jù)的精準(zhǔn)分析,正是平安城市的“大數(shù)據(jù)”痛點(diǎn)。
現(xiàn)代經(jīng)濟(jì)活動(dòng)對(duì)于數(shù)據(jù)的依賴是前所未有的。今天,信息甚至被視為21世紀(jì)的“石油”,數(shù)據(jù)已變成生產(chǎn)資料,與硬資產(chǎn)和人同等重要,這也是為什么海量數(shù)據(jù)會(huì)在各行各業(yè)出現(xiàn)。在麥肯錫的一份調(diào)查報(bào)告中,僅就商業(yè)數(shù)據(jù)及射頻數(shù)據(jù)而言,美國(guó)15個(gè)主要行業(yè)中每家公司過(guò)去一年所產(chǎn)生的數(shù)據(jù)量,就超過(guò)了同期美國(guó)國(guó)會(huì)圖書館所存儲(chǔ)的數(shù)據(jù)量(235TB)。
在中國(guó),產(chǎn)生大數(shù)據(jù)的行業(yè)同樣層出不窮。比如,與智慧城市相關(guān)的項(xiàng)目所產(chǎn)生的數(shù)據(jù)量,就達(dá)到了200PB。而如何將海量數(shù)據(jù)轉(zhuǎn)化為城市治理的方法,則是“平安城市”建設(shè)過(guò)程中亟待破解的課題。
需求轉(zhuǎn)變引發(fā)計(jì)算框架改變
平安城市是一個(gè)特大型的管理系統(tǒng),綜合性非常強(qiáng)。它的建設(shè)目標(biāo)是滿足治安管理、城市管理、交通管理、應(yīng)急指揮等需求,往往還要兼顧災(zāi)難事故預(yù)警、安全生產(chǎn)監(jiān)控等方面對(duì)圖像監(jiān)控的需求,并考慮報(bào)警、門禁等配套系統(tǒng)的集成以及與廣播系統(tǒng)的聯(lián)動(dòng)。如何做到對(duì)海量視頻數(shù)據(jù)的精準(zhǔn)分析,正是平安城市的“大數(shù)據(jù)”痛點(diǎn)。
近年來(lái)數(shù)據(jù)量爆發(fā)式的增長(zhǎng)已經(jīng)將安防行業(yè)變成了典型的大數(shù)據(jù)行業(yè)。從“事后查看”到“事前預(yù)警”的需求變化,也為安防行業(yè)以視頻為核心的應(yīng)用帶來(lái)了巨大挑戰(zhàn)。??低暩笨偛谩TO 蔣海青告訴記者,在各類的平安城市建設(shè)項(xiàng)目中,依靠大數(shù)據(jù)分析技術(shù),從海量視頻圖像中提取有效的安防信息,早已成為業(yè)界共識(shí)。而城市安全建設(shè)對(duì)大聯(lián)網(wǎng)的要求,也讓云計(jì)算、物聯(lián)網(wǎng)這樣的IT基礎(chǔ)架構(gòu)成為新型平安城市的首選。
對(duì)平安城市而言,其IT基礎(chǔ)架構(gòu)不僅要完成數(shù)據(jù)的采集、傳輸,更要支撐對(duì)海量視頻數(shù)據(jù)的分析。計(jì)算平臺(tái)是實(shí)現(xiàn)數(shù)據(jù)分析的核心,什么樣的計(jì)算框架才是適合平安城市建設(shè)需求的呢?“在平安城市的安防項(xiàng)目中,視頻數(shù)據(jù)有其特殊性,一方面,流量非常大,另一方面,對(duì)高清的要求也很高。一個(gè)高清視頻的流量一般是8MB,數(shù)據(jù)則來(lái)自成千上萬(wàn)的攝像頭,這些攝像頭的信息又是24小時(shí)不間斷傳送的,數(shù)據(jù)就像長(zhǎng)年累月不停流出來(lái)的水一樣。如果采用全集中的計(jì)算框架,必然會(huì)存在很大風(fēng)險(xiǎn),不僅數(shù)據(jù)傳輸容易出現(xiàn)瓶頸,還很容易導(dǎo)致災(zāi)難性的損失。而全分布式的計(jì)算框架也有問(wèn)題,比如管理、運(yùn)維會(huì)非常復(fù)雜,因?yàn)殡y以把專業(yè)的IT人員也分散到各個(gè)機(jī)房。所以,在計(jì)算框架上,我們所采用的其實(shí)是一種將二者相結(jié)合的計(jì)算框架,即區(qū)域性的、綜合性的集中和概念上的分散,以便讓我們的網(wǎng)絡(luò)更有效地支撐其上的應(yīng)用?!笔Y海青表示,??低暷壳罢诨谥翉?qiáng)平臺(tái)的Hadoop計(jì)算框架上進(jìn)行研發(fā),以期找到實(shí)現(xiàn)安防行業(yè)大數(shù)據(jù)分析的最佳方法。
大數(shù)據(jù)分析將屬于開(kāi)放平臺(tái)
智能城市項(xiàng)目及物聯(lián)網(wǎng)的發(fā)展,正在讓大數(shù)據(jù)分析技術(shù)更廣泛地為城市的智能交通監(jiān)控、智能公共安全、氣象和污染變化的智能監(jiān)控及預(yù)測(cè)服務(wù)。蔣海青認(rèn)為,目前雖然平安城市的IT基礎(chǔ)架構(gòu)的框架已經(jīng)具備了實(shí)現(xiàn)大數(shù)據(jù)分析的能力,但在分析能力方面依舊存在短板。隨著數(shù)據(jù)分析技術(shù)的演進(jìn),平安城市的應(yīng)用才能豐滿起來(lái)。
大數(shù)據(jù)分析的價(jià)值清晰可見(jiàn),當(dāng)前產(chǎn)業(yè)界以及行業(yè)用戶對(duì)于加速大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用達(dá)成了共識(shí),但相關(guān)技術(shù)的成熟不可能是一蹴而就的。英特爾認(rèn)為,在相關(guān)IT基礎(chǔ)設(shè)施與服務(wù)層、數(shù)據(jù)組織與管理層、數(shù)據(jù)分析與發(fā)現(xiàn)層、決策支持與IT服務(wù)層需要全面導(dǎo)入創(chuàng)新技術(shù)。特別是在堪稱大數(shù)據(jù)應(yīng)用“載體”的IT基礎(chǔ)設(shè)施與服務(wù)層,采用基于開(kāi)放架構(gòu)的平臺(tái)將是最佳選擇。因?yàn)槲覀儾粩嗫吹酱髷?shù)據(jù)飛速增長(zhǎng)為更大的數(shù)據(jù),IT基礎(chǔ)架構(gòu)的計(jì)算能力、存儲(chǔ)能力和數(shù)據(jù)交換傳輸能力必須與這種成長(zhǎng)速度相匹配,才能保證數(shù)據(jù)分析的實(shí)現(xiàn)。而實(shí)現(xiàn)這些能力的關(guān)鍵在于IT基礎(chǔ)架構(gòu)的可擴(kuò)展性,特別是橫向擴(kuò)展的能力。能讓其先天就具備強(qiáng)大、橫向的可擴(kuò)展性,并在實(shí)現(xiàn)這種擴(kuò)展時(shí)擁有成本和性價(jià)比優(yōu)勢(shì)的,一定是基于開(kāi)放架構(gòu)的平臺(tái)。
大數(shù)據(jù)處理任務(wù)對(duì)于開(kāi)放架構(gòu)平臺(tái)的倚重,讓英特爾在這一領(lǐng)域獲得了越來(lái)越多合作伙伴與用戶的關(guān)注。當(dāng)前,英特爾正在傾力打造適用于大數(shù)據(jù)應(yīng)用的“芯”,比如今年3月英特爾發(fā)布的至強(qiáng)E5系列,就是可為大數(shù)據(jù)應(yīng)用中的分布式處理和高性能計(jì)算任務(wù)帶來(lái)更優(yōu)性能、能效、可擴(kuò)展性和可管理性的計(jì)算平臺(tái)。對(duì)于需要既有的關(guān)系型數(shù)據(jù)庫(kù)和商業(yè)智能技術(shù)及應(yīng)用來(lái)處理和分析的商業(yè)大數(shù)據(jù),至強(qiáng)E7系列則可實(shí)現(xiàn)很好的支撐。針對(duì)大數(shù)據(jù)的分發(fā)和管理需求,英特爾還在與Hadoop合作,共推基于英特爾平臺(tái)優(yōu)化的Hadoop 產(chǎn)品和服務(wù)。
從另一個(gè)角度來(lái)看,大數(shù)據(jù)分析技術(shù)的演進(jìn)也將對(duì)計(jì)算平臺(tái)提出更高的要求,英特爾亞太研發(fā)有限公司總經(jīng)理、軟件與服務(wù)事業(yè)部中國(guó)區(qū)總經(jīng)理何京翔表示,海量數(shù)據(jù)未來(lái)很可能會(huì)要求計(jì)算平臺(tái)提供更強(qiáng)大的存儲(chǔ)訪問(wèn)技術(shù),如通過(guò)SSD或二級(jí)緩存直接訪問(wèn)內(nèi)存等,所以英特爾還會(huì)繼續(xù)加強(qiáng)硬件平臺(tái)的優(yōu)化。