911事件如果推遲15年 大數(shù)據(jù)是否能挽救這場(chǎng)災(zāi)難

責(zé)任編輯:editor006

2016-09-12 18:03:51

摘自:網(wǎng)易訂閱

綜合大數(shù)據(jù)的前沿技術(shù)進(jìn)展,可以綜合研判出大數(shù)據(jù)反恐平臺(tái)背后的三大關(guān)鍵技術(shù):知識(shí)圖譜、大數(shù)據(jù)人機(jī)可視化交互、非結(jié)構(gòu)化精準(zhǔn)搜索與挖掘。

 

在進(jìn)入正題之前,我們先來(lái)看一個(gè)例子:

 

美國(guó)國(guó)防部長(zhǎng)卡特(AshCarter)曾赴硅谷招募頂尖科技人才。近年來(lái)的信息大爆炸使得五角大樓不得不將目光聚焦高科技硅谷,以打擊反恐。美國(guó)中央情報(bào)局的CTOGusHunt表示,為了提高情報(bào)分析能力,他們已經(jīng)加快了運(yùn)用云計(jì)算的步伐。

神秘的大數(shù)據(jù)平臺(tái)Palantir就是美國(guó)CIA、FBI等尋求的合作對(duì)象。Palantir最為人津津樂(lè)道的案例有兩個(gè),一是此前美國(guó)政府追捕本拉登行動(dòng)中,Palantir扮演了重要的情報(bào)分析的角色;二是Palantir協(xié)助多家銀行追回了納斯達(dá)克前主席麥道夫BernieMadoff所隱藏起來(lái)的數(shù)十億美元巨款。

Palantir在洛杉磯警局通過(guò)技術(shù)與業(yè)務(wù)的深入交流與合作,采用Palantir的Gotham平臺(tái),構(gòu)建了一套洛杉磯警局的語(yǔ)義知識(shí)搜索挖掘平臺(tái),用于日常的警方業(yè)務(wù)工作中。該平臺(tái)全面整合警情日志文檔、電子表格數(shù)據(jù)、數(shù)據(jù)庫(kù)等結(jié)構(gòu)化數(shù)據(jù)和電子郵件、文檔、圖片、錄像等非結(jié)構(gòu)化數(shù)據(jù),對(duì)各類多源異構(gòu),繁雜的信息進(jìn)行清洗梳理,總結(jié)提煉為八個(gè)關(guān)鍵的信息實(shí)體:人、車、位置、罪案、逮捕、文件、備注與其他。實(shí)體本身還有不同的屬性,不同個(gè)體之間還存在這相應(yīng)的知識(shí)關(guān)聯(lián)。Palantir公安大數(shù)據(jù)語(yǔ)義知識(shí)搜索平臺(tái)建立以后,警方就可以通過(guò)非常簡(jiǎn)潔的前端搜索頁(yè)面,來(lái)搜索指定的各類實(shí)體與線索。

 

Palantir的搜索結(jié)果與百度等通用搜索引擎完全不一樣,并不完全基于關(guān)鍵詞,而是探索搜索背后的關(guān)聯(lián)關(guān)系,搜索結(jié)果如上圖所示。這里,中間的焦掉是搜索的嫌疑人“Michael Barton”,通過(guò)Palantir平臺(tái),可以快速將各類龐雜的數(shù)據(jù)通過(guò)可視化平臺(tái)的形式匯聚到一起,最終我們發(fā)現(xiàn)該犯綜合立體化視圖,其中包括:使用的手機(jī),入境記錄,逮捕時(shí)開(kāi)的車,逮捕的案子,同時(shí)涉嫌一起盜竊案,包括已有的兩次審訊記錄。點(diǎn)擊任何一個(gè)節(jié)點(diǎn),右邊會(huì)展示其詳細(xì)的屬性與其他實(shí)體的關(guān)聯(lián)關(guān)系。例如,點(diǎn)擊該車,可以展示出該車的歷史所有被抓拍的照片與數(shù)據(jù)。辦案人員同時(shí)可以根據(jù)關(guān)聯(lián)連接一層一層往下挖,并人機(jī)互動(dòng),補(bǔ)充各種篩選條件,將模糊的破案線索逐步求精,最后極大的提高破案準(zhǔn)確性與效率。

綜合大數(shù)據(jù)的前沿技術(shù)進(jìn)展,可以綜合研判出大數(shù)據(jù)反恐平臺(tái)背后的三大關(guān)鍵技術(shù):知識(shí)圖譜、大數(shù)據(jù)人機(jī)可視化交互、非結(jié)構(gòu)化精準(zhǔn)搜索與挖掘。分別介紹如下:

知識(shí)圖譜

知識(shí)圖譜本質(zhì)上是一種語(yǔ)義網(wǎng)絡(luò),圖中的結(jié)點(diǎn)代表實(shí)體(entity)或者概念(concept),邊代表實(shí)體/概念之間的各種語(yǔ)義關(guān)系。Palantir在圖一中使用的就是知識(shí)圖譜的技術(shù),其中嫌疑犯、車、手機(jī)等都節(jié)點(diǎn)屬于知識(shí)圖譜中的實(shí)體,而邊就是實(shí)體之間的關(guān)系。知識(shí)圖譜允許用戶搜索引擎知道的所有事物、人物或者地方,而且能夠顯示查詢的實(shí)時(shí)信息。知識(shí)圖譜技術(shù)表征了公安大數(shù)據(jù)的本質(zhì)語(yǔ)義關(guān)聯(lián),比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)更加自由多樣化,更適合于公安的辦案。

大數(shù)據(jù)人機(jī)可視化交互

運(yùn)用了大數(shù)據(jù)可視化、知識(shí)圖譜化、地圖GIS化等手段,同時(shí)開(kāi)放了大量方便的人機(jī)交互接口,實(shí)現(xiàn)了人與機(jī)器的完美融合,也實(shí)現(xiàn)了人與人之間的協(xié)同工作,大大提升了警務(wù)人員掌控?cái)?shù)據(jù)的能力。

非結(jié)構(gòu)化語(yǔ)義精準(zhǔn)搜索與挖掘

非結(jié)構(gòu)化大數(shù)據(jù)指的是文本、圖像與視頻等信息,比傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)的信息量大得多,非結(jié)構(gòu)化語(yǔ)義精準(zhǔn)搜索與挖掘,是指在知識(shí)圖譜的基礎(chǔ)上真正理解用戶的搜索請(qǐng)求,不再拘泥于用戶所輸入請(qǐng)求語(yǔ)句的字面本身,而是透過(guò)現(xiàn)象看本質(zhì),準(zhǔn)確地捕捉到用戶所輸入語(yǔ)句后面的真正意圖,并以此來(lái)進(jìn)行搜索與挖掘,從而更準(zhǔn)確地向用戶返回最符合其需求的搜索結(jié)果。

大數(shù)據(jù)分析工具和技術(shù),結(jié)合文本挖掘、機(jī)器學(xué)習(xí)以及本體建模,已成為進(jìn)行軍事安全威脅預(yù)測(cè)、檢測(cè)和早期階段預(yù)防的第一道防線。如今大數(shù)據(jù)和數(shù)據(jù)科技,通過(guò)改進(jìn)協(xié)作和數(shù)據(jù)分析,減低了情報(bào)調(diào)查過(guò)程的繁瑣程度,以便機(jī)構(gòu)更輕易地檢測(cè)到國(guó)家安全威脅。

通過(guò)分析恐怖分子日常各種信息,如通話、交通、購(gòu)物、交友、電子郵件、聊天記錄、視頻等,對(duì)恐怖行為發(fā)生前進(jìn)行預(yù)警和事后分析排查,越來(lái)越成為國(guó)際預(yù)防反恐的通用手段之一。

阿里巴巴集團(tuán)CTO王堅(jiān)曾表示:“今天任何人做事都不可能完全避開(kāi)互聯(lián)網(wǎng),犯罪分子也不例外,敵人都用上了互聯(lián)網(wǎng)手段,國(guó)家反恐必須用上大數(shù)據(jù)分析了。具備了數(shù)據(jù)分析的能力并不是說(shuō)能百分百解決問(wèn)題,但肯定可以大大提高反恐能力,以及實(shí)施恐怖行為的成本。”就像在紅綠燈前裝攝像頭,不可能杜絕闖紅綠燈的行為,但肯定減少。

事實(shí)上,國(guó)內(nèi)也有科研院所、企業(yè)等機(jī)構(gòu)進(jìn)行了深入的研究。據(jù)國(guó)內(nèi)學(xué)者相關(guān)研究成果顯示,采用大數(shù)據(jù)分析模型對(duì)恐怖襲擊歷史數(shù)據(jù)中隱含的可演化信息進(jìn)行學(xué)習(xí),利用所獲取的結(jié)果進(jìn)行未來(lái)的恐怖襲擊預(yù)測(cè)。預(yù)測(cè)過(guò)程中融入多步時(shí)間序列預(yù)測(cè)中的遞推計(jì)算的思想,將每一步預(yù)測(cè)的不確定性作為下一次預(yù)測(cè)迭代的輸入要素加以充分考慮。仿真結(jié)果證實(shí),利用大數(shù)據(jù)分析的預(yù)測(cè)精度和效率都高于傳統(tǒng)模式。據(jù)公開(kāi)報(bào)道,通過(guò)對(duì)社交網(wǎng)絡(luò)等信息的大數(shù)據(jù)挖掘,我國(guó)成功破獲多個(gè)涉恐案件。而隨著數(shù)據(jù)量的增長(zhǎng),利用大數(shù)據(jù)來(lái)打擊犯罪的比例正在提高。

大數(shù)據(jù)的本質(zhì)是系統(tǒng)通過(guò)處理采集到的所有數(shù)據(jù),去提取其特征和共性的信息。通過(guò)大數(shù)據(jù)的處理使得所有的數(shù)據(jù)都有價(jià)值。通過(guò)大數(shù)據(jù)的處理,把傳統(tǒng)認(rèn)為沒(méi)有價(jià)值的信息也能夠產(chǎn)生非常有價(jià)值的信息,大數(shù)據(jù)的核心價(jià)值是通過(guò)數(shù)據(jù)分析達(dá)到預(yù)警預(yù)測(cè)的目的。因此,在反恐領(lǐng)域,借助大數(shù)據(jù)分析,從各種綜合數(shù)據(jù)中,諸如社交網(wǎng)絡(luò)信息、個(gè)人活動(dòng)信息以及公安視頻監(jiān)控?cái)?shù)據(jù)等等中能夠預(yù)測(cè)出重點(diǎn)監(jiān)控人員將要實(shí)施的恐怖襲擊事件,并作出預(yù)警提示,成為未來(lái)視頻監(jiān)控發(fā)展目標(biāo)。

我國(guó)公安大數(shù)據(jù)方面的主要工作包括情報(bào)抽取、自動(dòng)脫敏、分類、聚類、特征挖掘、關(guān)聯(lián)挖掘等工作。情報(bào)抽取主要從文本表述中抽取各類案情要素,如嫌疑人姓名、身份證、性別、案由等;自動(dòng)脫敏技術(shù)是將敏感信息自動(dòng)替換,脫敏后的信息無(wú)法追溯到具體的個(gè)人,不再涉及公民隱私,而公安部門可以根據(jù)脫敏的對(duì)照庫(kù),實(shí)現(xiàn)信息還原。下圖是我們利用公安某局脫敏后的15萬(wàn)數(shù)據(jù)自動(dòng)生成的毒品、詐騙、盜竊三類警情的宏觀可視化特征畫(huà)像。

 

公安作為與海量證據(jù)、線索、數(shù)據(jù)、信息打交道的部門,使用好已有的數(shù)據(jù)信息,將門類龐雜、種類繁多的海量公安數(shù)據(jù)進(jìn)行整合,建立統(tǒng)一的公安大數(shù)據(jù)語(yǔ)義知識(shí)網(wǎng)搜索平臺(tái),全面而深入挖掘信息之間的關(guān)聯(lián)關(guān)系,這對(duì)于提取關(guān)鍵線索、提高辦案效率具有非常重要的現(xiàn)實(shí)意義,更對(duì)于優(yōu)化警力部署、提前制定預(yù)案,將違法犯罪事件扼殺在萌芽狀態(tài)具有重大指導(dǎo)意義。

1、以知識(shí)圖譜來(lái)整合各類數(shù)據(jù):與美國(guó)情報(bào)界一樣,公安當(dāng)前的信息分散、孤立,部分信息不一定準(zhǔn)確,大數(shù)據(jù)本身的特點(diǎn)就是價(jià)值密度低、參差不起,龐雜多樣。因此,梳理公安的知識(shí)體系,將各類數(shù)據(jù)庫(kù)整合為統(tǒng)一的知識(shí)圖譜,以國(guó)際統(tǒng)一的本體網(wǎng)絡(luò)語(yǔ)言O(shè)WL表示知識(shí),并利用知識(shí)圖譜技術(shù)實(shí)現(xiàn)公安大數(shù)據(jù)的推理與應(yīng)用;

2、構(gòu)建公安大數(shù)據(jù)的業(yè)務(wù)平臺(tái),而不是簡(jiǎn)單的信息系統(tǒng):與一般的公安信息系統(tǒng)不一樣,我們需要提供并不是一個(gè)傻瓜式的查詢輸出系統(tǒng),而是一個(gè)較好的工作平臺(tái),利用人機(jī)接口,輔助警方從復(fù)雜大數(shù)據(jù)中發(fā)現(xiàn)清晰的線索,幫助得到輔助問(wèn)題的答案。簡(jiǎn)單的打個(gè)比方來(lái)說(shuō),公安大數(shù)據(jù)平臺(tái)提供的不是直接的魚(yú),而是釣魚(yú)的工具與方法。因此,公安的大數(shù)據(jù)平臺(tái)不能做成簡(jiǎn)單的查詢系統(tǒng),而是業(yè)務(wù)平臺(tái),可以快速簡(jiǎn)便地開(kāi)發(fā)各類SaaS(軟件即服務(wù))應(yīng)用,警務(wù)人員可以查詢信息,還可以簡(jiǎn)單靈活地組合各類模塊,將業(yè)務(wù)人員的經(jīng)驗(yàn)與技術(shù)人員的大數(shù)據(jù)技術(shù)緊密結(jié)合。

3、實(shí)施創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略,突破已有的思維定勢(shì),大力引進(jìn)公安大數(shù)據(jù)相關(guān)的知識(shí)圖譜技術(shù)、大數(shù)據(jù)可視化、語(yǔ)義分析計(jì)算等前沿技術(shù)。可以將公安大數(shù)據(jù)脫敏后大力開(kāi)放,供國(guó)內(nèi)專家學(xué)者作為研究開(kāi)發(fā)使用,廣泛地獲取外腦支撐。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)