數(shù)據(jù)和算力如此珍貴,人工智能的未來(lái)在區(qū)塊鏈上!

責(zé)任編輯:zsheng

2018-09-13 11:23:44

摘自:巴比特資訊

我的職業(yè)生涯的開始,我曾經(jīng)是一名數(shù)據(jù)科學(xué)家,我早期的項(xiàng)目之一就是分析阿爾茨海默病患者的原始人類基因數(shù)據(jù)。當(dāng)時(shí)這個(gè)項(xiàng)目有許多事情令我們深感痛苦;我們不得不逐個(gè)招募參與者加入我們的項(xiàng)目,對(duì)基因組進(jìn)行測(cè)序以獲得數(shù)據(jù),我們從研究經(jīng)費(fèi)中花費(fèi)超過(guò)一百萬(wàn)。

在我的職業(yè)生涯的開始,我曾經(jīng)是一名數(shù)據(jù)科學(xué)家,我早期的項(xiàng)目之一就是分析阿爾茨海默病患者的原始人類基因數(shù)據(jù)。當(dāng)時(shí)這個(gè)項(xiàng)目有許多事情令我們深感痛苦;我們不得不逐個(gè)招募參與者加入我們的項(xiàng)目,對(duì)基因組進(jìn)行測(cè)序以獲得數(shù)據(jù),我們從研究經(jīng)費(fèi)中花費(fèi)超過(guò)一百萬(wàn)。我們不得不自己搭建一個(gè)昂貴的計(jì)算集群,甚至連每次迭代的簡(jiǎn)單回歸分析也要耗費(fèi)數(shù)天才能完成。我對(duì)這事印象特別深刻:花了幾個(gè)禮拜的時(shí)間來(lái)設(shè)計(jì)我們的工程數(shù)據(jù)結(jié)構(gòu),優(yōu)化數(shù)據(jù)庫(kù)設(shè)置,手工重寫分析算法(因?yàn)槲覀兂隽?RAM 的限制),先是為了分析進(jìn)行計(jì)算,然后要求幾天完成而不是幾個(gè)月。結(jié)果從那以后,發(fā)生了很多變化。

目前,風(fēng)頭正勁的三種企業(yè)技術(shù)無(wú)疑是人工智能、區(qū)塊鏈和物聯(lián)網(wǎng),它們背后的驅(qū)動(dòng)因素都是數(shù)據(jù);人們甚至宣稱:“數(shù)據(jù)就是新的石油!”新數(shù)據(jù)能夠使數(shù)據(jù)的收集、共享、分析以及基于這些數(shù)據(jù)的決策自動(dòng)化成為可能,而這在以前基本上是一個(gè)數(shù)據(jù)價(jià)值鏈。

數(shù)據(jù)價(jià)值鏈

在這三種技術(shù)中,區(qū)塊鏈技術(shù)是將各種技術(shù)組合在一起,并且還出現(xiàn)了一個(gè)由數(shù)據(jù)驅(qū)動(dòng)的區(qū)塊鏈項(xiàng)目組成的完整生態(tài)系統(tǒng)。這種分散的生態(tài)系統(tǒng)旨在鼓勵(lì)人們貢獻(xiàn)數(shù)據(jù)、技術(shù)資源和努力:

第一代項(xiàng)目專注于創(chuàng)建連接和集成數(shù)據(jù)的數(shù)據(jù)基礎(chǔ)設(shè)施,如 IOTA。IoT Chain、IoTex(用于連接的 IoT 設(shè)備的數(shù)據(jù))或 Streamr(用于數(shù)據(jù)流)。

第二代項(xiàng)目專注于創(chuàng)建數(shù)據(jù)市場(chǎng),例如 Ocean 協(xié)議、SingularityNet 或 Fysical,以及群體數(shù)據(jù)標(biāo)注平臺(tái),例如 Gems 或 Dbrain。

隨著解決方案涵蓋了數(shù)據(jù)價(jià)值鏈成熟的第一步,我的朋友 @sherm8n 和 Rahul 開始研究 Raven 協(xié)議,這是第一個(gè)第三代項(xiàng)目,它將縮小在分析階段的一個(gè)重要差距:用于人工智能訓(xùn)練的計(jì)算資源。

據(jù) OpenAI 最近的一份報(bào)告稱(http://u6.gg/e6XWV):“在最大規(guī)模的人工智能訓(xùn)練中使用的計(jì)算量呈指數(shù)級(jí)增長(zhǎng),增加了 3.5 個(gè)月的時(shí)間”,這是自2012年以來(lái)的 30 萬(wàn)倍增長(zhǎng)。

OpenAI 報(bào)告:人工智能與計(jì)算

由此產(chǎn)生的直接后果是:

更高的成本,因?yàn)槭褂玫挠?jì)算速度比供應(yīng)更快;

更長(zhǎng)的新解決方案的交付時(shí)間,因?yàn)槟P陀?xùn)練所需時(shí)間更長(zhǎng);

更高的市場(chǎng)準(zhǔn)入壁壘,更難獲得資金和資源。

對(duì)小型企業(yè)和研究人員來(lái)說(shuō),這些后果是可怕的,因?yàn)檫@樣一來(lái),限制了他們?cè)跊](méi)有大量資金的情況下創(chuàng)建有競(jìng)爭(zhēng)力的模型的能力。就算有資金,如果供應(yīng)商視他們?yōu)楦?jìng)爭(zhēng)對(duì)手,他們就有可能被列入資源黑名單。

但是,考慮到資源的增長(zhǎng)率和人工智能工作的增長(zhǎng)率都在成倍增加,即便是大型企業(yè)也會(huì)感到成本增長(zhǎng)帶來(lái)的壓力。在過(guò)去的幾個(gè)月里,我與《財(cái)富》500 強(qiáng)公司的一些首席數(shù)據(jù)官促膝長(zhǎng)談,盡管他們認(rèn)為這一問(wèn)題不足為慮,但也不得不承認(rèn),可以用比購(gòu)買 HPC 資源更好的方式進(jìn)行投資。

區(qū)塊鏈生態(tài)系統(tǒng) 的美妙之處在于,它可以利用其他未使用的資源,完成本不可能進(jìn)行的貿(mào)易資源的交易,還可以使人們參加原本無(wú)法參與的市場(chǎng)活動(dòng)。從經(jīng)濟(jì)角度來(lái)看,它提高了對(duì)現(xiàn)有資源的利用率。

在第一代和第二代數(shù)據(jù)區(qū)塊鏈解決方案中,若使用這種解決方案,可以降低訪問(wèn)帶注釋的質(zhì)量數(shù)據(jù)的障礙,Raven 協(xié)議將解決這種由訓(xùn)練帶來(lái)的成本挑戰(zhàn)。阻礙這條眾所周知的鏈得以維系的鴻溝,正被 Raven 協(xié)議抹平,而這條鏈的堅(jiān)固程度取決于它最薄弱的環(huán)節(jié)(提示:這是數(shù)據(jù)價(jià)值鏈)。

總之,這個(gè)區(qū)塊鏈數(shù)據(jù)生態(tài)系統(tǒng)中的解決方案創(chuàng)造了新的機(jī)會(huì)并降低了成本。尤其是第二個(gè)關(guān)鍵因素,它降低了新創(chuàng)新的準(zhǔn)入門檻,讓更多的人能夠做出貢獻(xiàn),從而有望加速我們整個(gè)社會(huì)的進(jìn)步。

如果上面所說(shuō)的一切聽上去有點(diǎn)抽象的話,那么你只需看看人工智能可以發(fā)揮作用的領(lǐng)域就會(huì)明白了:醫(yī)療。我們的全球醫(yī)療體系正陷入嚴(yán)重的困境。成本正呈爆炸式增長(zhǎng),盡管成本已經(jīng)達(dá)到一個(gè)國(guó)家 GDP 的 18%,但預(yù)計(jì)未來(lái)十年將會(huì)增長(zhǎng) 117%。與此同時(shí),新藥的研究也正面臨風(fēng)雨飄搖的處境。

為了保證平價(jià)醫(yī)保,我們的醫(yī)療系統(tǒng)需要大量的創(chuàng)新才能實(shí)現(xiàn)這一點(diǎn),人工智能解決方案有很多可以幫助達(dá)到這一目標(biāo)。因此,醫(yī)療保健是人工智能投資最多的行業(yè),多年來(lái)一直如此。

CBInsights:2018 年人工智能狀況

然而,數(shù)據(jù)獲取之難,成本之高昂,帶來(lái)了準(zhǔn)入壁壘,限制了現(xiàn)有企業(yè)和其他大型企業(yè)對(duì)新解決方案的研究。區(qū)塊鏈數(shù)據(jù)生態(tài)系統(tǒng)改變了這一狀況,為我們帶來(lái)了及時(shí)找到正確解決方案的機(jī)會(huì)。Raven 協(xié)議可能不會(huì)是最后一個(gè)這樣的機(jī)會(huì),但卻是實(shí)現(xiàn)這一目標(biāo)的重要基石。

Raven 協(xié)議簡(jiǎn)介

對(duì)于深度學(xué)習(xí)研究者來(lái)說(shuō),計(jì)算能力非常關(guān)鍵,但 CPU 和 GPU 資源往往是有限的。Raven 協(xié)議正是解決這一問(wèn)題的良方。Raven 協(xié)議可以利用空閑的計(jì)算資源來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),而這些資源均來(lái)自個(gè)人用戶設(shè)備的分享。分享空閑計(jì)算資源進(jìn)行深度學(xué)習(xí)訓(xùn)練的概念可以為資源使用者節(jié)約大量的研究成本,而資源的貢獻(xiàn)者則可以得到 Raven 幣(RAV)作為補(bǔ)償 / 回報(bào)。

近年來(lái),盡管人工智能和機(jī)器學(xué)習(xí)領(lǐng)域里關(guān)于民主化和去中心化的呼聲越來(lái)越高,這些領(lǐng)域中的項(xiàng)目開發(fā)卻沒(méi)有真正地應(yīng)用這些概念。開發(fā)者和企業(yè)家們形成了一種思維定式,即只要大量使用深度學(xué)習(xí)作為工具,就能改善產(chǎn)品質(zhì)量和用戶體驗(yàn)。然而,深度學(xué)習(xí)項(xiàng)目的經(jīng)濟(jì)規(guī)模化、產(chǎn)品化會(huì)受到計(jì)算資源的限制。這些限制對(duì)于大型科技公司當(dāng)然不是問(wèn)題。大公司有條件訪問(wèn)海量數(shù)據(jù),而且坐擁龐大的計(jì)算資源,完全可以輕松應(yīng)對(duì)計(jì)算密集型任務(wù),從而推進(jìn)自己的 AI 研發(fā)工作。同時(shí),他們提出了 AI 的“民主化”概念,用以補(bǔ)償他們所欠下的技術(shù)債務(wù),并聲稱這會(huì)對(duì)廣大 AI 社區(qū)有所幫助。因此,AI 社區(qū)便擁有了訪問(wèn)大型 GPU 集群的權(quán)限,并有機(jī)會(huì)學(xué)習(xí)機(jī)器學(xué)習(xí)技術(shù)、使用開源框架以及觀看 MOOC 在線課程。

然而,這場(chǎng)技術(shù)狂歡之下隱藏的問(wèn)題卻鮮有人發(fā)現(xiàn)。對(duì)高級(jí) AI 解決方案的突然增長(zhǎng)的需求使得這一問(wèn)題凸顯出來(lái)――計(jì)算能力的經(jīng)濟(jì)規(guī)?;?/p>

當(dāng)前深度學(xué)習(xí)存在的困境

在一個(gè)普通的、計(jì)算能力有限的計(jì)算機(jī)上訓(xùn)練一個(gè) AI/ML 模型往往需要數(shù)周甚至數(shù)月的時(shí)間。對(duì)于更好的計(jì)算芯片(GPU)的需求是一個(gè)必須考慮的成本因素。密集和頻繁地使用高速計(jì)算資源來(lái)操作計(jì)算數(shù)據(jù)、計(jì)算和更新深度神經(jīng)網(wǎng)絡(luò)中不同神經(jīng)元的梯度,其需要的成本往往是小型到中型公司和開發(fā)者無(wú)法擔(dān)負(fù)的。云計(jì)算在一定程度上對(duì)這一問(wèn)題有所幫助,但獲取云資源來(lái)支持 AI 研發(fā)仍是一筆難以負(fù)擔(dān)的開支。目前,在絕大部分云計(jì)算平臺(tái)上,每小時(shí)所需支付的金額都在 2.5~17 美元之間。

對(duì)于中小型企業(yè)來(lái)說(shuō),要解決算力資源問(wèn)題最簡(jiǎn)單的方式是通過(guò)眾包。眾包這一概念從很早之前便開始挑戰(zhàn)傳統(tǒng)經(jīng)營(yíng)模式,就像《圣經(jīng)》中并不強(qiáng)壯的勇士大衛(wèi)戰(zhàn)勝巨人哥利亞一樣,以小勝大、以弱勝?gòu)?qiáng),使得計(jì)算資源服務(wù)更加便宜、更加容易獲得。Uber 和 Airbnbs 就是通過(guò)眾包存活下來(lái)的“大衛(wèi)”的代表。AI 世界也注意到了這種優(yōu)秀的模式。Kaggle 平臺(tái)的開發(fā)就是通過(guò)眾包,利用海洋協(xié)議(Ocean Protocol)來(lái)收集數(shù)據(jù)。AI 生態(tài)系統(tǒng)非常歡迎這種新方法。而 Raven 協(xié)議的目標(biāo)就是將眾包火炬?zhèn)鬟f下去,通過(guò)對(duì)空閑計(jì)算資源的充分利用,建立第一個(gè)真正去中心化、分布式的深度學(xué)習(xí)訓(xùn)練系統(tǒng),使深度學(xué)習(xí)模型的訓(xùn)練更為經(jīng)濟(jì)。

希望進(jìn)行技術(shù)革新的 AI 愛好者和企業(yè)家們現(xiàn)在可以從 AI 研究中有所收獲了,因?yàn)楸姲Y源可以解決計(jì)算資源短缺難題。AI 社區(qū)中的許多成員,如 Singularity.net、Ocean Protocol、OpenMind、Deep Brain Chain 等等,都建立起了資源共享平臺(tái),用于在安全的區(qū)塊鏈內(nèi)共享計(jì)算和數(shù)據(jù)資源,進(jìn)而助力機(jī)器學(xué)習(xí) / 深度學(xué)習(xí)算法向商業(yè)模型的轉(zhuǎn)變。

Raven 協(xié)議成功建立起了去中心化、激勵(lì)性和安全的機(jī)器學(xué)習(xí) / 深度學(xué)習(xí)模型訓(xùn)練機(jī)制。

深度神經(jīng)網(wǎng)絡(luò)的“去中心化、分布式”訓(xùn)練

經(jīng)過(guò)幾十年的發(fā)展,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相關(guān)算法已進(jìn)化為深度神經(jīng)網(wǎng)絡(luò)(DNN),并在各種應(yīng)用領(lǐng)域取得了巨大成功,尤其是模式識(shí)別領(lǐng)域。

這種基于訓(xùn)練的方法的理論局限是,一個(gè) DNN 架構(gòu)怎樣在一個(gè)節(jié)點(diǎn)上訓(xùn)練、在多個(gè)不同的服務(wù)器上應(yīng)用,或分割成數(shù)個(gè)部分并分發(fā)到數(shù)個(gè)服務(wù)器上訓(xùn)練。顯然,這種訓(xùn)練方式極其消耗算力,所以只能在強(qiáng)大的 GPU 和服務(wù)器上進(jìn)行操作。Raven 解決這一問(wèn)題的方式是裝配動(dòng)態(tài)節(jié)點(diǎn)分配機(jī)制,對(duì)網(wǎng)絡(luò)中的設(shè)備進(jìn)行分工。這樣,Raven 就可以消除主節(jié)點(diǎn)的所有依賴,并顯著地減少任務(wù)所需的計(jì)算能力。

Raven 協(xié)議相較于其他相似規(guī)則的突出之處在于它處理異步更新及數(shù)據(jù)碎片的并行所產(chǎn)生的延遲的方法。這種延遲問(wèn)題用其他方案無(wú)法解決,而且延遲在模型訓(xùn)練過(guò)程中是一個(gè)主要耗時(shí)因素,可能會(huì)消耗數(shù)周甚至數(shù)月。即使是擁有大量計(jì)算資源,對(duì)這一問(wèn)題也無(wú)能為力。另外,如果想要讓數(shù)據(jù)實(shí)現(xiàn)并行化,用戶必須擁有可處理龐大計(jì)算資源的平臺(tái)。這一因素使得規(guī)模較小的用戶群無(wú)法訪問(wèn)該平臺(tái)。

Raven 可以成功地將模型訓(xùn)練過(guò)程中所需的數(shù)量龐大的小型異步運(yùn)算,搭建為一個(gè)動(dòng)態(tài)圖。

空閑計(jì)算能力的激勵(lì)分享機(jī)制

Raven 協(xié)議允許個(gè)人用戶貢獻(xiàn)、分享空閑設(shè)備的計(jì)算資源,使得研究者對(duì)性能強(qiáng)大的 CPU 或 GPU 硬件的需求降到最低。分享空閑計(jì)算資源來(lái)進(jìn)行訓(xùn)練的概念,會(huì)大大降低成本。作為補(bǔ)償 / 回報(bào),計(jì)算資源的分享者們會(huì)得到 Raven 幣(RAV)。

只需要在以太坊區(qū)塊鏈中通過(guò)智能合同進(jìn)行兩步簡(jiǎn)單的校驗(yàn),這種激勵(lì)機(jī)制便可實(shí)現(xiàn)。

未來(lái)的趨勢(shì)

經(jīng)濟(jì)的 AI 規(guī)?;头e極的實(shí)驗(yàn)

由于沒(méi)有資本支出,Raven 所提供的計(jì)算服務(wù)的價(jià)格將遠(yuǎn)低于市場(chǎng)上的任何供應(yīng)商。由于在貢獻(xiàn)者 / 主機(jī)節(jié)點(diǎn)上沒(méi)有任何依賴,資源的獲取將變得更為高效和快捷。使用 Raven 的公司可以進(jìn)行在線 AI 實(shí)驗(yàn),并根據(jù)市場(chǎng)需求對(duì) AI 產(chǎn)品進(jìn)行規(guī)?;?,而無(wú)需將大量的錢投進(jìn)硬件這個(gè)無(wú)底洞里。

統(tǒng)一的生態(tài)系統(tǒng)

Raven 已經(jīng)認(rèn)識(shí)到,接下來(lái)的最大問(wèn)題是如何在生態(tài)系統(tǒng)中交易已有合作者的數(shù)字貨幣。為確保使用方便,RAV 幣將在 Raven 生態(tài)系統(tǒng)內(nèi)和其他合作服務(wù)間均可交易。所有人都仍可以在 Raven 內(nèi)部使用其他合作服務(wù)幣。這可以使區(qū)塊鏈中的其他 AI 社區(qū)積極參與 Raven 協(xié)議。

絕大部分人還沒(méi)有意識(shí)到,AI 社區(qū)中的一小部分人正在為使 AI 觸手可得、為所有人所用而不懈奮斗著。這是因?yàn)樗麄儓?jiān)信,AI 將會(huì)以我們可能想像不到的各種方式融入我們的生活,變成我們生活的一部分。常規(guī)的 AI 公司以及想要在自己系統(tǒng)中應(yīng)用 AI 的公司,都在努力用 AI 改善著我們的生活,但他們可能會(huì)由于資源的局限,難以大展拳腳。Raven 的目標(biāo)就是幫助這樣的個(gè)人及公司,讓他們能夠經(jīng)濟(jì)地充分發(fā)掘自身在 AI 方面的潛力,實(shí)現(xiàn) AI 夢(mèng)想。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)