2017年11月27日至12月1日,亞馬遜在拉斯維加斯舉辦年度的“re:INVENT”大會,發(fā)布許多新服務(wù)、硬件,也帶來許多開發(fā)者和AWS的專家們之間交流的機會。在人工智能、機器學習如此火熱的年代,亞馬遜AWS也發(fā)布了以 SageMaker 為重點的多個機器學習服務(wù)。雷鋒網(wǎng) AI 科技評論把相關(guān)情況簡單介紹如下。
一個新的機器學習云服務(wù)
云服務(wù)的意義是把傳統(tǒng)來講非常復雜的軟件管理流程以及IT硬件管理流程一股腦丟掉,讓企業(yè)只需要關(guān)注于自己真正的業(yè)務(wù),而且還能方便地隨時擴大規(guī)模。如今,機器學習受到了開發(fā)者們越來越多的關(guān)注,而它也同樣也會遇到軟硬件環(huán)境的配置的問題。AWS看到了這種需求,也就打算站出來擺平這其中的種種困難。
在這次“re:INVENT 2017”大會上,亞馬遜就正式宣布了自己的機器學習云服務(wù) SageMaker,它會給開發(fā)人員和數(shù)據(jù)科學家們提供一個新的框架,讓他們方便地管理機器學習模型相關(guān)的整個過程,很多以往躲不掉的基礎(chǔ)性工作現(xiàn)在都可以交給AWS完成。
AWS的高級技術(shù)人員 Randall Hunt 同步發(fā)出一篇博客介紹了一些技術(shù)細節(jié)。他也介紹道,SageMaker的目的就是建立一個開發(fā)框架,在它的幫助下可以讓企業(yè)更快地把機器學習集成到自己的新應(yīng)用中。“Amazon SageMaker 是一個帶有完全的管理能力的端到端機器學習服務(wù),它可以讓數(shù)據(jù)科學家、開發(fā)者、機器學習專家們快速地建立、訓練、運行大規(guī)模的機器學習模型”。
在發(fā)布會上,AWS CEO Andy Jassy 的介紹是“讓每天都需要和機器學習打交道的開發(fā)者們方便地訓練和部署機器學習模型”。
認識一下新工具
AWS的這個新服務(wù)可以分成三個主要部分。
第一部分,授權(quán)。無需配置就可以把標準的 Jupyter 編輯器作為集成開發(fā)環(huán)境(IDE),執(zhí)行數(shù)據(jù)查看、數(shù)據(jù)清洗、預處理等等任務(wù)。這些任務(wù)可以在通用型的服務(wù)器上運行,當然也可以用帶有GPU的服務(wù)器。
第二部分,模型訓練。在這里,亞馬遜提供了分布式的模型構(gòu)建、訓練和驗證服務(wù)。SegeMaker里會自帶一些常用的監(jiān)督學習和無監(jiān)督學習算法以及框架,用戶也可以借助Docker容器創(chuàng)建自己的訓練算法。訓練過程可以在幾十臺服務(wù)器上分布式運行,以提供更快的訓練速度。訓練數(shù)據(jù)會從S3云存儲服務(wù)器讀取,模型產(chǎn)生的數(shù)據(jù)同樣也會存在S3服務(wù)器上;這些數(shù)據(jù)主要是獨立于訓練數(shù)據(jù)的模型參數(shù),而不是可以執(zhí)行的、能夠直接用于推理任務(wù)的代碼。這種仔細思考之后的設(shè)計選擇,使得在 SegeMaker 中訓練的模型可以很方便地部署到其它平臺上去(比如物聯(lián)網(wǎng)設(shè)備中)
第三部分,模型承載。帶有HTTPs接口的模型承載服務(wù)可以調(diào)用設(shè)定好的模型,得到實時的推理結(jié)果。這些承載接口支持拓展,可以擴大規(guī)模、支持更密集的訪問,也可以設(shè)置為A/B對比,同時測試多個不同模型的結(jié)果。和前面一樣,這些接入點可以用內(nèi)嵌的SDK構(gòu)建,也可以通過Docker寫入自己的配置。
延續(xù)的一站式體驗
在發(fā)布會的演講中,Jassy重點強調(diào)了 SageMaker 的高靈活性。既可以用現(xiàn)成的工具,也可以構(gòu)建自己的新工具。不管哪種情況下,SageMaker 都能夠處理熱門的算法,不受來源的限制。
在 Constellation Research的副總裁、高級分析師 Holger Mueller 看來,這種靈活性是一柄雙刃劍。“SageMaker大幅度減少了企業(yè)構(gòu)建機器學習應(yīng)用所需的工作量、知識水平以及花費的精力。但同時這也意味著AWS是背后的那個搞定一切的人,而且在想方設(shè)法把它的云服務(wù)用戶留下來、把計算和數(shù)據(jù)負載留下來。”他覺得AWS要是野心足夠大,可能還會發(fā)布一個自己的神經(jīng)網(wǎng)絡(luò)開發(fā)平臺(像TensorFlow那樣的)。不過目前還沒有任何跡象。
不管怎么說,亞馬遜已經(jīng)打算接手運行模型所需的所有基礎(chǔ)設(shè)施,以及幫用戶自動處理節(jié)點掉線、擴容以及安全補丁等等問題。
Jassy說,一旦模型準備好了,就可以在SageMaker上把它用在任意別的服務(wù)中。“對數(shù)據(jù)科學家和開發(fā)者來說這事意義重大”。
另外,發(fā)布會上同時還發(fā)布了機器學習可編程攝像頭DeepLens、輕量機器學習運行環(huán)境Greengrass ML Inference、視頻內(nèi)容識別Rekognition Video、音頻轉(zhuǎn)文字Transcribe、語言翻譯Translate、語言識別Comprehend等多個機器學習服務(wù),與已有的圖像識別Rekognition Image、聊天機器人Lex、文字轉(zhuǎn)語音Polly一同構(gòu)成了強大完善的可用服務(wù)。
今天開始AWS就會開始免費提供SageMaker,作為免費服務(wù)策略的一部分。在達到一定程度之后,SageMaker也就會開始根據(jù)用量和地區(qū)開始收費了。
SageMaker主頁:https://aws.amazon.com/sagemaker/
SageMaker使用介紹:https://aws.amazon.com/cn/blogs/aws/sagemaker/