人工智能的發(fā)展正經(jīng)歷從感知到認(rèn)知,從單模到多模,從云側(cè)到端云協(xié)同的演進。此次,全面升級的華為云HiLens推出多模態(tài)開發(fā)環(huán)境HiLens Studio、開發(fā)框架HiLens Framework及技能市場HiLens Skill Market。
HiLens Studio:華為云HiLens在云側(cè)新推出開發(fā)環(huán)境HiLens Studio,開發(fā)者可以在線完成開發(fā)、調(diào)試、模擬運行、部署和發(fā)布AI技能等功能,免去了線下環(huán)境搭建、線上線下切換等復(fù)雜步驟,沒有硬件套件也可以完成多模態(tài)AI應(yīng)用開發(fā)。傳統(tǒng)的AI應(yīng)用開發(fā)和部署意味著高成本和高門檻,借助HiLens Studio,AI應(yīng)用開發(fā)和部署僅需要三步:
在華為云一站式AI開發(fā)管理平臺ModelArts進行模型訓(xùn)練與轉(zhuǎn)換,然后到HiLens Studio開發(fā)和調(diào)試技能,并可以在模擬器中查看技能輸出效果,完成后可以一鍵部署到HiLens Kit等端側(cè)設(shè)備,整個過程均在云側(cè)完成。Studio中的模擬器基于華為昇騰NPU,與HiLens Kit一致,和真實環(huán)境非常接近。
Framework:新推出的多模態(tài)AI應(yīng)用開發(fā)框架HiLens Framework,封裝了多模態(tài)數(shù)據(jù)接入、數(shù)據(jù)處理、模型推理和結(jié)果輸出等多個方便易用的組件,結(jié)合華為自研的昇騰芯片進行了深度性能優(yōu)化,提供了多語言開發(fā)接口,用來開發(fā)AI應(yīng)用代碼更簡潔、流程更清晰。例如,傳統(tǒng)方式的100+行代碼實現(xiàn)的音頻解碼+片段截取+預(yù)處理過程,通過HiLens Framework僅需3行代碼即可以實現(xiàn);20+行代碼實現(xiàn)的模型初始化+模型推理,縮減為僅需2行代碼。
技能市場:華為云HiLens還提供開放的技能市場(HiLens Skill),預(yù)置豐富的各類場景技能和應(yīng)用模板,開發(fā)者可以一鍵安裝部署到端側(cè)進行免費試用,也可以在模板基礎(chǔ)上進行修改、補充更多特性,無須從零開始,可以很快上手。
英國AI公司Emotech聯(lián)合華為云推出多模態(tài)AI英語口語教評解決方案,擁有全球首創(chuàng)的口型與發(fā)音結(jié)合的多模態(tài)技術(shù),具有良好的抗噪、抗干擾能力,多場景適用,相比單模態(tài)評分穩(wěn)定性提高30%。音頻與視頻的多模反饋,讓學(xué)生告別盲聽學(xué)口語時代,提供多感官的互動,使學(xué)習(xí)更加高效。
Emotech團隊在華為開發(fā)者大會2020(Cloud)上演示了如何使用HiLens端云協(xié)同多模態(tài)AI應(yīng)用開發(fā)套件快速開發(fā)一個多模態(tài)口語測評Skill,并把它部署到端側(cè)設(shè)備HiLens Kit上。然后模擬學(xué)生在平板電腦上進行跟讀,多個平板電腦可以把視頻數(shù)據(jù)送到算力強大的HiLens Kit上推理分析,降低時延的同時保護隱私,得到多模態(tài)口語測評得分。
Emotech團隊演示多模態(tài)口語測評Skill開發(fā)
基于華為云HiLens,AI開發(fā)者可以開發(fā)出適用于智慧家庭、智慧教育、智慧門店、智慧工業(yè)、智慧交通等場景的多模態(tài)AI解決方案,快速實現(xiàn)AI應(yīng)用開發(fā)及落地。