亚洲av无码成人精品区毛片,亚洲精品无码专区在线1080P

華為昇騰師資培訓沙龍杭州場 | MindSpore開源框架公開四大關鍵特性

責任編輯：xfuesx

2020-08-19 16:45:06

摘自：CSDN

隨著人工智能技術的快速發(fā)展與廣泛應用，相關專業(yè)人才缺口日益增大。

為了助力高校人工智能領域人才培養(yǎng)及學科建設，華為通過昇騰師資培訓沙龍，面向廣大高校教師提供昇騰全棧全場景AI技術知識點培訓。

華為杭州研究所所長龐云光

在近日華為舉辦的昇騰師資培訓沙龍 · 杭州場上，華為杭州研究所所長龐云光表示，構(gòu)建構(gòu)建萬物互聯(lián)的世界需要充足的算力，基于此，華為一直致力于打造鯤鵬和昇騰生態(tài)，通過培訓讓高校成員也能接觸到鯤鵬和昇騰計算體系，為中國自主的計算產(chǎn)業(yè)打下良好基礎。

浙江大學計算機學院副院長、人工智能研究所所長吳飛教授

浙江大學計算機學院副院長、人工智能研究所所長吳飛教授認為，人工智能技術是引領新一輪科技革命、產(chǎn)業(yè)變革和社會發(fā)展的戰(zhàn)略性技術，具有溢出帶動性很強的頭雁效應，高校一定要跟企業(yè)、政府聯(lián)合，才能推動人工智能人才的發(fā)展。

華為海思杭研分部部長王海彬

隨后，華為海思杭研分部部長王海彬介紹了“沃土高校教研扶持計劃”。其中的昇騰高校合作計劃，旨在幫助高校使用華為全棧AI的技術能力及算力資源，開展高校人工智能學科建設，培養(yǎng)產(chǎn)業(yè)轉(zhuǎn)型和創(chuàng)新發(fā)展所需要的新工科人才；而昇騰高校生態(tài)技術合作旨在幫助科研院所培養(yǎng)AI領域的研究創(chuàng)新人才，具體包括算子眾籌、模型市場、應用案例等技術合作。

作為當天亮點演講之一，華為技術專家鮑翀介紹了MindSpore開源AI計算框架，他從整體框架、軟件架構(gòu)、關鍵技術和應用場景四大層面進行了詳細解讀。

眾所周知，開發(fā)門檻高、運營成本高、部署時間長是AI從行業(yè)研究到場景應用面臨的巨大挑戰(zhàn)。為了幫助開發(fā)者跨越應用鴻溝，更簡單、高效實現(xiàn)AI應用開發(fā)和部署，今年3月底開源的MindSpore框架，提出了新編程范式、新執(zhí)行模式、新協(xié)作方式三大技術創(chuàng)新。

MindSpore集成和借鑒了業(yè)界主流框架的優(yōu)勢，不過相比同類產(chǎn)品，MindSpore有三大特點：一是開發(fā)態(tài)友好，AI算法即代碼；運行高效，與昇騰芯片對接；部署靈活，全場景按需協(xié)同。

架構(gòu)層面，MindSpore由MindSpore Extend、MindExpress、MindCompiler、MindRT等部分組成。此外，鮑翀著重介紹了MindSpore的自動并行、二階優(yōu)化、圖算融合、全場景部署和協(xié)同四大特性。

GitHub鏈接：

https://gitee.com/mindspore/mindspore

視頻回放：

https://live.csdn.net/room/Hansen666666/74Jl5LcE

整體介紹

MindSpore對標的是TensorFlow，PyTorch，它對下通過CANN發(fā)揮芯片的能力，對上提供網(wǎng)絡編程API，以此開發(fā)AI應用程序，并且支持ModelArts服務。

就其內(nèi)部而言，MindSpore的上層提供全場景的統(tǒng)一API，讓用戶基于MindSpore開發(fā)AI網(wǎng)絡，也可以用MindSpore的接口進行AI訓練和推理執(zhí)行，其中提供的自動微分等AI基礎能力，實現(xiàn)AI算法即代碼。

中間層會提供即時編譯器，通過對計算圖的編譯優(yōu)化，讓程序能在昇騰芯片上高效執(zhí)行，讓AI網(wǎng)絡發(fā)揮出其算力能力。

同時，MindSpore是一體化的部署系統(tǒng)，支持端、云側(cè)的部署使用，并且能夠?qū)崿F(xiàn)分布式協(xié)同。

軟件架構(gòu)

MindSpore Extend是基于MindSpore的領域庫，用于構(gòu)建很多領域框架比如GNN、深度概率編程、微分方程等。

Model Zoo提供一些業(yè)界常用的網(wǎng)絡，用戶直接使用而無需重新開發(fā)。

MindExpress是一個Python前端，包含High-Level和Low-Level兩層API設計，High-Level API提供訓練推理接口、混合精度、并行等控制接口，讓用戶實現(xiàn)整網(wǎng)流程的控制。Low-Level API提供基礎的Tensor、優(yōu)化器等API，而Executor則提供計算的執(zhí)行控制。

MindCompiler提供面向MindIR的圖級即時編譯能力，包括自動并行、二階優(yōu)化，也有硬件方面的優(yōu)化，可以讓程序在Ascend上高效執(zhí)行。它是MindSpore的一個重要的子系統(tǒng)。

MindIR是MindSpore的一個核心中間表達，通過嵌套式的表達，很簡便地支持不同語言的推導。

MindRT 子系統(tǒng)是一個統(tǒng)一的運行時系統(tǒng)，支持端、云多種設備形態(tài)，支持統(tǒng)一調(diào)度管理和內(nèi)存池化管理，這是復雜網(wǎng)絡能在異構(gòu)硬件上運行的關鍵技術。它可與昇騰芯片進行深度優(yōu)化，整圖下沉到卡上（on-device執(zhí)行），減小host-device交互開銷，提高深度學習訓練的效率。

MindData子系統(tǒng)負責高效執(zhí)行訓練數(shù)據(jù)處理pipeline，與計算形成流水，數(shù)據(jù)及時導入訓練。它的關鍵功能包括用流水線+并行方式，可提高數(shù)據(jù)處理吞吐量。還提供自研的數(shù)據(jù)格式MindRecord，自帶元數(shù)據(jù)，通過聚合存儲讓數(shù)據(jù)檢索更快。用戶還可以自定義Python算子，進行靈活定制。

MindInsight子系統(tǒng)是MindSpore的調(diào)試調(diào)優(yōu)子系統(tǒng)，提供訓練過程可視化、模型溯源、debugger和性能profiling功能，用戶可以很方便觀測系統(tǒng)的執(zhí)行。

MindArmour子系統(tǒng)可針對可信AI的各個領域提供全面、有效、易用的評測工具和增強方法。一方面，它提供測試框架的建模，用一系列AI模型去驗證系統(tǒng)的安全性和隱私保護能力，另一方面，它對一些常用的AI工具提供了標準安全升級手段。

關鍵技術

簡單網(wǎng)絡的常規(guī)使用方法就是數(shù)據(jù)并行，但超大模型與超大數(shù)據(jù)集的分布式訓練，需要通過數(shù)據(jù)并行+模型并行的混合并行方式，才能高效訓練網(wǎng)絡。模型切分方式是復雜的，但對外提供簡單的API去描述。

在算法上，二階的計算量遠大于一階，二階優(yōu)化方法可以有效加速模型收斂，減少迭代次數(shù)，同時會引入大量復雜計算，限制其在深度模型訓練中的廣泛應用。MindSpore通過軟硬協(xié)同的高性能算子解決了二階信息矩陣逆矩陣的計算問題。

為了給用戶提供靈活可配的編程能力，需要一系列完備的細粒度表達的算子，但這并不意味著這些算子能在異構(gòu)硬件上以最高性能進行運行，這就需要一些融合能力。MindSpore對上通過細粒度算子，以提升編程的靈活性，對下通過其自動融合能力來提升性能進行平衡。

AI的商用是復雜的，既有云端大規(guī)模集群的訓練，又有端側(cè)對于輕量級、高性能的追求。MindSpore提供了云、端側(cè)的訓練和推理能力，并且使用了相同的算子和對外的接口，實現(xiàn)端、云協(xié)同執(zhí)行，同時提供在訓練時的量化感知訓練，訓練出的模型可以直接部署在端側(cè)進行輕量化的推理，還具有混合執(zhí)行的能力。