• <input id="ooowu"><u id="ooowu"></u></input><object id="ooowu"></object>
    <object id="ooowu"><acronym id="ooowu"></acronym></object><input id="ooowu"><u id="ooowu"></u></input>
  • <object id="ooowu"><u id="ooowu"></u></object>
    <object id="ooowu"><acronym id="ooowu"></acronym></object><input id="ooowu"><u id="ooowu"></u></input>
  • <input id="ooowu"><acronym id="ooowu"></acronym></input>
    <input id="ooowu"><u id="ooowu"></u></input>
  • AI開源浪潮的領軍力量!OPEN AI LAB Edge AI推理框架Tenigne全解讀
    來源:創商網 發布時間:2020-04-14 16:36:41

    最近,國內的人工智能(AI)開源生態突然熱鬧了起來,這廂清華大學剛開源了一個強化學習平臺,那邊華為和曠視又相繼開源了AI計算和深度學習框架。

    從學術界到產業界,“開源”已經成為一個AI領域的關鍵詞。作為計算機行業發展至新興階段的現象之一,開源為AI行業的百花齊放提供了不可或缺的動力。

    一方面,它從授人以魚到授人以漁的轉變,為AI構建了一個開放共進的生態環境,并幫助行業加速AI應用落地;另一方面,它在解決行業實際問題時持續更新和迭代,亦源源不斷地給AI領域輸送重要的技術養料和創造力。

    在這一股股重要的開源力量中,OPEN AI LAB的Tengine值得關注。

    這家誕生于2016年12月的初創公司,經歷三年多的發展,已經連續推出面向AIoT邊緣計算的AI推理加速框架Tengine、一站式端到端解決方案平臺Tengine2等平臺級產品,推動邊緣AI算力、算法及行業方案等環節的深度協作,加速AI技術在細分行業的商業化落地。

    近日,智東西與OPEN AI LAB聯合創始人兼CTO黃明飛做了一次深度對話。對話中,黃明飛還透露,Tengine與開源社區大咖OpenCV有深度合作,通過Tengine普及更多的開發者,惠及更廣的行業應用部署。

    “Tengine”究竟是什么?光芒背后,OPEN AI LAB又以怎樣的定位,投身正在起步的中國AI開源生態?同時,與OpenCV的合作之于AI開源生態又有怎樣的意義和影響?

    ▲OPEN AI LAB聯合創始人、CTO黃明飛

    中國AI開源浪潮背景之下,AIoT激烈的落地戰

    自谷歌深度學習框架TensorFlow拉起開源大旗后,AI的框架開源逐漸成為學術界和產業界的趨勢。TensorFlow之外, Keras、PyTorch、Caffe、Theano、PaddlePaddle、Angel、XDL等AI框架和平臺,相繼發展成開源項目,分別吸引了一批開發者。

    實際上,AI框架和一系列智能開發平臺的開源,與近年來AI面臨的落地挑戰息息相關。

    當下各行各業看似皆可“AI化”,但如何為紛繁復雜的實際應用場景提供有效的解決方案,AI框架和平臺無疑被承載了最大期望,向上要承載不同的算法模型和應用程序,向下要兼容各類芯片和計算機操作系統。

    通過開源吸引上下游廣泛的參與,社區型協作共同發揮作用讓技術迭代更迅速,應用更廣泛,最終實現產業共同繁榮。與此同時,以5G為代表的物聯網(IoT)通訊技術快速發展, AI與IoT融合成智能物聯網(AIoT)。

    在黃明飛看來,由于AIoT技術在行業的普及對低成本、實時性低功耗、高可靠性的需求,以及隱私安全等問題的浮現,AI計算正從云端下移到邊緣節點中,如智慧交通、自動駕駛、智能家居和城市大腦等領域,數以億萬計的邊緣節點和終端設備需要實現本地智能化,稱之為邊緣AI計算。

    邊緣計算的需求對硬件成本、功耗、兼容和易用性提出了較大的挑戰,硬件上面臨著芯片種類復雜、算力利用率低,軟件開發環境復雜、兼容性差等關鍵問題。

    黃明飛談到,如何能簡單快速地實現AI算法模型從云端向下遷移到邊緣節點部署,充分發揮邊緣節點上的芯片算力與硬件性能,已成為AI在行業落地和規模部署經濟性的關鍵所在。

    在這一背景下,OPEN AI LAB的邊緣AI推理框架Tengine備受關注。

    Tengine的核心能力及產業賦能

    (一)Tengine是什么,解決什么問題?

    “如果簡單來形容,它就是一個嵌入式的AI推理框架,幫助算法開發者解決在AI快速產業化落地中遇到的各個瓶頸難題。”黃明飛說到,相比業內系列框架,Tengine有兩個特點,一是物理位置層面,其所關注的重點是嵌入式設備,也就是海量的AIoT應用設備,而非服務器集群;二是業務模式層面,重點在于推理,并非訓練。

    從架構上看,Tengine自上而下主要可分為模型兼容層、基礎工具鏈、模塊化架構層、操作系統層、異構計算層五大框架層級,具有跨算法框架兼容、跨芯片適配、算力異構調度加速、輕量無依賴、一致性開發移植部署工具鏈幾大核心能力,以有效提升AI生產力。

    1、跨OS/算法框架適配

    隨著AI在產業、學術界的快速發展,市面上主流的算法訓練框架蓬勃發展,如TensorFlow、Caffe、PyTorch、MXNet、ONNX、PaddlePaddle等以其各自的優勢,在行業中獲得廣泛使用。

    但對于開發者而言,訓練只是第一步,訓練后獲得推理模型的有效部署才是解決場景問題的關鍵,快速的硬件平臺遷移及高效部署已經成為AIoT產業快速發展的掣肘。

    Tengine目前廣泛支持市面上主流的模型格式,如TensorFlow、Caffe和MXNet,并且通過ONNX模型實現了對PyTorch和PaddlePaddle的支持,讓開發者能更自由地選擇訓練框架,降低了面對不同硬件和場景而遷移平臺的成本。

    在操作系統層面,由于AIoT場景的差異化及非收斂性,Android、Ubuntu、RTOS等各有其適配的產品形態,Tengine同樣在OS層面進行了兼容適配,以簡化AI開發者的開發流程。

    2、跨芯片平臺適配

    算法框架及操作系統之外,一個更為大眾所津津樂道的就是芯片的發展。

    當下AIoT芯片發展百家爭鳴,不同場景需求、性能需求、功耗需求、成本需求,帶來的是芯片廠商的芯片系列的廣泛定義,這也是AIoT產業蓬勃發展的重要特征。

    但芯片的持續創新迭代,對于開發者,特別是占據市場創新能力大半的中小型團隊來說,算法開發、芯片適配、動態資源調度、性能調優往往依賴于龐大且冗余的技術棧能力,直接導致產業化窗口把握、開發成本居高不下、決策周期長等一系列問題。

    為了助力產業提速增效,Tengine為開發者提供跨硬件設備的統一開發平臺,在不同硬件設備上的API都盡可能保持一致,幫助開發者以一致的方式實現對不同芯片的有效調用適配。

    開發者僅僅需要通過Tengine API,就能充分調用包括MCU、Arm Cortex-A/M系列處理器、Arm中國周易AIPU,以及海思NNIE、瑞芯微RK3399Pro NPU等等在內的芯片算力。

    3、異構/加速支持,芯片有效性提升

    業務跑通是第一步,跑得快跑得好才是芯片優勢的核心體現。

    Tengine通過異構計算技術,能夠幫助開發者同時調用CPU、GPU、DSP、NPU等不同計算單元的運算資源,進一步提升芯片有效性,以完成AI網絡計算。

    4、超輕量無依賴

    在AIoT非常多場景中,考慮功耗、成本等要素,往往對于資源的分配極為苛刻,不依賴外部庫很多時候會成為工程化場景的一大訴求。為此,OPEN AI LAB專為嵌入式神經網絡推理設計了一個HCL vision的圖像處理庫,擁有常見圖像處理算子,以滿足神經網絡推理前后處理需求。

    通過對框架設計進行一系列的簡化和輕量處理,Tengine最小程序體積能達到300KB,在MCU上最小體積為20KB,并且自帶視覺、語音的前后處理函數,對額外資源的占用進一步優化,提升芯片的適用范圍和潛力。

    5、全棧部署移植支持

    AI產業化的難點,往往不是一個技術單點,而是一套體系化的工作,最終成效亦不取決于長版有多長,而是取決于短板有多短。

    Tengine從誕生至今,已開發出具備量化訓練工具、調試工具、模型庫、編譯器等工具在內的完整工具鏈,能進一步滿足開發者的各類高精度應用需求。

    (二)Tengine的前世今生

    不難看出,其實Tengine與國內外大多數開源的深度學習框架和平臺定位是不同的。

    目前,國內大多數公司和機構的開源框架和平臺,更多是涉及機器學習、深度學習、自然語言處理和數據科學等領域,但針對AIoT領域嵌入式設備進行開源的框架和平臺少之又少,在商業領域同樣鮮少出現。

    2016年,雖然AI的主要應用方向還是在云端,但已開始出現AI從云端往設備端遷移的趨勢。黃明飛談到,OPEN AI LAB曾嘗試使用TensorFlow、Caffe等開源框架,對嵌入式設備應用進行開發和設計,但卻無法充分發揮其AI性能。

    “它們無論是尺寸,還是優化設計,都不是圍繞著嵌入式端來設計的。”黃明飛坦言,如果要去改動這些框架,實際上是非常困難的一件事。

    為了更好的做到行業賦能與生態協同,OPEN AI LAB投入到嵌入式AI推理框架的研發中,自此Tengine誕生。

    2017年,OPEN AI LAB正式在Github上發布第一個Tengine版本。至今,Tengine已經經歷了4個大版本的升級,并在這一系列的迭代和更新中,Tengine也逐漸形成了自己的體系化能力及優勢。

    隨著Tengine開源的發展和推動,它已經成功幫助智慧城市、公共交通、智慧車載、工業智能、智慧養殖、消費電子和智能家居等多個領域的企業,實現了廣泛的行業落地和應用。

    例如,面向智慧停車管理方向的合作伙伴,利用Tengine開發了AI+停車模式,能夠識別有牌車與無牌車,以及車牌、車型、車身顏色、車內人臉等420多種車輛及車輛附屬物品。

    Tengine作為國內自主知識產權的商用級AIoT智能開發平臺,從短期看,它不僅能幫助開發者在開發過程中,進一步提升算法移植和部署效能;從長期看,它的開源也將為打破AIoT產業壁壘,快速整合上下游以實現AIoT產業的落地和應用,為豐富全球AI開源生態提供了重要的推動力。

    (三)Tengine開源與商用的雙螺旋

    “實際上,Tengine需要面對兩個方面,一是開發者,二是行業客戶。”黃明飛談到,開源不是商業行為,但OPEN AI LAB作為一個創業公司,在滿足開發者需求的同時,仍需要面向行業客戶而生存。

    但也因為這一特殊性,Tengine的發展也逐漸形成一個產業與開發者雙向“反哺”的過程。“在過去兩三年里,Tengine主要優先解決行業客戶的問題。”在黃明飛看來,行業客戶所面臨的問題具有代表性,能夠從系統的角度來幫助改進Tengine。隨著研發人員在滿足客戶需求的前提下不斷調整Tengine,OPEN AI LAB又將Tengine的開源版本進行迭代,從而反哺到開發者。

    “開發者所提出的很多問題對改進Tengine很有價值。”黃明飛說到,在未來一年里,OPEN AI LAB也將進一步把開發者和商業客戶放到同等重要的層面,與開發者共同將Tengine演進成更優秀的開源項目。

    (四)Tengine到Tengine2,為廣泛的行業賦能

    基于Tengine的推理框架和異構計算,OPEN AI LAB還推出了面向行業應用的AI全棧賦能解決方案平臺——Tengine2。

    在Tengine基礎之上,更加廣泛的幫助行業伙伴,實現行業智能化業態升級,涵蓋了數據、訓練、評測、調優、端側部署等開發部署流程,其底層推理框架和異構計算由Tengine支持。

    聯合OpenCV合作發布,未來展望

    黃明飛在與智東西的交流中談到,目前OPEN AI LAB研究團隊的研究重點,仍主要集中在開源平臺Tengine,以及一站式AI端到端平臺方案Tengine2的更新和演進上,已形成一支百人規模的研發團隊。

    1、強強聯合,助力開源

    黃明飛透露,本月初,OPEN AI LAB與老牌跨平臺計算機視覺庫OpenCV已聯合發布新版本,讓OpenCV開源社區生態更全面和豐富,也讓Tengine能夠面向更廣泛的全球開發者。

    近期,據IT開發者社區CSDN匯總國內外AI工具框架關鍵詞,并基于實際數據梳理的《中國 AI 應用開發者報告》,目前在國內的AI開發者中,Tengine成為最受國內AI開發者歡迎的本土AI工具框架。

    ▲最受中國AI開發者歡迎的全球AI工具框架排名(數據來源:CSDN)

    OpenCV主要針對云端應用,能夠運行在Windows x86或Android等操作系統上,并提供Python、Ruby等多種語言接口,幫助開發者實現圖像處理和計算機視覺(CV)領域的諸多通用算法。

    但隨著AIoT產業的發展,OpenCV亦逐漸需要一個專門面向嵌入式端而開發的開源框架和平臺。

    “讓Tengine成為OpenCV的一部分,深度融合助力開源,在全球開發者開發嵌入式計算機視覺,對深度學習產生需求時,能夠使用Tengine,并一起開發Tengine。”黃明飛說到。

    從產業角度看,這次合作也將推動AI賦能產業的步伐,進一步加快AIoT行業智能化建設的節奏。“這是我們Tengine面向全球化開源進程中的重要一步。”黃明飛表示,今年是OPEN AI LAB將開發者放在與行業客戶同等重要的一年,需要更多開發者與公司共同開發Tengine,共同帶來更多的創新和進步。

    2、未來挑戰及思考

    隨著AIoT市場和應用場景的擴大,行業亦對Tengine提出了新的需求。黃明飛談到,目前行業并非巨頭獨大,GPU、NPU和ACAP等底層芯片仍在層出不窮地出現,各類算法與AI訓練框架百花齊放。

    因此,如何更廣泛地支持異構的動態調度,充分發揮芯片性能,降低開發、遷移和部署的成本,讓開發者和行業用戶能更簡單靈活地使用,這些都給Tengine帶來了諸多挑戰,亦是Tengine和Tengine2未來不斷演進的方向。

    盡管國內AI開源生態的發展仍在起步階段,但黃明飛認為,“要想做好開源,除了思考商業策略、開源切入點、生態環境,還需注重開源服務和戰略定力。開源不僅僅為了建立自身生態,還需要考慮我們為開發者帶來了什么選擇,解決了什么問題。”

    現階段,OPEN AI LAB的基本工作仍是要把Tengine做好,為開發者提供更豐富的內容和工具,讓開發者享受更加簡單靈活的開發體驗的同時,也與OPEN AI LAB一同為開源生態做出更好的貢獻。

    問及關于更遠未來,“Tengine的未來是一個很大的話題,也許明年我們再討論開源的時候,會有一個更明確的答案告訴你。”黃明飛笑著回答。

    結語:加速我國AIoT產業落地的AI開源“領軍力量”

    隨著AIoT產業和AI技術的發展,AI開源已經成為加速行業創新和落地的一個重要推動力,并且AI產業與科研、國家建設發展的結合也愈發緊密。

    Tengine作為我國AI開源大軍中的一股重要力量,它的開源對于AIoT產業,特別是在跨芯片適配、異構加速、框架兼容、全棧工具鏈等方面,對于加速產業上下游融合,更好地分工協同,起著不可小覷的作用。

    與此同時,Tengine和OpenCV的合作,不僅豐富了全球AI開源生態,為全球開發者帶來更多的開發工具選擇,同時也讓國外看到了中國AI開源發展的決心和力量。

    開源所賦予行業的意義,遠不止是技術、應用的落地和發展,它更多代表了科技的創新力和生命力。隨著我國將AI、IoT和大數據等技術的發展提到國家層面,支持和引領著AI產業的發展,我國的AI開源生態在這場變革的浪潮下,也將擁有更廣泛的未來與前景。

    免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。

    關鍵詞:

    猜你喜歡

    萬物互聯賦能“神經末梢” 智慧社區補位基層治理

    從引領垃圾分類新時尚的社區宣傳,到疫情期間的挺身而出、安全排查,從單元口方便快捷的人臉識別、...更多

    2020-09-23 14:29:57

    智慧糧倉守衛“中國飯碗” 提升準確率、減少糧食

    在爬上5米多高的狹窄樓梯、檢測過糧倉內氧氣濃度并確認達標后,魯糧集團山東齊河國家糧食儲備庫保管...更多

    2020-09-23 10:11:15

    點贊!我國運載火箭部件首次實現重復使用

    時隔不到半個月,上海航天研制的長征四號乙運載火箭又立新功。昨天13時40分,我國在酒泉衛星發射中...更多

    2020-09-22 15:15:47

    國內商業衛星產業鏈迎來融合發展機遇 2019年微小

    記者從2020年中國航天大會上了解到,隨著近年來國內商業航天活動迅速發展,小衛星等商業航天產品逐...更多

    2020-09-22 14:49:20

    水星長啥樣?“水逆” 真實情況是怎樣的呢?

    最近幾年,水逆一詞頗為流行。西方星占學中有水星逆行而運勢不佳的說法。許多人覺得自己遇事不順時...更多

    2020-09-22 14:48:02

    平臺升起助力產業升級 從“面對面”到“鍵對鍵”

    購物有電商平臺,出行有打車平臺,付款有支付平臺……近日,由新疆大學經濟與管理學院、新疆數字經...更多

    2020-09-22 14:44:39

    以數字賦能現代流通體系建設 擴大社會交易

    流通效率的提升對提高國民經濟總體運行效率具有重要作用。建設現代流通體系是一個系統工程,包括適...更多

    2020-09-21 16:06:15

    近九成受訪者會謹慎授予App權限 個人信息保護意

    由2020年國家網絡安全宣傳周組委會和App(移動互聯網應用程序)違法違規收集使用個人信息專項治理工作...更多

    2020-09-21 15:32:51

    三秒就能被破解?智能門鎖是否也存在風險呢?

    智能門鎖、智能音箱、掃地機器人……萬物互聯時代,越來越多的智能家居走進千家萬戶。在給人們生活...更多

    2020-09-18 15:45:29

    喜訊|中標1216萬醫療信息化業務-上海竹喧信息技術

    上海竹喧信息技術有限公司(股權代碼:203852)2020年5月成功中標進賢縣人民醫院醫院集成平臺數據中...更多

    2020-09-17 17:31:38
    可以免费观看的av毛片 - 视频 - 在线观看 - 影视资讯 - 气球网