恒電iDLP深度學習平臺軟件
一、概述
恒電iDLP深度學習平臺軟件是一款以容器技術為基礎,將各種大數據和深度學習框架進行融合,實現多用戶物理資源共享,運行環境隔離的人工智能基礎環境平臺,為各行業客戶提供用于大數據、人工智能等計算場景的可運行環境。
恒電iDLP深度學習平臺軟件是一種基于強勁GPU容器云計算資源的一站式深度學習平臺。通過采用微服務架構、K8S+Docker容器化集群等先進技術,向用戶提供穩定、高并發的深度學習集群應用服務。基于恒電iDLP深度學習平臺軟件,算法工程師和數據科學家能夠便捷地進行模型訓練、評估及預測。目前平臺支持Tensorflow、Caffe、Pytorch、Keras和MXNet等多種主流深度學習框架,集成了Jupyter Notebook、Hadoop-web、Spark-web等開發環境,并提供常用的深度學習算法和模型。恒電iDLP深度學習平臺軟件可以幫助用戶極速搭建深度學習開發環境,釋放數據潛力,打造未來AI應用和服務。
二、主要功能
恒電iDLP深度學習平臺軟件的主要功能包括:
容器申請與審核:系統具備多組戶能力,能同時實現多個角色的無縫切換和線上管理。支持多用戶權限管理,提供容器資源申請審核功能,能對申請的容器資源進行限制。
容器資源監控:支持認證用戶管理,能實時監控各用戶的資源消耗情況。支持多實例管理,能對實例的運行狀態、CPU占用率、內存占用情況、占用容器數量等指標進行管理,支持實例的啟動、關閉、生成、銷毀及恢復。實時監測用戶所有資源使用情況和資源配額分布情況,當資源不足時可根據自身需求向系統申請增加資源配額。
配額管理:提供配額管理功能,支持手動和自動兩種方式調配硬件資源。
機時統計:平臺記錄用戶各種實例的機時詳細使用情況,用戶可以查看每一個應用實例累計的機時使用情況。
定制化的應用模板管理:支持 TensorFlow、Caffe、Torch 、MXNet等主流深度學習框架,用戶可以根據實際需求一鍵定制自己的應用案例,提交算法模型。
三、產品特點
恒電iDLP深度學習平臺軟件的產品特點如下:
1、基礎部署:提供離線安裝方式,部署過程簡單。
2、NFS架構:通過NFS網絡文件系統,支持擴展到上萬個節點,且支持向主流后端存儲擴展。
3、在線系統擴容:系統從節點擴展時服務保持在線,并且完全可用,擴展進程在后臺運行,增加節點服務器,性能和容量線性增加。
4、負載管理:具有系統資源管控能力,并且可查詢各實例分配的系統資源。
5、GPU運行實例:基于Nvidia-docker2實現容器GPU使用。
6、模板部署實例:通過實例模板部署實例,一鍵部署分布式集群,達到秒級創建實例。
7、多種云服務形式部署:支持公有云、私有云、混合云以及多種云平臺部署。
8、高可用的網絡調度系統:支持底層Kubernetes支持多種網絡解決方案,例如:Openvswitch、Flannel、Calico等。
9、支持實例高可用:支持Kubernetes的容器高可用,支持平臺實例高可用,服務不中斷。
10、多租戶管理:給予Oauth1.0權限認證,分級分角色認證,實現多租戶管理。
11、模板管理:支持個性化定制、支持Tensorflow、Caffe、Pytorch、Mxnet等主流深度學習框架,用戶可以根據實際需求一鍵定制自己的應用案例,提交算法模型,支持可插拔式模板管理。
12、計算資源靈活管理:支持計算資源配置靈活可變,支持資源配額增加或減少的申請。
13、實時性:支持實時機時統計,清楚呈現機時使用情況。
14、完善的管理機制:支持查看并管理全局集群應用和數據,有效防止惡意使用。
15、完善的用戶實例管理:支持基于應用模板的實例創建和管理,用戶可以通過命令行或Web圖形界面登陸管理和操作應用實例。
16、多用戶多作業:支持并行執行多任務。
四、主要解決的問題
(1)解決計算資源彈性按需供給的問題;
(2)解決多角色權限分級資源管理的問題;
(3)解決算法環境構建的高效問題;
(4)解決按需投資靈活擴展的問題;
(5)解決并行計算協同工作的問題;
(6)解決學習和計算環境切換的問題;
(7)解決計算架構和數據安全問題;
(8)解決AI用戶設備利舊計算池構建問題;
(9)解決AI非技術型用戶使用方便的問題;
(10)解決AI環境構建維護成本高昂的問題。
五、應用場景
教育行業客戶:
科研場景:教師和學生用戶可以便捷創建深度學習應用,結合GPU資源進行深度學習應用的開發與研究。科研用戶能夠利用深度習堂的服務環境和計算資源搭建自己專屬的深度學習環境,快速搭建以文本、圖像、語音等數據為基礎的,以深度學習算法為核心的深度學習應用開發環境。
教學場景:iDLP深度學習平臺軟件從實驗環境、教材PPT、實驗手冊、實驗數據、技術支持等多方面為人工智能課程提供一站式服務,大幅度降低人工智能課程學習門檻,滿足課程設計、課程上機實驗、實習實訓、科研訓練等多方面需求。
競賽場景:為高等職業院校技能大賽、大學生計算機設計大賽、RoboCup機器人競賽、世界無人機錦標賽、中國機器人及人工智能大賽、挑戰杯軟件設計大賽等競賽提供人工智能應用開發平臺環境。
非教育行業客戶:
適用于政府、醫療、教育、交通、金融、商貿、工業等行業的深度學習應用。
(1)金融領域:金融領域已經被充分的數據化,為人工智能的應用提供了充分的數據基礎;同時,金融體系內各個分支領域界限相對明確,人工智能在垂直領域中進行應用。目前,將人工智能應用到金融領域最為炙手可熱的領域包括了智能客服、智能征信及反欺詐以及智能投顧這三個領域。
(2)計算機視覺領域:動靜態圖像識別和人臉識別是計算機視覺領域主要研究方向。圖像識別能夠利用計算機對圖像進行處理、分析和理解,以識別各種不同模式的目標和對象的技術。人臉識別涵蓋用攝像機或攝像頭采集含有人臉的圖像或視頻流,并自動在圖像中檢測和跟蹤人臉,進而對檢測到的人臉進行臉部的一系列相關技術。計算機視覺的專用領域應用涵蓋了目前國內人工智能應用的大多數應用,包括各領域的人臉和語音識別以及服務型機器人等方面,同時也包括側重于金融、醫療、智能家居等領域的通用解決方案。
(3)智能駕駛領域:智能駕駛技術主要包括網絡導航、自主駕駛和人工干預三個認知過程環節。智能駕駛的應用發展可分為四個等級,從低到高依次是初級輔助駕駛汽車、高級輔助駕駛汽車、自動駕駛汽車、無人駕駛汽車。主要包括編隊行駛、主動變道、主動避障、匯入車流、自動泊車等功能。
(4)教育領域:當前人工智能及相關技術在教育領域的應用主要有以下五個方面: 自適應/個性化學習、虛擬導師、教育機器人、基于編程和機器人的科技教育、基于虛擬現實/增強現實的場景式教育。這些應用都需要涉及到人工智能的數據處理分析能力、智能決策及人機交互等能力。
(5)工業領域:人工智能在工業領域的應用主要可分為以下三個方面。第一類是比較簡單的應用數據的可視化分析,工智能能夠收集設備運行的各項數據如轉速、能耗情況及生產力狀況等;第二類則是讓機器實現自我診斷,包括故障查找及排查等;第三類則是預測性維護,需要依賴機器感知判斷及決策過程。
(6)醫療領域:以可穿戴設備等為代表,當前智能醫療被認為是人工智能大板塊當中頗具潛力的領域之一。智能醫療通過采集 包含了計步器、血糖指數、心率、生活模式/習慣、睡眠質量等各方面的數據,通過聚合并處理,達到監測、診斷、治療等目的。當前主要應用方向有醫療機器人、智能藥物研發、智能診療、智能影像識別及智能健康管理等。
六、應用案例
目前已經在華南師范大學、廣東工業大學、五邑大學、佛山科學技術學院、廣州番禺職業技術學院等多所本科和高職院校部署使用和推廣。