ai產品評測與抗疫支撐

研究領域覆蓋人工智能全產業鏈，建設開源生態、打造相關技術標準、推動可信AI落地，促進產業融合。

標準評測工作是促進人工智能行業健康發展的重要保障。得益於深度學習技術的突破，計算機視覺、自然語言處理算法等在部分領域已達到落地商用的水平。由於技術實力和成本等原因，導致市場上智能產品質量良莠不齊，甚至存在嚴重的安全漏洞等。針對人工智能產品的評估規範出台相對滯後，產業界需要第三方評估，進行規範和約束。為推動人工智能更好的賦能行業，增強用戶采購和使用智能化產品的透明度，積極開展評測工作。

圍繞人工智能標準和規範打造標準和評估評測服務能力。積極牽頭和參與國內外標準製定，基於ITU-T SG13 SG16，IEEE、3GPP、CCSA TC1、TC11，AIIA標準組，評估工作組，立項在研標準數十項；關注和跟蹤技術、產業發展動態，不斷迭代相關標準和規範，滿足市場需求；涵蓋芯片、算法、服務平台、智能語音服務、計算機視覺服務、智能終端、智能手機等多個領域。人工智能關鍵技術和應用評測工業和信息化部重點實驗室公布規範體係，如圖25所示。針對產業界需求，建設專用的計算環境、評測數據集、測試實驗室等能力；形成了計算和存儲資源，專用環境，數據集等完整的測試能力。並建設人工智能評測平台，提升行業影響力，如圖26所示。

重點評測領域1：AIIA DNN Benchmark

工作目標：在芯片發展過程中，基於清晰指標的技術競爭可以幫助企業快速進步。AIIA DNN benchmark致力於客觀地 反應 AI 加速器能力現狀，所有度量指標旨在提供客觀的比對維度。

工作方式：「版本迭代、不斷豐富完善」，訓練 +推斷，端+雲。

AIIA Benchmark能夠促進產業技術優中選優，如圖28所示。建立AIIA Benchmark體係，切實反映人工智能產業發展過程中的技術痛點，明確技術競爭方向，幫助在幫助全產業AI相關企業產品宣傳、相關應用行業選型的同時，促進技術進步，使得應用/技術/係統能更貼合實際應用場景需求。主要包括三個方麵：麵向應用產業的benchmark（在研），麵向基礎應用技術的benchmark（在研），麵向底層硬件/係統的AIIA DNN benchmark（已推出）。

AIIA針對基礎應用技術在基於算法/解決方案賦能相應提供商的特定場景，構建明確技術需求的基準測試指標，以產業需求推動技術演進；針對AI技術賦能的行業，提供麵向真實應用場景的評測指標與測試數據集，量化用戶需求，真實反映產品能力；客觀反應AI加速器/硬件係統能力實際應用現狀，所有度量指標旨在提供客觀的比對維度。基準測試結果可為應用企業提供選型參考，同時為芯片/硬件係統企業提供第三方評測結果。

已發布三輪v0.5版本評估結果。其中端側推斷任務基準測試完成兩輪共7款芯片，雲側推斷任務完成首輪試評估共4款芯片

重點評測領域2：計算機視覺技術和產品

重點評測產品：企業級智能人臉攝像機化分級

《計算機視覺應用智能化分級：第1部分：企業級智能人臉攝像機》。

評估規範起草單位名單：中國信息通信研究院、華為技術有限公司、北京易誠高科科技發展有限公司、重慶中科雲從科技有限公司、南京新一代人工智能研究院、上海諾基亞貝爾股份有限公司。

測試方法：材料檢查+技術測試。
測試能力：活體檢測數據集+100人視頻數據集（包括園區出入口、室內走廊等）。
測試情況：2019年9月23日，組織首輪評測，華為、雲從、曠視三家企業參與測試。
重點評測產品：家用智能攝像頭人形檢測能力
《計算機視覺應用智能化分級：第2部分：家用智能攝像頭人形檢測能力》
評估規範起草單位：中國信息通信研究院、華為技術有限公司、南京新一代人工智能研究院、重慶中科雲從科技有限公司、中興通訊股份有限公司。
評估測試指標要求：1）準確率：進行多次測試，攝像頭成功識別人形的次數占總測試次數的比值。2）響應時延： 攝像頭從拍攝人形到識別的時延。時延越短，響應能力越強。3）有效識別距離： 攝像頭能夠進行有效人形檢測的最大距離。
測試方法：技術測試
測試能力：真人數據集+非真人數據集
測試情況：2019年9月23日，組織首輪評測，登虹、海雀兩家企業參與測試
重點評測領域3：智能語音技術和產品
AIIA相關技術和應用領域評估規範：《中文語音合成服務係統評估規範》、《中文語音識別服務係統評估規範》、《聲紋識別（自動說話人）服務係統評估規範》、《智能音箱化等級指標要求和評估方法》、《機器翻譯服務係統評估規範》、《智能客服係統 第1部分:功能指標要求和評估方法》

	創澤智能機器人 中國智能服務機器人領軍企業，涵蓋商用、家庭、特種等多用途的智能機器人產品體係，十幾年行業應用解決方案提供商