1 VPU向高效、高質、低延遲發展

隨著AI技術的爆發，帶來了視頻分辨率和數據量的不斷攀升，專用于視頻編解碼處理的VPU應運而生，成為各類視頻應用的“超級工匠”。如今，VPU已成為支撐云、邊、端等關鍵場景的核心算力單元，是半導體和AI算力賽道的重要組成部分?。

VPU主要由兩大類芯片/硬件模塊構成：一類是VPU芯片；另一種是嵌入在各種SoC、處理器、控制器等芯片/硬件模塊中的VPU引擎。但是萬變不離其宗，都離不開強大的VPU IP核芯。

目前VPU、VPU IP的發展趨勢是什么？答案是：在云、邊、端場景中AI無處不在，這些豐富多樣的應用都需要視頻處理的高效率、高質量、低延遲，在技術上，主要在編碼格式、編碼質量、單核性能等方面進階，同時需要VPU能夠滿足各種細分場景的應用和快速上市的需求。

那么，有沒有一個成功的案例來具體說明？近日，國內領先的芯片IP設計與服務提供商安謀科技（中國）有限公司（簡稱“安謀科技Arm China”）在上海舉辦了VPU IP技術大會，發布了面向AI應用的新一代VPU IP——“玲瓏”V560/V760，宣稱可滿足AI時代各類視頻應用。這已是該系列的第五款產品了。更值得關注的是，新IP剛剛誕生就“自帶客戶”——已在服務器、視頻轉碼等領域完成首批客戶授權，客戶產品預計今年陸續量產。從此次發布中，我們可以一窺VPU及VPU IP的走向。

2 成為“六邊形戰士”

超視頻時代，數據洪流奔涌而至，云、邊、端各側視頻海量生成。面對千差萬別的應用場景，視頻處理的需求也各不相同。例如，云端AI場景日趨復雜，多模型并行、高負載任務密集，對視頻質量和視頻處理可靠性提出極高要求；云端與端側的視頻交互日益頻繁，從視頻直播到視頻會議，低延時編解碼技術也已成為保障實時體驗的關鍵支撐。因此，VPU、VPU IP希望成為“六邊形戰士”，具有高性能、高魯棒性、高質量低碼率、低延時、多OS支持、信息安全的特點。

例如，“玲瓏”V560/V760交出了亮麗的成績單，具體指標如下。

圖：“玲瓏”V560/V760 VPU IP性能與優勢介紹 

●  高性能：相比上一代產品，單核解碼性能提升100%，多核運行并行度高。

●  高魯棒性：具有強大的錯誤處理能力，丟包率高至20%情境下仍可糾錯解碼。

●  高質量低碼率：同等視頻碼率下，編碼質量平均提升20%；同等編碼質量下，視頻碼率平均降低20%；特定典型場景下碼率最大降低80%。

●  低延時：通過條帶級編解碼控制技術顯著降低編解碼延時，且編解碼控制更靈活。

●  多OS支持：驅動支持Linux/Android/Windows/RTOS等多OS，硬件支持多OS/虛擬化應用。

●  信息安全：支持TrustZone內容保護，高級Mosaic功能還提供完善的隱私保護。

3 積木式堆疊，提升靈活性

面對云、邊、端視頻場景的多樣化與需求的多元化，視頻處理IP的靈活性正面臨前所未有的挑戰。因此需要靈活可配置的架構，并融合積木式堆疊的研發特色。

以“玲瓏”V560/V760為例，其具備了積木式堆疊技術，使客戶無需重復開發底層，即可根據具體場景按需配置模塊，充分滿足多領域、多場景的應用需求，從而大幅縮短新品研發周期，加速產品上市進程。

圖：“玲瓏”V560/V760 VPU IP積木式堆疊技術 

整體來看，“玲瓏”V560/V760 VPU IP有五大技術優勢：

●  采用靈活可配置的架構：創新的多核處理架構，支持多核同任務和多核異任務，滿足多樣化場景需求。

●  集成CAE先進編碼技術：創新性實現CAE編碼技術，集成輕量化AI，能夠實現“圖像語義分析-像素級預處理-碼率動態分配”的全鏈路智能優化，編碼質量大幅提升，視頻碼率顯著降低。

●  覆蓋H.266等主流編解碼標準：集成多格式視頻編解碼器，同時支持H.266標準的編解碼，以及各種主流視頻標準。

●  多配置全隔離的硬件運行機制：硬件支持多OS虛擬化應用場景，硬件支持視頻內容安全訪問，滿足復雜應用環境需求。

●  采用條帶級編解碼控制：通過靈活的條帶級編解碼控制技術，顯著降低編解碼延時。

4 云、邊、端AI對視頻編解碼的需求不同

●  Edge AI領域：

如手持攝像設備、智能手機、Pad、AI PC、TV、邊緣服務器、線上會議等應用場景，需要確保系統高效運行的同時，顯著降低功耗和芯片面積，并且大幅降低視頻碼率和處理延時，實現用戶體驗、電池續航和芯片成本的最佳平衡。

●  Physical AI領域：

如智能駕駛、智能座艙、機器人等應用場景，需要支持多OS/虛擬化應用，增強系統集成靈活性與安全性，降低跨平臺、多應用的開發集成成本與風險。

●  Cloud AI領域：

如數據中心、視頻轉碼、AI服務器、云游戲等應用中，需要在保證數據準確性的同時，實現高性能、高編碼質量、高吞吐量、低延時的視頻處理。

基于上述的六大性能和積木式堆疊技術，安謀科技Arm China VPU產品總監汪奕磊自信地表示：“我們推出的‘玲瓏’V560/V760是面向AI應用的新一代VPU IP，將以卓越性能為AI時代的各類視頻應用提供強大核芯，可以覆蓋云、邊、端全場景?！?/p>

5 研發沿三條主線展開

實際上，安謀科技Arm China在“玲瓏”VPU IP方面已打磨多年。至今，“玲瓏”已推出包括“玲瓏”V560/V760在內的五款產品（表1）。歸納起來，其演進主要圍繞三條主線展開：

①編碼格式，從H.264/H.265到AV1、H.266；

②編碼質量，從“能用”到追求極致；

③單核性能，用更小面積換取更高性能。

此次發布代號為“峨眉”的V560/V760正是這一演進路線的最新成果，欲成為面向AI應用的新一代視頻處理器IP。

表1 “玲瓏”的五代產品特點

（來源：EEPW整理）

展望未來，安謀科技Arm China VPU研發總監黃鑫博士稱，為應對不斷推陳出新的AI技術與新興場景，未來“玲瓏”VPU架構將朝著AI端到端視頻編碼技術路徑加速演進，逐步構建起“深度感知、全局最優”的AI VPU訓練框架，以服務于更廣泛的“AI+視頻”應用場景。

6 處理器有了“玲瓏”“峨眉”中國名

眾所周知，一些跨國公司的處理器在產品型號之外，常起個生動的名字以方便記憶。安謀科技Arm China給一些產品取了帶有中國元素的名稱，例如VPU產品線以“玲瓏”命名，一是指圖像視頻的“玲瓏剔透”，追求極致的畫質；二是指“八面玲瓏，游刃有余”，象征產品能靈活覆蓋萬千應用場景。

這次“玲瓏”新品V560/V760的代號以中國山峰的名字來命名。安謀科技Arm China多媒體處理器研發負責人周華解釋道，這緣起于一次公司登山團建，使他們深刻體會到：一個人也許可以走得很快，但一群人可以走得更遠。當今追求前沿技術創新，猶如翻越一座又一座險峰，登頂路上離不開伙伴同行。邁入AI時代，“玲瓏”也將繼續攜手產業伙伴，為用戶提供更好的視頻體驗，共赴AI萬象“視”界。

7 根植中國，自研xPU已有四大家族

安謀科技Arm China是國內領先的芯片IP設計與服務提供商，前身與Arm體系密切相關。作為一家獨立運營的合資企業，其立足本土創新，堅持以自研業務技術創新與Arm技術授權相配合。

在自研IP業務方面，在Arm架構基礎上，主要有 “周易”NPU、“星辰”CPU、“山?！盨PU、“玲瓏”VPU等四大產品線。這些自研IP與Arm通用計算單元協同，形成了面向AI、邊緣計算、汽車電子等場景的異構解決方案。