用于驗證和監控實體人工智能系統的工具具備實際價值，但仍需人工監督，以預防事故發生和異常行為出現。

基于人工智能的工具能助力監控實體人工智能系統和大語言模型，然而為規避誤報、偏見及其他異常情況，人工監督仍是必要環節。

對于自動駕駛汽車和機器人而言，極端場景的應對以及對人類價值觀的理解是其短板，尤其是在道德與社會價值觀隨時間不斷變化的背景下。

人工智能工具持續發展，在芯片驗證以及保障實體人工智能安全所需的功能覆蓋率相關應用中，發揮的作用愈發重要。

芯片制造商正愈發多地借助基于人工智能的工具，對廣泛應用于邊緣場景的半導體進行驗證，這些邊緣場景涵蓋機器人、無人機、自動駕駛汽車等實體人工智能領域。但制造商對該技術始終保持謹慎態度，會限制人工智能的應用范圍，并在必要時依靠人工介入，對人工智能的工作成果進行核查。

這些實體人工智能系統與各類大、小語言模型、計算機視覺模型、視覺 - 語言行動模型等深度關聯。在多數情況下，人工智能工具會被用于監控這些模型，從海量數據集中篩選出異常信息。

從安全防護的角度來看，讓人工智能工具監管與小語言模型、大語言模型相連的實體人工智能設備，看似形成了一個危險的閉環。一旦模型被輸入不良或帶有偏見的數據，甚至在最壞的情況下，惡意攻擊者掌控操作系統并激活自主化的武裝無人機，整個系統就極易遭受攻擊并出現異常行為。即便在最優情況下，也不應讓人工智能工具單獨操控人形機器人。至少目前，在實體人工智能系統的設計、驗證和監控全流程中，人類的參與不可或缺。

楷登電子驗證軟件產品管理高級集團總監馬修?格雷厄姆表示：“在實現人類完全脫離這一監督閉環之前，要通過一定程度的審查建立起制衡體系。我堅信，參與制衡工作的技術人員會得到人工智能的輔助，也希望事實如此。但目前尚無法確定是否存在可能引發問題的完整反饋閉環，不過當下的制衡機制已然完備，電子設計自動化工具也是保障流程的重要組成部分，能確保無論何種系統，都具備相應的冗余設計和符合要求的功能安全等級?！?/p>

但這套制衡體系的有效運行，依賴于實體人工智能企業秉持誠信原則制定必要的安全協議，而這一點并無法得到絕對保證。例如，近期有新聞報道就披露了某企業跳過關鍵安全步驟的相關隱患。

借助人工智能 / 機器學習工具實現的安全保障，需建立在若干核心支柱之上，且這些支柱需與標準的功能安全生命周期相匹配。想象力科技的工程技術負責人、系統與功能安全工程專家安德魯?約翰遜指出：“這其中包括危險與風險分析、驗證與測試、認證與確認，而針對機器人領域，還需考慮其與人類的互動動態。功能安全領域中，工具的評估與資質認定是常規工作。我們需要思考：工具是否會給設計引入系統性誤差？是否會影響硬件設計、軟件研發和代碼編寫？若該工具是驗證或確認測試工具，能否信任它準確檢測錯誤、不產生誤報？需要考量的問題繁多，這意味著系統復雜度會呈數量級增長 —— 畢竟功能安全技術傳統上多用于確定性系統，而非基于統計處理的系統?！?/p>

業內其他人士也認同需保持謹慎的觀點。是德科技電子設計自動化部門首席安全分析師拉杰什?維萊加拉蒂稱：“工程師應將當前的人工智能 / 機器學習工具視為開發工具，這意味著需對工具的使用進行充分測試或資質認定。從這些工具中獲取的輸出結果，應具備可復現性和可審計性，這可能需要為大語言模型的輸入制定相關規則。人類需全程參與，明確目標與風險，并擁有最終的審批權，這一要求適用于安全和安防兩大領域。”

換言之，依靠人工智能 / 機器學習工具保障實體人工智能安全的程度存在上限。新思科技產品管理高級總監達納?紐斯塔特表示：“人工智能是解決問題的一部分，因為我們可以利用它進行監控。最終，我們會部署多個人工智能系統，其中一個可能承擔安全監控的角色。若該監控系統具備足夠的隔離性，防止被篡改，無論機器人的其他行為是否由人工智能控制，都能顯著提升系統的安防水平?！?/p>

保護實體人工智能的過程，堪比搭建防火墻。紐斯塔特解釋道：“攻擊者會想方設法繞過防火墻，一旦他們掌控了防火墻，就將占據極其有利的地位，能夠隨意修改防火墻配置，操控信息的傳輸方向。實體人工智能的安全防護與之同理，我們在這一領域不斷增加技術復雜度，衍生出諸多新問題，但面臨的風險本質上與傳統防火墻防護一致，只是在有無人工智能參與的情況下，風險的表現形式有所不同?！?/p>

專業的人工智能 / 機器學習程序（即專家系統）已發展數十年，能完成下國際象棋、自動駕駛、蛋白質折疊分析等任務。蘭巴斯公司硅安全產品高級總監斯科特?貝斯特說：“簡而言之，這些程序都是‘專精型選手’。它們無法像 ChatGPT 那樣，與人類進行流暢、毫無違和的對話，卻可能為攻克癌癥提供助力。在芯片級安全防護方面，我們評估了多款旨在保障微電子設計和驗證中防篡改安全功能有效性的專家系統，目前來看，這些系統都尚未成為真正的效能倍增器。當下，使用這些系統完成工作所需的投入，與人工完成同等工作的投入相差無幾，但我對其未來發展仍持樂觀態度。”

目前，芯片設計師仍需主導實體人工智能的安全防護工作。新突思科技物聯網與邊緣處理器副總裁兼總經理約翰?韋爾表示：“各類嵌入式安全應用都具有分層特性，我們必須明確搭建的安全防護層級，以及對應的威脅模型。我們為無線產品開發并優化配套軟件的過程中，安全始終是核心考量因素?！?/p>

語言模型與機器人技術的發展演進

小語言模型和大語言模型發展至現階段，為下一代機器人的研發奠定了基礎。英偉達機器人與邊緣人工智能副總裁兼總經理迪普?塔拉在英飛凌舉辦的十月科技大會上表示，這一發展成果為實體人工智能打造了 “性能尚可的通用型智能核心，就如同 ChatGPT 為數字人工智能領域帶來的變革一樣”。

實體人工智能的核心技術架構（英飛凌提供）

1. 決策與人工智能的計算和連接技術

• 主計算區算力支持、邊緣人工智能技術、功能安全與安防防護

2. 供電與熱管理的能源技術

• 電池管理系統、充電模塊、冷卻系統

3. 環境感知的傳感技術

• 音頻、視覺、雷達、激光雷達、力傳感

• 多傳感器融合技術

4. 精準高效運動的執行技術

• 電機控制、執行機構、結構集成

同時，當下先進的仿真技術也成為實體人工智能發展的必要條件。塔拉表示，與真實世界的實驗相比，仿真技術更高效、更安全、成本也更低?！暗跈C器人領域，仿真與現實之間的差距一直較為明顯，因此仿真環境中的實驗結果，無法完全反映真實世界的情況。如今，大語言模型和仿真技術均已發展至相當成熟的階段，全球頂尖的科研人員、初創企業、風險投資機構以及大型企業，都開始投身于通用型機器人智能核心的研發難題中。”

人工智能的監督與審計

亞利桑那州立大學計算與增強智能學院助理教授、學習評估與系統自然化實驗室主任蘭薩盧?塞納納亞克，長期致力于機器狗和人形機器人的可信性研究。他指出，人工智能審計工具能提升與實體人工智能相連的語言模型的完整性，但人類必須參與其中，明確模型的失效場景類型。

他介紹道：“我們研發的人工智能審計工具，會通過多種方式對大語言模型進行測試，隨后生成常見失效模式的分析報告。我們將報告交由人類技術人員評估，由他們判斷‘這種失效模式的危害較大’或‘這種失效模式的影響在可接受范圍內’。機器無法獨立完成審計工作，因為它無法契合人類的價值觀、倫理觀等核心訴求；而人類也無法對模型進行全方位測試，因此我們研發了這一可擴展的技術，通過對系統進行各類測試，為人類生成簡潔的分析報告。技術人員根據報告，指導工具減少特定失效模式的發生，使系統更貼合人類的價值判斷?！?/p>

通過反饋閉環，人工智能審計工具能逐步優化，更貼合人類的需求。塞納納亞克補充道：“需要注意的是，人類的價值觀也會隨時間變化，只是變化速度相對較慢。如今被普遍接受的事物，五年后或許就不再被認可?！?/p>

想象力科技的約翰遜也認為，人類的價值觀和道德觀是不可忽視的重要因素。他提出：“我們該如何真正衡量智能？機器學習模型的智能水平其實十分有限，其能力高度依賴于人類為其輸入的數據。”

正因如此，應對極端場景成為人工智能 / 機器學習工具監控大語言模型時的一大短板。約翰遜表示：“研發人工智能工具的核心目標，是讓其能對未知場景做出可靠應對。危險數據集的規模通常較小，而統計驗證技術能通過提供更多元、動態的數據集，以及豐富的輸入數據和傳感數據，有效彌補這一短板?！?/p>

人工智能 / 機器學習芯片驗證與功能覆蓋率工具

實體人工智能系統的安全防護，必須從半導體層面的功能驗證開始，確保安全關鍵型芯片在任何情況下都能按預期運行。在這一方面，汽車領域與實體人工智能領域的技術需求存在交叉。

人工智能 / 機器學習工具能助力該流程中的多項工作，包括自動化代碼分析審查、功能覆蓋率檢測、架構與規格審查，以及提升驗證生命周期的效率，尤其是在應對極端場景的驗證工作中。約翰遜說：“基于現有的驗證流程和數據集，機器學習技術能識別數據模式，發現尚未覆蓋的驗證場景，這正是其在極端場景驗證中的價值所在。但最終效果仍取決于模型的訓練數據 —— 數據質量是否達標、數據量是否充足，且訓練數據與測試數據必須相互獨立。我們必須避免兩者直接關聯，否則工具將失去實際價值?！?/p>

目前，許多新型人工智能 / 機器學習工具和智能體人工智能工具都聚焦于驗證領域，因為這一環節是人類工程師工作流程中耗時最長的部分。一旦企業在驗證環節出現失誤，將付出高昂的成本，尤其是先進機器人和自動駕駛汽車所使用的芯片，均采用前沿制造工藝打造。

其中，根因分析是驗證工作中最大的挑戰之一。芯智體公司創始人兼首席執行官威廉?王表示：“在軟件領域，每個人都能借助輔助工具開展工作 —— 輸入需求、得到輸出結果、提出問題、生成代碼，發現漏洞后修復，再提交 GitHub 拉取請求即可。但半導體行業有所不同，其技術棧的層級極深，面對海量的代碼庫進行根因分析時，工作難度會急劇增加。試想，在一家前沿芯片企業研發新款圖形處理器時，芯片中包含 100 億個邏輯門，根本無法將全部邏輯門數據輸入單個語言模型。這也是我們需要借助人工智能智能體，探索代碼庫中的問題、提取關鍵關聯信息的原因?！?/p>

芯智體研發的多智能體人工智能根因分析系統，能實現根因分析全流程的自動化。威廉?王介紹：“我們的工具能協助工程師進行仿真實驗，檢查并優化測試平臺，分析日志文件和波形數據，助力工程師修復寄存器傳輸級代碼?！?/p>

但設計驗證工作始終面臨一個終極問題：“誰來驗證驗證工作本身？”

芯智體公司工程主管梅希爾?阿羅拉提出：“這是一個層層嵌套的循環問題，因為誰才是最終的事實依據？我們能否檢查自身規格的一致性？能否驗證測試計劃與規格要求是否匹配？能否實現從規格到測試計劃、再到測試平臺的全程可追溯，進而更清晰地把控驗證工作的執行主體？”

芯智體將功能覆蓋率檢測視為人工智能智能體助力工程師節省時間的核心領域。阿羅拉表示：“一個值得探索的問題是，我們能否開發一套系統，生成定向測試用例，使其能跨越多層間接關聯環節，最終找到并定位目標測試點。即便存在多層間接關聯，該系統也能助力工程師在大型子系統中探索狀態空間。”

通過配置人工智能智能體生成定向測試用例，仿真測試的時間大幅縮短，因為定向測試用例在仿真中的運行效率更高。阿羅拉說：“該系統可實現全自主運行，工程師能批量提交任務并在夜間運行，通過算力投入換取工程師的工作時間，這通常是一筆極具價值的交易。”

在一套系統通過多層間接關聯環節尋找目標測試點的同時，另一套獨立系統會以高度隨機的方式，完成通用驗證方法學測試平臺的搭建。阿羅拉解釋：“我們精通約束隨機化技術，這是設計驗證工程師的核心技術，也是其最常用的工具。”

該大語言模型工具會從相關文件中提取各類信息，其生成的自然語言輸出結果能被所有工程師理解。相較于代碼的確定性，自然語言雖存在一定模糊性，但阿羅拉認為：“我們必須接受這一缺陷，而這一特性也帶來了優勢。傳統仿真器和形式化驗證工具完全不支持自然語言，但我們認為這一交互方式的價值被低估、應用被不足。通過自然語言 —— 包括規格文檔、設計文件、測試計劃等，我們能更精準地把握研發意圖，推動項目進展。”

研發團隊的目標，是借助大語言模型的層級處理能力和抽象理解能力，解決功能覆蓋率檢測中的各類問題。阿羅拉表示：“我們希望部署多個智能體，持續優化測試平臺的功能覆蓋率，生成定向測試用例，并利用這些用例，完善功能覆蓋率模型中尚未覆蓋的檢測點?！?/p>

目前，業內還在研發更多相關工具和方法，包括更高確定性的算法工具、覆蓋率數據庫解析工具、分支與翻轉覆蓋率檢測工具，以及通用驗證方法學測試平臺搭建工具。

那么，在保障實體人工智能功能安全的過程中，基于統計的功能覆蓋率檢測，是否是人工智能 / 機器學習工具的最佳應用場景之一？

想象力科技的約翰遜給出了答案：“說實話，若想把這項工作做好、做透徹，沒有任何一個環節是輕松的，這歸根結底關乎專業能力。在機器學習領域，驗證一個技術概念，或是引入一套全流程或部分環節基于機器學習的工作流程，或許并不困難。但要真正理解其中的危險與風險，精準把握技術改進的細節并進行量化分析，建立起對技術的信心、確保其不會影響安全防護工作，這些都極具挑戰性。如果既要做到專業精良，又要堅守安全責任，那么整個過程沒有任何捷徑可言。但這并不會阻礙行業的探索步伐?！?/p>

結語

秉持謹慎態度使用人工智能 / 機器學習工具，不僅能提升數據密集型實體人工智能和大語言模型系統的安全性，還能助力驗證驅動這些系統運行的芯片。

是德科技電子設計自動化部門高級總監亞歷山大?彼得表示：“人工智能只是自動化技術發展的新階段，而自動化技術已歷經數十年發展。自動化意味著有規可循、有標可依，所有工作內容都能轉化為可自動化處理的格式，也就是代碼。數字電路、超高速集成電路硬件描述語言、版圖與原理圖一致性檢查等工作，本質上都是基于規則的，且自由度受到嚴格限制。相關標準已發展數十年，芯片代工廠為防范各類潛在故障，建立起了完善的防護體系?！?/p>

將人工智能應用于功能覆蓋率檢測等領域，是技術發展的自然趨勢。彼得說：“這并非跨越式的技術變革，只是讓人工智能替代人類編寫代碼而已，這項工作的落地難度并不大?！?/p>

人工智能 / 機器學習工具能承擔工作流程中大量重復性、高耗時的任務，也有助于彌補行業人才缺口。楷登電子的格雷厄姆表示：“毫無疑問，行業對驗證工具和驗證工程師的需求持續增長，人才培養速度已無法跟上行業發展步伐，而人工智能正是彌補這一缺口的重要抓手。我們認為，沒有人會因人工智能而失業。實際情況是，當企業需要招聘 10 名工程師卻僅能找到 4 名時，人工智能帶來的生產效率提升，將至少填補一部分人才缺口?！?/p>

但想象力科技的約翰遜強調，無論在何種場景、以何種方式應用人工智能 / 機器學習技術，最終都要回歸到人員、流程和專業能力本身，確保所有工作的開展都兼具責任感和可信度?！斑@個領域的問題艱巨且復雜，因此，無論借助何種工具、采用何種技術，企業都應將重點放在培養工程師團隊的專業能力上，搭建完善的框架和流程，確保系統研發和工具應用的合理性與有效性，再逐步布局機器學習領域。”

能否成功應用人工智能 / 機器學習工具，還取決于對模型的理解程度。約翰遜補充道：“這包括了解模型的研發溯源、使用方式、基于自身約束和局限性所輸出的信息，以及如何結合其他可能由機器學習生成或非機器學習生成的數據點進行綜合判斷。頗具諷刺意味的是，借助機器學習工具、數據集和相關信息，企業或許能減少工程師的招聘數量，但我的建議是，必須做好萬全準備防范風險，否則問題終將發生。”