人工智能的迅猛崛起正從根本上重塑計算架構。隨著 AI 模型邁向萬億參數規模，傳統的性能提升方式已不再夠用。行業正進入一個全新階段：系統級創新、先進封裝與 3D 集成成為性能進步的核心驅動力。這一轉變標志著計算領域的整體轉型 —— 性能增益越來越依賴整個系統的設計與集成水平，而非單純追求晶體管尺寸微縮。

一維微縮時代的終結

AI 算力需求呈指數級增長，導致所需性能與傳統硅工藝微縮能力之間的缺口不斷擴大。要彌補這一缺口，必須在芯片之外尋求創新。最重要的轉變是：AI 性能 now 由系統級決定，而非單純由硅工藝決定。未來的性能提升將取決于計算、內存、互連與供電系統能否高效整合為統一整體。這標志著從以器件為中心的優化轉向全棧協同設計，覆蓋從晶體管技術到數據中心架構的全鏈條。

數據搬運成為新瓶頸

現代 AI 系統的關鍵制約已不再是計算本身，而是數據移動。

• 芯片間搬運數據的能耗，最高可達芯片內數據移動的50 倍。

• 數據傳輸占據系統大部分活動，因通信延遲顯著降低加速器利用率。

這使得互連效率成為核心設計目標。提升帶寬、降低延遲、減少每比特能耗，成為釋放系統整體性能的關鍵。

內存墻問題日益嚴峻

隨著 AI 模型持續擴容，內存需求增速甚至超過算力增速。長上下文處理、多模態 AI 等新興負載，推動內存容量與帶寬需求呈指數級增長。系統正從 GB 級內存邁向 TB 級配置，同時要求更低延遲。然而，內存技術發展速度跟不上算力，失衡不斷擴大。突破 “內存墻” 對維持 AI 進步至關重要，也推動了高帶寬內存（HBM）與內存集成方案的快速創新。

供電與散熱成關鍵約束

計算密度提升（尤其是 3D 堆疊技術普及）導致功耗密度與發熱量同步飆升，迅速成為 AI 系統擴容的硬性限制。若供電、能效與散熱管理無法取得重大突破，性能提升將難以為繼。因此，供電與散熱不再是次要考慮，而是成為系統設計與整體性能的核心要素。

3DFabric 技術：新一代 AI 計算基石

為應對上述挑戰，先進3DFabric技術成為下一代 AI 系統的基石。

• 支持多芯片與組件高效集成，打造高性能系統。

• 3D 芯片堆疊大幅提升互連密度，縮短數據移動距離并降低能耗。

• 先進封裝平臺實現計算與內存近距離整合，支撐超大帶寬與容量擴容。

• 高帶寬內存持續演進，提供更高吞吐量與更佳能效。

這些進步讓封裝不再只是輔助技術，而是系統性能的核心驅動力。

CoWoS 支撐 AI 算力擴容

臺積電全球最大的5.5 倍掩膜版尺寸 CoWoS已于 2026 年量產，良率超 98%。

為滿足 AI 算力持續增長需求，臺積電將繼續擴大中介層尺寸：

• 2028 年：14 倍掩膜版（20×HBM）

• 2029 年：＞14 倍掩膜（24×HBM5E）

TSMC-SoW 賦能系統集成

晶圓級系統集成（SoW）持續推進中介層擴容至＞40 倍掩膜版尺寸（64×HBM）。

SoW-X提供 “邏輯 + HBM” 集成技術平臺，2029 年量產。

共封裝光學（CPO）：重新定義互連

當電互連逼近物理極限，共封裝光學成為高速數據傳輸的關鍵方案。

• 將光子器件與計算硬件直接集成，顯著提升能效、降低延遲。

• 為數據中心網絡提供可擴展路徑，滿足持續增長的高帶寬、低能耗需求。

搭載 COUPE 的 CPO 大幅提升系統能效

臺積電基板級 COUPE+CPO方案：

• 能效：銅線的4 倍

• 延遲：降至1/10

中介層級 COUPE進一步強化性能：

• 能效：銅線的10 倍

• 延遲：降至1/20

晶圓級系統與晶圓級集成

展望未來，系統集成正邁向晶圓級架構—— 整套系統集成于單一基板。

• 實現前所未有的集成密度。

• 降低傳統互連開銷。

• 最小化通信距離、提升效率。

晶圓級集成成為突破傳統封裝限制、持續擴容 AI 性能的關鍵路徑。

系統技術協同優化（STCO）興起

隨著 AI 系統日趨復雜，孤立優化單個組件已不再夠用。行業正廣泛采用系統技術協同優化（STCO），同步統籌芯片設計、封裝、互連、供電與散熱。這種全系統協同設計確保各部分高效配合，實現更佳性能與能效，代表硬件系統研發理念的根本性轉變。

總結

未來 AI 硬件的競爭力不再由單純的硅工藝微縮決定，而是由封裝、互連、內存系統與能效的整體進步共同塑造，并通過系統級設計融為一體。在這一新范式下，系統本身成為創新的基本單元。成功的關鍵在于跨域整合與全局優化。隨著這場轉型持續深化，“系統” 已然成為新的 “芯片”，重新定義 AI 時代的性能實現方式。

AI 算力擴容的核心路徑

AI 算力擴容由三大技術合力驅動：

1. 先進邏輯工藝

2. SoIC 3D 堆疊

3. CoWoS 平臺

2024—2029 年：單套 CoWoS 內的 AI 算力晶體管數量將提升48 倍。