AI有多耗算力?Google I/O公布最新數據,全球每月AI Token生成量已從約9.7兆飆破3.2千兆,短短2年成長逾330倍。面對全球科技業持續加碼採購GPU、擴建AI基礎設施,AI基礎設施公司Zettabyte(智百特)卻把焦點放在另一件事:企業買到的究竟是算力,還是成果?
Zettabyte近期提出「優質算力」概念,資深產品經理林子揚指出,當AI訓練任務擴展至數百萬張GPU規模,推論工作負載達數兆Token後,基礎設施的表現已不再只由硬體規格決定。
同樣租金差很大 AI業界開始改算「有用工作」
過去談到AI算力,業界最在意2組數字:有多少GPU?以及每小時租金多少錢?但在Zettabyte看來,這些指標始終無法回答客戶最在意的問題:這些GPU最後產出多少有用的AI Token?又是否能被可靠衡量?
隨著AI模型規模愈來愈大,影響產出的關鍵也愈來愈多。可靠性、即用性、可觀測性、成本透明度、彈性韌性與能源效率,正逐漸左右理論上的算力能否真正轉化成實際成果。近期市場對AI推論成本的討論,也反映出消費者期待與實際運算成本之間長期存在的落差。
為了說明這個問題,Zettabyte引用產業研究機構提出的GPU叢集總持有成本(TCO)框架指出,即使2座GPU叢集擁有相同的每小時租金價格,一旦把建置時間、利用率與停機等因素納入計算,最後完成的工作量仍可能出現巨大差異。
這種差異被稱為「Goodput(有效產出)」,也就是原始吞吐量中真正完成有用工作的比例。換句話說,同樣的GPU數量、同樣的投入成本,不代表能產出相同成果。部署延遲、利用率不足、營運故障或叢集停機,都可能影響AI基礎設施的有效產出與經濟價值;在超大規模運算環境下,單一故障事件甚至可能造成可觀的生產力損失。
攜手工研院、大學 Zettabyte推AI算力人才養成
基於這樣的理念,Zettabyte推出zSUITE平台,希望把過去難以量化的因素具體呈現。平台聚焦可靠性、就緒度、可觀測性、成本透明度與能源效率等5大面向,協助基礎設施營運者掌握算力資源在生產環境中的實際表現,以及轉化為可用AI產出的效率。
其中,可靠性與就緒度有助降低故障與恢復時間,可觀測性可縮短問題偵測時間,成本透明度揭露完整總持有成本,而非僅看檯面上的GPU單價;能源效率則直接影響每度電所能產生的有效成果。Zettabyte認為,只要其中任何一個環節出現弱點,都可能推高每單位有用工作的真實成本。
除了推動優質算力概念外,Zettabyte也正積極推動zSUITE平台軟體授權計畫,並將與工研院及台灣多所設有AI課程與研究實驗室的大學展開合作。Zettabyte希望將目前已運用在生產環境的工具帶進校園與研究機構,協助培育下一代AI基礎設施人才,並厚植主權AI基礎設施所需的在地專業能力。
不只做AI硬體 台灣瞄準算力標準話語權
在Zettabyte眼中,台灣在全球AI供應鏈中的角色不只是製造,從半導體、先進封裝到AI伺服器與系統整合,台灣早已是全球AI基礎設施的重要支柱。除了建造AI系統外,台灣也有條件協助衡量AI基礎設施的優質算力標準。
「世界將持續仰賴台灣製造AI系統。」林子揚表示:「我們相信台灣也能協助界定何謂高品質AI基礎設施的標準,定義『優質算力』。」
他認為,下一階段的AI領導地位,不會僅由誰建置最多算力決定,應該交由誰能衡量、優化並證明其效能來決定。隨著全球AI投資持續加速,產業未來也將逐漸從採購算力容量,轉向採購算力成果,而可被衡量的品質,將成為AI基礎設施的重要競爭優勢之一。