微軟(MSFT-US)Azure雲端硬體與基礎建設總裁Rani Borkar今(2)日於SEMICON發表主題演講，提出AI基礎建設發展的全新衡量方式，呼籲產業聚焦「提升有效產出」，不單以能建置多少運算容量定義AI基礎建設的成功與否，更需關注資源能以多高的效率轉化為真正有用的智慧。
Rani Borkar表示，過去幾年AI的發展體現在資料中心、晶片、記憶體與電力等資源的擴張規模，而要滿足當今AI基礎建設的需求，不再侷限於原始硬體容量(raw capacity)，更需要提升「有效產出(useful yield)」。
Rani Borkar進一步說明，提升有效產出，就是讓晶片、記憶體、網路與電力能更有效率地轉化為具備價值的成果，並透過增加每一分錢與每瓦電力所能產生的 token 數量、整體處理效能提升以及降低延遲等指標來衡量整體效益。
Rani Borkar指出，隨著每一代新 AI 對晶片、記憶體、電力與網路的需求增加，只仰賴基礎建設的擴充已不足以支撐未來發展，而是需要提升各層雲端架構的效率，也需透過跨領域技術整合才能實現突破性創新。
Rani Borkar提到，跨層設計(cross-layer design)將成為下一階段提升效率的關鍵，企業不應受限於單點優化零組件，微軟也採取從晶片到系統(silicon-to -systems)的方法，涵蓋晶片、記憶體、網路、電力、散熱、軟體、模型、工作負載和大規模營運等各個層面跨層整合。
整體而言，微軟將持續深化與生態系夥伴的合作，且將是提升AI效率、成本可控性與普及程度的關鍵。
※ 本文經「鉅亨網」授權轉載，原文出處
