Marvell Technology 正受到華爾街投資者的關注，因為半導體市場在 AI 驅動的電力消耗危機中轉向能源效率。根據彭博報導，美國數據中心附近的電費在過去五年內上漲了 267%，影響了美國 50 州中的 13 州，因為 AI 工作負載消耗了大量電力。大型科技公司以批發價購買電力獲得折扣，而住宅用戶則承擔更高成本，促使業界優先採用低功耗晶片架構。韓東國際大學 AI 融合系的金學柱教授解釋，Marvell 在 2021 年收購晶片間訊號連接領域的領導者 Inphi，使其能夠應對 AI 的核心瓶頸：記憶體與處理單元之間的資料傳輸，這部分佔 AI 電力消耗的 40%。
AI 電力消耗導致美國數據中心地區電費飆升 267%
彭博報導，美國數據中心附近地區的電費比五年前上漲了 267%，目前影響美國 50 州中的 13 州，且地理範圍持續擴大。營運數據中心的大型科技公司以批發價購買電力獲得折扣，將成本負擔轉嫁給住宅用戶。AI 電力消耗可分為四類：資料傳輸（40%）、散熱與冷卻（35%）、運算（15%）以及資料儲存維護（10%）。NVIDIA 首席科學家 Bill Dally 表示，AI 從外部記憶體半導體（HBM）將資料傳輸至處理單元（GPU）所消耗的電力遠高於進行運算本身（計算本身）所需的電力。
半導體產業轉向 SRAM 與 CIM 架構以提升能源效率
業界正轉向更多使用位於 GPU 處理單元內部的 SRAM 記憶體，而非外部 HBM 記憶體，以縮短資料傳輸距離。當運算功耗為 1 時，從內部 SRAM 記憶體提取資料需要 5-10 單位電力，而從外部 HBM 記憶體提取資料則因銅線距離較長需放大訊號，消耗 100-1000 單位電力。包括 Groq 和 Cerebras 在內的公司設計了密集整合 SRAM 的晶片，完全省略外部 HBM 連接，儘管 SRAM 在容量、物理尺寸和成本上有所限制。業界也在開發將處理單元直接整合至記憶體的晶片內記憶體（CIM）架構，以進一步最小化傳輸距離。
Marvell Technology 透過收購 Inphi 取得競爭優勢
Marvell Technology 在 2021 年收購 Inphi，取得了半導體之間訊號連接方面的世界級專業技術。Inphi 在狹小晶片空間內的微尺度訊號連接以及光通訊網路解決方案領域均佔據主導地位。包括 Google、Microsoft 和 Amazon 在內的大型科技公司需要 Inphi 的智慧財產權來設計晶片對晶片（ASIC）網路，這使 Inphi 即使面對大型科技公司也擁有顯著的談判籌碼。業界正將資料傳輸媒介從銅線轉向基於雷射的光通訊，以減少從外部 HBM 記憶體提取大量資料時的功耗與熱量產生，而 Inphi 在此領域擁有頂級解決方案。
常見問題
美國數據中心附近的電費為何上漲 267%？
根據彭博報導，美國數據中心地區的電費在五年內上漲了 267%，原因為 AI 大量消耗電力，目前影響美國 50 州中的 13 州，且地理範圍持續擴大。
Marvell Technology 為何在 2021 年收購 Inphi？
Marvell 在 2021 年收購 Inphi，以取得晶片間訊號連接與光通訊網路的頂尖技術，這對於低功耗 AI 晶片架構至關重要，因為資料傳輸佔 AI 電力消耗的 40%。
SRAM 相較於 HBM 記憶體如何降低 AI 電力消耗？
位於 GPU 處理單元內部的 SRAM，在運算功耗為 1 時，提取資料只需 5-10 單位電力；而外部 HBM 記憶體因資料傳輸距離較長且需透過銅線放大訊號，消耗 100-1000 單位電力。
