四臺Mac Studio合體變身AI集群!1.5TB內存、硬件成本近30萬
作者:綜合 來源:娛樂 瀏覽: 【大 中 小】 發布時間:2025-12-27 08:41:11 評論數:
12月25日消息,合體近日知名工程師Jeff Geerling完成了一項挑戰,變身利用macOS 26.2最新的集群近萬系統特性,將四臺M3 Ultra Mac Studio成功合體,內存打造出一臺擁有1.5TB統一內存的硬件AI計算集群。
這次集群成功的成本關鍵在于macOS 26.2引入的一項核心功能RDMA over Thunderbolt 5,通過Thunderbolt 5接口,合體允許一臺Mac直接讀取另一臺的變身內存,無需CPU干預。集群近萬
在Geekbench 6的內存多核測試中,該集群輕松超越了Dell Pro Max with GB10和Framework Desktop,硬件雙精度浮點數性能更是成本達到了1TFLOPS以上,而閑置功耗低于10W。合體
在AI推理方面,變身單機運行Llama 3.2 3B模型時,集群近萬每秒可處理154.6個token;在運行大型Llama 3.1 70B模型時,每秒可維持14.1個token,這兩個測試的性能都遠超其他對手。
此外,在嘗試運行DeepSeek R1 671B超大型模型時,其他系統均無法正常運行,而Mac Studio 集群憑借其1.5TB的統一內存,完成了這一挑戰。
RDMA over Thunderbolt 5在這個AI集群中發揮了關鍵作用,在啟用RDMA后,內存訪問延遲從TCP的300微秒降至50微秒以下。
在使用exo系統測試Qwen3 235B時,四臺設備每秒可處理31.9個token,比llama.cpp TCP快了一倍以上;DeepSeek V3.1更是達到了每秒32.5個token。
雖然RDMA表現出色,但在高負荷時偶爾會出現系統崩潰的情況
另外值得注意的是,由Mac Studio組成的AI集群總硬件成本約為40000美元(約合人民幣28萬元),相比其他兩個平臺,這一價格更貴。
