Apple überrascht neuerdings mit einem ungewohnten Einsatzfeld, denn es lassen sich mehrere Mac Studios über „RDMA over Thunderbolt“ zu einem kleinen KI-Cluster zusammenschalten. RDMA ermöglicht dabei, den Arbeitsspeicher aller Geräte wie einen gemeinsamen Pool zu nutzen, ein großer Vorteil für sehr große KI-Modelle, die bisher weniger an Rechenleistung als am verfügbaren RAM scheiterten.

Schon ein einzelnes Mac Studio mit M-Ultra-Chip liefert außergewöhnliche Leistung bei extrem hoher Effizienz. Große Sprachmodelle laufen lokal, leise und mit deutlich weniger Energieverbrauch als bei vergleichbaren KI-Desktops von Nvidia oder AMD. Der große Unified Memory ist dabei der entscheidende Trumpf.

Im Cluster zeigt sich das eigentliche Potenzial, denn mit dem Open-Source-Tool EXO skaliert die Inferenzleistung mit jedem zusätzlichen Mac, weil Modelle nicht klassisch verteilt, sondern gemeinsam im Speicher gehalten werden. So lassen sich sogar Modelle mit mehreren hundert Milliarden bis hin zu einer Billion Parametern lokal ausführen.

Allerdings ist die Technik noch etwas unreif, da Thunderbolt die Skalierung auf maximal vier Geräte limitiert, die Verkabelung noch nicht ideal ist und auch die Software noch Instabilitäten zeigt. Auch macOS ist für klassisches Cluster-Management bisher nur bedingt geeignet. Unterm Strich zeigt das Setup dennoch, wie leistungsfähig und vielseitig Apples Hardware geworden ist – weshalb Apple wohl auch mehrere YouTuber angeschrieben hatte, um dieses neue Feature zu testen: