Un cluster de Mac Studio peut atteindre plusieurs To de RAM grâce au Thunderbolt 5

Avec macOS 26.2, Apple a activé une fonction intéressante pour les amateurs de calculs : le RDMA (Remote Direct Memory Access). L'idée, c'est de permettre aux apps d'accéder à la mémoire de plusieurs appareils Apple s'ils sont reliés en Thunderbolt 5. La technologie permet d'obtenir une latence acceptable pour ce type d'usage — moins de 50 microsecondes — avec une grande quantité de RAM. Jeff Geerling a par exemple relié quatre Mac Studio, ce qui a permis d'obtenir 1,5 To de RAM¹ (il a deux modèles avec 256 Go de RAM et deux autres avec 512 Go).

Dans son post (résumé de sa vidéo), il explique que le Mac Studio M3 Ultra seul offre déjà d'excellentes performances pour les calculs liés à l'IA, avec une efficience bien meilleure que des appareils basés sur les puces de Nvidia et d'AMD dans cette gamme. En reliant les quatre Mac Studio en Ethernet à 2,5 Gb/s puis en IP over Thunderbolt, le cluster de Mac Studio offre des gains intéressants, et le Thunderbolt montre des avantages évidents par rapport à l'Ethernet, grâce à une latence plus faible (qui est de l'ordre de 300 microsecondes selon lui).

Test du QNAP TVS-h874T : le NAS Thunderbolt 4 🆕

Avec l'activation du RDMA (qui nécessite un passage dans la partition de restauration, en ligne de commande), les gains peuvent être importants, comme il le montre. Avec des modèles de langage qui nécessitent plus que les 512 Go de RAM d'un Mac (il utilise Exo, un outil open source qui prend justement cette fonction en charge), c'est une solution pratique pour récupérer plus de mémoire. Bien évidemment, les logiciels doivent prendre en charge la possibilité de travailler en cluster. Sur un modèle avec 671 milliards de paramètres (DeepSeek V3.1), il est par exemple possible de passer de 21 à 32 tokens/s. C'est un gain qui n'est pas aussi élevé que l'investissement nécessaire pour quatre Mac Studio, mais qui reste assez intéressant.

Dans tous les cas, la solution d'Apple est intéressante pour ce type de calcul, et elle montre que la marque s'intéresse encore (bizarrement) aux serveurs et autres stations de travail pour des calculs. Et comme Jeff Geerling l'espère, il serait intéressant de voir une solution de ce type avec un Mac Pro équipé d'emplacements PCI-Express et de technologies dédiées plus rapides que le Thunderbolt pour la liaison.