Mac mini en cluster : une bonne idée en théorie, un casse-tête en pratique…
Un bloc d’aluminium de 11 cm de haut et 20 cm de côté pesant 4 kg. Un processeur à trente cœurs, douze ports Thunderbolt 3, deux ports Ethernet 10 Gb/s. Non, ce n’est pas le portrait-robot d’un futur « Mac Pro Cube ». C’est la description d’un cluster de trois Mac mini, une configuration promue par Apple sur scène et pendant les présentations presse. Une configuration que nous avons testée pendant quelques jours.
L’idée, qui consiste à mettre en commun les ressources de plusieurs machines, n’est pas nouvelle. Sans même parler des premières grappes d’ordinateurs au milieu des années 1960, il faut rappeler que le clustering était un argument de vente… du tout premier Mac mini. À l’époque, les administrateurs système utilisaient Xgrid pour former un cluster de Mac, et Xsan pour partager un système de stockage.
Non, y'a pas d'API système. Pas à ma connaissance.
@byte_order
« La firme de Cupertino encourage toutefois l’intégration de systèmes de calcul distribué au sein même des applications qui peuvent en bénéficier. »
Cette phrase me laisse perplexe du coup.
Encourage : appel de ses voeux.
En gros, messieurs les développeurs d'applications tiers, merci d'ajouter vous même dans vos applications un mécanisme distribuant le calcul sur plusieurs machines, afin que l'on puisse en vendre plus.
La firme de Cupertino pourrait encourager par exemple le support de plusieurs GPU. Mais comme elle ne vend aucune machine pouvant comporter plusieurs GPU (sauf ce malheureux Mac Pro 2013 aux double GPU dépassées et souvent, hélàs, désoudées avec le temps), elle le fait.
Elle encourage d'autres de faire à leur frais le travail qui lui permettra de facilement vendre plus de Mac, rien de plus.
@byte_order
Oui, on peut le voir comme ça.
Je suis d'accord. Apple reste un vendeur d'ordis.
Je suis tout de même surpris par cette mise en avant du calcul distribué, l'arrivée de l'ethernet 10 Gigabit sur le macmini... ou encore l'arrivée de la fenêtre extension dans fcpx (enfin) sur ce thème AlexAD : http://alex4d.com/notes/item/happy-7th-birthday-fcpx
Pour Compressor, depuis le départ il a la réputation d'être le moins rapide, de se caler sur la machine la plus lente, etc... d'être grossomodo fiable. Dans son blog, Alex4D signalez un minimum de coeurs pour avoir une instance de traitement supplémentaire...Je ne sais pas si c'est une piste : http://alex4d.com/notes/item/apple-compressor-spare-cores-macs
cela aurait été intéressant d'avoir ce test par des pros de la vidéo et pas par des amateurs dans ce domaine. Là... ça tourne de fait à la désinformation
déjà le simple fait de mentionner la différence de prix entre les câbles... :) on est vraiment dans une approche strictement amateur
et surtout la base, de la base de la base c'est de le faire sur EXACTEMENT les mêmes machines
hors cette condition votre test et votre article ne valent rien. j'ai un collègue qui l'a vu fonctionner en marge d'une rencontre Apple/Pros et ça tournait comme des horloges sans plantages.
@Pipes Chapman
Je n’irai pas traiter les journalistes de Macg d’amateurs car
1- je les aime d’amour depuis une quinzaine d’années (déjà !!)
2- ils sont plus au courant que moi des sujets qu’ils traitent
Mais ceci dit, la première chose qui m’est venue à l’esprit, c’est que leur cluster de test est sacrément hétérogène. En effet, et encore une fois sans rien y connaître, je me dis que ce genre de trucs pour que ça marche il faut que les machines soient strictement identiques.
Un expert pour nous éclairer ?
Très franchement, même si ce n'est pas optimal, un environnement hétérogène devrait quand même fonctionner.
En tout cas fut un temps, je faisais du rendu partagé entre différents Macs. Il y en avait qui allaient plus vite que d'autres et pis c'est tout.
Sur pour de l'encodage vidéo. Le GOP (ou une série de GOP, pour des plans courts par exemple) constitue une granularité évidente de distribution du calcul.
@Pipes Chapman
+1 Quand j’ai lu « ca marche pas mais on sait pas pourquoi » je me suis dit qu’ils auraient mieux fait de ne pas publier car ça a l’air d’un aveu d’incompétence...
ils peuvent pas le savoir, même étant des ingénieurs. c'est pas eux qui ont fait le logiciel, ou le système. eux ont appliqué l'exemple que Apple avait présenté. on voit la photo.
et c'est tout. ils pensaient que ça devait marcher sans problème. mais le cluster c'est ce qui a le plus compliqué dans ce domaine. et en général le matériel n'est pas facile le faire fonctionner. dès qu'on y arrive on touche plus à rien, par peur de tout recommencer.
pour ne pas dire que le logiciel Compressor est un outil de cinéaste et pas d'informaticiens. bref c'est un faux débat le professionnalisme de l'utilisateur, ou je sais pas quoi.
Clair. En tout cas, là on est chez Black & Decker, pas chez Festool !
Petite question : pourquoi avoir relié le cluster via Ethernet plutôt que Thunderbolt ?
Ce dernier étant intègre c'est à la fois un gain en vitesse et une économie appréciable.
Parce que l'implémentation de la distribution du calcul dans Compressor repose sur une technologie réseau.
Pour l'économie, euh, je vois pas en quoi Ethernet même 10GbE est plus couteuse que du Thunderbolt 3...
Technologie réseau ? Tu veux dire TCP/IP ?
C'est tout à fait possible sur TB, et ça économise l'option 10GBE et le switch qui va avec.
Je serais curieux de savoir comment ce sytème de cluster peut s'appliquer à des domaines comme le rendu d'images 3D, sachant que le rendu en réseau existe déjà dans ce type d'applications. Est-ce que les solutions de ces logiciels doivent être adaptées au Mac mini ?
le mac mini n'est qu'une machine comme une autre. si le logiciel le prend en charge le cluster, la machine n'importe peu. le mac mini n'est utilisé comme exemple par Apple que par rapport à sa taille, son design, et son rapport qualité (puissance)/ prix. on peut les ranger un sur l'autre, ça prend pas de place, et l'ensemble coute moins cher que si on utilise pour le cluster les autres ordinateurs de la marque.
Justement, je pensais que le Mac mini pourrait être une solution "clé en main" de coordination entre des ordinateurs avec du chaînage via TB3, sans configuration réseau compliquée et un seul ordinateur "maître" qui les contrôle tous. De sorte à avoir une "super machine" modulaire et capable de faire du multi-processeur sur des calculs lourds. Honnêtement je n'y connais rien à ce domaine de multi-ordinateur, donc je fantasme peut-être un peu sur le potentiel de ces "clusters" de Mac mini, donc merci pour ces éclaircissements.
@guigus31
je précise bien qu'ils sont amateurs dans ce domaine particulier...
Autrefois la machine la plus puissante "attendait" la (les) plus faible(s) et cela n'avait pas plus de conséquences. Aujourd'hui c'est plus compliqué
@Pipes Chapman
Oui oui, la première partie de ma réponse était écrite sur un ton léger, et j’ai bien compris que tu ne les accusait pas d’amateurisme généralisé, mais seulement sur ce point là ;)
(Et ce, de ton point de vue à toi)
@fte
Je suis informaticien et j'ai beaucoup de mal à identifier la cause de ce qui plante en général. Les conclusions rapides sont rarement justes.
Et pourtant ça n'est pas bien compliqué. Quand tu es systématiquement emm... avec le pack office après chaque mise à jour sous W10, alors que tu n'as aucun problème avec Office Mac, le responsable n'est pas à aller chercher très loin. Microsoft devrait sérieusement commencer à envisager de remplacer ses stagiaires codeurs par de véritables programmeurs.
Je ne suis pas informaticien non plus mais utilisateur de toutes les versions de Windows depuis la 3.1 (avant je fonctionnais même sous MS-DOS...) et même si les progrès de l'OS sont indéniables, il est juste inacceptable que les programmes de MS posent plus de problèmes sur les OS de MS que sur MacOS...
"alors que tu n'as aucun problème avec Office Mac"
Ahahahahahah hahah le fou rire du Week-end. C'est pour cette raison que ils publie passé 1Go de patch tout les 15 jours. Des bugs fumeux ? La modification de l'interlettrage à l'impression (+0.1points) qui rend tes formulaire foireux dans excel, qu'Office merde toujours depuis Office 2001 a gérer des documents stockés sur des points de partage à cause de ses fichiers temporaires dégueulasses, que la mise à jour 2019 volume soit distribuée en mise à jour alors que cela casse ta licence (et qu'ils distribuent le pkg pour la nouvelle licence APRES).
@ huexley
Je persiste: j'ai BEAUCOUP moins de problèmes avec Office Mac qu'avec Office Windows (la version 365 dans les deux cas).
Cela dit, je veux bien croire que tout ne soit pas rose avec ce pack de softs puisqu'il est développé par une équipe... Microsoft.
CQFD
Pages