@Shaskan

Il me semble qu’Apple fonctionne comme ça : ils sont souvent à la ramasse dans un domaine, jusqu’à que leur offre soit prête et qu’ils la présentent d’un coup

@Shaskan

Comme dans la plupart des domaines non? 🫤

@ Shaskan : « Apple semble vraiment à la ramasse en terme d’IA non ? »

Sur ce coup, pas forcément.

On a en effet ici deux choses pas tout à fait comparables. Le service de dictée de MacOS est une fonction de l’OS mise à disposition des applications — un truc qui doit pouvoir tourner en plus de ce que fait l’application dans laquelle on l’utilise, démarrer quasi-instantanément et transcrire en temps réel. Il ne peut donc pas utiliser un gros modèle, que ce soit en termes d’occupation mémoire ou de puissance CPU/GPU nécessaire.
Ce n’est pas pensé pour servir de base à une application dédiée 100% à de la transcription, comme celle-ci. Il n’est donc pas étonnant que ce ne soit pas adapté à cet usage.

À côté de ça, une application utilisant un gros modèle tel que Whisper et dont le mode de fonctionnement est de consacrer autant de ressources que nécessaire à la transcription donnera évidemment de meilleurs résultats. Surtout si on ne s’embarrasse même pas de la contrainte d’une réponse en temps réel.

-

Les modèles entrainés se font sur des serveurs et nécessitent en effet beaucoup de puissance de calcul et de place.
Après, l'exploitation en elle-même de ce modèle peut se faire à distance ou en local. Dans ce cas ils sont juste téléchargés sur ta machine (et peuvent prendre plusieurs gigaoctets). Après il y a l'optimisation de l'application, quel type de modèle est utilisé, etc.
Bref, plein de paramètres qui peuvent faire varier énormément la qualité des résultats.

@MacPlusEtc

🛵 🚜 « ca me rappelle les informaticiens des mini VAX qui nous regardaient en rigolant avec nos macs 512k »

Intéressant, car cela ne cadre pas du tout avec mon expérience.
J’ai eu mon 512k pour travailler sur un projet déjà en cours chez DEC : utiliser le Mac comme front-end graphique pour VAX. Pas simplement comme terminal ; des émulations VT100+, ça existait déjà. Mais pour partager le traitement : le « heavy number crunching » sur VAX, la visualisation en local sur Mac, utilisant les nouvelles possibilités de QuickDraw etc. Je vous garantis que les gens de DEC avec qui je travaillais prenaient le Mac très au sérieux et voulaient ancrer la complémentarité et subsidiarité entre les deux plateformes.

Et ce n’est en aucun cas le Mac qui a hâté la mise au rancart des VAX et Cie.
À ce moment-là, 10 ans plus tard, le Mac n’était plus en fière posture, et son pronostic vital engagé. Pour faire bref : l’essor du modèle client-serveur sur des machines cheap ; les erreurs stratégiques du management de DEC (la seule gageure d’entretenir 4 systèmes et architectures differentes aurait coulé une moindre barque) ; l’hémorragie financière ; la désertion d’équipes OS cruciales autour de Dave Cutler, parti chez Microsoft créer Windows NT (OS dont on peut arguer qu’il sauva MS en entreprise autant que NeXT sauva Apple tout court, mais d’une manière bien moins perceptible pour le public.)

Les réserves émises alors par les ingénieurs de DEC à l’égard de ce qui était calculable en local versus ce qui nécessite une capacité scalable et distribuée visaient des unités qui ont depuis changé plusieurs fois d’échelle, voire d’exposant. Mais sur le principe, elle sont toujours pertinentes ; davantage même, s’agissant de problèmes en deep AI.

Moi aussi ça mouline fortement sur mon MBP qui est un Intel de 2020 (2Ghz, core i5 4 coeurs 16 Go de Ram) mais le résultats est extraordinaire. Il me faut quand même près de 6h pour retranscrire 1h d'audio en poussant les réglages au maximum (modèle avancé et accurate au plus haut).

@nicolasf : est-ce que sur un Mac Studio, en poussant tout au maximum dans MacWhisper, la durée de retranscription est plus courte et est-ce que le Mac Studio sait la gérer sans faire beaucoup entendre ses ventilateurs comme mon MBP 2020 ?

"Macwhisper est vraiment génial. Je travaille dans l'audio-visuel, et je peux vous dire que je l'ai déjà adopte en production"

je suis en train de le télécharger essentiellement dans ce but :)