Depuis quelques années, le marché des cartes graphiques a un problème de pénurie. Les raisons sont multiples et vont de l'essor des cryptomonnaies à une demande en forte hausse à cause des différents confinements ou de la sortie de consoles… et ce n'est pas fini. En effet, la montée en force des IA amène une demande assez élevée sur ce marché.
Un entraînement coûteux, un déploiement qui l'est encore plus
Un article de Forbes s'intéresse en effet aux coûts de ces technologies, et il est astronomique. La création des données employées par ChatGPT (l'entraînement) aurait nécessité environ 10 000 cartes graphiques Nvidia, un volume déjà conséquent. Mais une estimation sur le nombre de GPU exigé pour fournir les réponses aux utilisateurs donne le tournis : si Google devait recourir à des GPU pour répondre aux requêtes via l'IA, il faudrait un peu plus de 4 000 0001 de cartes graphiques A100, qui se négocient aux alentours de 20 000 € (dès 15 000 € pour la version 40 Go, si le cœur vous en dit). Le total dépasserait les 100 milliards de dollars, dont une bonne partie retomberait dans les poches de Nvidia.
Les NPU ne règlent pas les choses
L'article de Forbes évoque les expérimentations dans le domaine des NPU — Neural Processing Unit, les puces dédiées aux calculs liés à l'IA — comme celles présentes dans les iPhone depuis quelques années. Sur le papier, le développement des NPU permet une meilleure efficacité que les GPU car ils sont pensés pour un usage précis. En effet, même les cartes les plus haut de gamme de Nvidia ne réservent qu'une partie des transistors à cet usage et gardent des fonctions liées aux calculs classiques. Mais en pratique, les cartes graphiques conservent l'avantage d'une puissance élevée — une puce Nvidia A100 atteint 624 TOPs contre 17 pour un A16 — et la généralisation des TPU risque d'amener le même problème de pénurie.
De fait, les pénuries de composants ne sont pas attachées au type de produits directement, mais plutôt aux capacités de production. Pour un volume identique chez les grands fondeurs2, fabriquer des GPU ou des NPU ne change pas réellement la donne. Si une partie de l'offre part vers les NPU plutôt que les GPU ou si une partie des GPU part vers les serveurs, le résultat est à peu près le même sur le marché : il y a moins de cartes graphiques dans les étals.
La question principale, à laquelle il est difficile de répondre, vient de la manière dont les grands noms du secteur vont déployer les technologies. Selon SemiAnalysis, Google a par exemple utilisé des modèles moins étendus pour Bard, probablement pour réduire les coûts.
