Les accélérateurs pour l'IA, les fameux NPU, sont souvent intégrés dans les systèmes sur puce (comme chez Apple, Qualcomm, etc.) mais peuvent aussi être connectés en externe, en PCI-Express. Si le Raspberry Pi 6 devrait probablement en intégrer un, il existe des cartes accélératrices pour le Raspberry Pi, les AI HAT.
La première version était équipée d'un NPU Hailo-8L, avec une puissance de 13 TOPS, l’unité de mesure classique dans le monde de l'IA. La seconde version, plus rapide, passait à 28 TOPS, avec des entiers sur 8 bits (INT8). C'est un peu moins que le NPU intégré dans les puces Apple, capable d'atteindre 36 TOPS dans les M4.
Une nouvelle carte IA pour le Raspberry Pi 5, qui double la puissance de la précédente
La nouvelle version (AI HAT+ 2) est équipée d'un Hailo-10H. Il est annoncé à 40 TOPS… mais sur des entiers de 4 bits (INT4). Sur les INT8, sa puissance se place entre la première et la seconde génération, avec 20 TOPS. Mais il a un avantage sur les deux autres : 8 Go de mémoire vive LPDDR4X. C'est une solution qui permet d'éviter d'utiliser la mémoire du Raspberry Pi pour les traitements et permet de lancer des LLM directement, même si la quantité de mémoire est bien trop faible en pratique pour employer des modèles performants. La mémoire intégrée augmente un peu le prix du NPU : il est proposé pour 130 $ (145 € en France). Ses créateurs indiquent qu'il est parfaitement pris en charge par les outils d'IA déjà déployés pour les Raspberry Pi, et qu'il est donc possible de remplacer un AI HAT+ par un AI HAT+ 2 sur une carte Raspberry Pi 5.
Des performances en retrait
Les tests de Jeff Geerling, spécialiste des cartes, montrent que les promesses du nouveau HAT sont un peu exagérées. Le nouveau modèle est moins rapide que le processeur du Raspberry Pi 5 dans la pratique, même s'il est plus efficient, avec une consommation un peu plus faible. Mais dans le cas d'un Raspberry Pi 5 qui est déjà un appareil frugal, les gains ne sont pas très importants. Dans les tests liés à l'analyse d'images en général, le nouveau modèle n'est pas réellement plus rapide que les versions précédentes non plus. Le problème principal vient de la quantité de mémoire : c'est un avantage intéressant, mais la quantité est trop faible pour creuser l'écart, spécialement avec un Raspberry Pi 5 doté de 16 Go de RAM.
