Electronique Mag - Le journal de l'électronique.

Kinara™, Inc., annonce ce jour le lancement du processeur Edge AI Ara-2, alimentant des serveurs et ordinateurs portables de périphérie et présentant le niveau de performances, de rapport coût/efficacité et d’efficacité énergétique nécessaires pour faire tourner des applications telles que l’analyse vidéo, les grands modèles de langage et autres modèles d’IA générative. Le processeur Ara-2 est également idéal pour les applications en périphérie faisant tourner des modèles IA classiques et des modèles IA à la pointe de la technologie dotés d’architectures basées sur des transformateurs. Doté d’un ensemble de fonctionnalités améliorées par l’expérience et de performances 5 à 8 fois supérieures à celles du processeur Ara-1 de première génération, le Ara-2 de Kinara associe la réactivité en temps réel et le haut débit, fusionnant sa conception optimisée à faible latence ayant fait ses preuves avec des capacités de mémoire intégrées parfaitement équilibrées et une largeur de bande hors puce élevée, lui permettant d’exécuter les grands modèles avec une latence extrêmement faible.

Les grands modèles de langage et l’IA générative en général sont devenus incroyablement populaires, mais la plupart des applications qui y sont associées fonctionnent sur des GPU dans des centres de données, freinés par une grande latence, des coûts élevés et une sécurité des données douteuse. Afin de résoudre ces problématiques et de mettre la puissance de calcul littéralement entre les mains de l’utilisateur, le processeur Ara-2 de Kinara simplifie la transition vers la périphérie grâce à une compatibilité avec plusieurs milliards de paramètres utilisés par les modèles d’IA générative. De plus, afin de faciliter la migration depuis des GPU onéreux pour un grand nombre de modèles d’IA, le moteur de calcul du Ara-2 et le kit de développement logiciel associé (SDK), sont spécifiquement conçus pour être permettre une quantification ultra précise, un temps d’exécution de l’hôte significativement modéré et une compatibilité FP32 directe.

« Grâce à l’ajout du Ara-2 à notre famille de processeurs, nous pouvons, afin de répondre aux attentes de nos clients, offrir de meilleures performances et options tarifaires. Par exemple, le processeur Ara-1 est la solution qui convient pour les caméras intelligentes ainsi que pour les appareils IA de périphérie dotés de 2 à 8 flux vidéo, tandis que le Ara-2 est fortement recommandé pour la gestion de 16 à 32 flux vidéo (voire plus) envoyés vers des serveurs de périphérie, ainsi que vers des ordinateurs portables, voire des caméras haut de gamme », explique Ravi Annavajjhala, le PDG de Kinara. « Le Ara-2 permet une meilleure détection, une meilleure reconnaissance et un meilleur suivi des objets, grâce à ses moteurs de calcul avancés qui peuvent traiter des images en plus haute résolution plus rapidement et avec une précision significativement meilleure. »

À titre d’exemple en termes de capacités de traitement des modèles d’IA générative, le Ara-2 peut aller à une vitesse d’environ 0,5 seconde par itération pour le modèle Stable Diffusion, et jusqu’à plusieurs dizaines de jetons/seconde pour le modèle LLaMA-7B.

En octobre, la société Ampere a accueilli Kinara au sein du groupe AI Platform Alliance avec pour objectif premier de réduire la complexité du système et favoriser une meilleure collaboration et ouverture vis-à-vis des solutions IA, afin de fournir de meilleures performances globales, davantage de puissance de calcul et un meilleur rapport coût/efficacité qu’avec des GPU. Sean Varley, évangéliste technologique chez Ampere souligne : « Les performances et l’ensemble de fonctionnalités du Ara-2 de Kinara constituent un pas dans la bonne direction pour nous aider à proposer au marché de meilleures alternatives IA que les solutions actuelles basées sur des GPU. »

Le Ara-2 offre également le démarrage sécurisé, l’accès mémoire chiffré et une interface d’hôte sécurisée pour permettre les déploiements IA en entreprise avec encore plus de sécurité. Kinara offre également un SDK complet pour le ARA-2 qui comprend un compilateur de modèle et un programmateur d’unité de calcul, des options de quantification flexibles dont le quantificateur Kinara intégré ainsi que la compatibilité avec les modèles pré-quantifiés PyTorch et TFLite, un équilibreur de charges pour les systèmes multi-puces et un temps d’exécution de l’hôte modéré dynamiquement.

Le Ara-2 est disponible en tant que composant autonome, module USB, module M.2 et carte PCIe intégrant plusieurs processeurs Ara-2. Kinara procèdera à une démonstration en direct du Ara-2 lors du salon CES. Prenez contact avec Kinara pour obtenir un rendez-vous dans notre suite de réception à l’hôtel Venetian les 9, 10 ou 11 janvier 2024.

https://www.kinara.ai/