Electronique Mag - Le journal de l'électronique.

Le serveur Edge AI AIR-520, doté d’un processeur AMD EPYC de la série 7003, intègre des SSD SQ ai100 AI, des cartes GPU NVIDIA RTX, un SDK Edge AI et la plateforme NVIDIA AI Enterprise. Il offre ainsi une solution prête à être déployée.

Les outils d’IA générative tels que les grands modèles de langage (LLM) transforment la gestion des connaissances des entreprises en automatisant l’organisation, la récupération et l’analyse des données, stimulant ainsi la productivité et améliorant la prise de décision. Les LLM personnalisés améliorent la précision, tandis que l’entraînement en périphérie accroît la confidentialité des données, même si celle-ci peut être plus coûteuse. Cette solution prend en charge le réglage précis des LLM avec 1 à 4 cartes GPU et les SSD SQ ai100 AI, ce qui permet aux entreprises d’éduquer les LLM de manière rentable tout en sécurisant les données sensibles en périphérie.

Quatre solutions pour des applications diverses

Advantech propose quatre options : AIR-520-L13B/L33B/L70B et L70B-Plus, adaptées sur mesure à différentes échelles et applications. Le L13B est idéal pour les applications en temps réel telles que les chatbots et la traduction linguistique. Le L33B est adapté aux tâches plus complexes et améliore la productivité ainsi que l’innovation dans la création de contenu. Le L70B excelle dans l’analyse de données sophistiquées et la prise de décision dans des domaines spécialisés. Le L70B-Plus, qui est équipé de la plateforme logicielle NVIDIA AI Enterprise, permet des SDK d’IA de bout en bout fiables et optimisés, une prise en charge à long terme et des services de conseil d’experts, garantissant ainsi le déploiement efficace des applications d’entreprise.

Installation facile et rapide : Optimisé pour la rentabilité

Toutes les solutions incluent des SSD AI SQ ai100 exploitant la technologie aiDAPTIV+ de Phison. Ces SSD agissent comme une extension de la vRAM du GPU, ce qui permet au système d’affiner les LLM avec un minimum de cartes GPU. Cette approche permet, d’une part, de réduire l’obstacle budgétaire, et de proposer, d’autre part, le serveur Edge AI dans un format plus compact que les grands serveurs traditionnels montés en rack. Le serveur Edge AI AIR-520 a été conçu pour être utilisé dans une large gamme d’applications d’intelligence artificielle en périphérie. Avec sa taille comparable à celle d’un PC de bureau, il peut être monté en rack avec les accessoires appropriés. Son profil bas permet de déployer facilement un environnement où l’IA en périphérie peut être ajustée de façon précise, éliminant ainsi les problèmes d’espace et de maintenance.

Accélérer le développement de la GenAI grâce à des services logiciels

En plus des capacités de réglage précis des LLM, Advantech fournit un SDK Edge AI avec le GenAI Training Studio, le tout préchargé avec des modèles Llama-2 13B/33B/70B pour des applications telles que les chatbots et l’analyse de données. Cela permet de simplifier et d’accélérer l’apprentissage du modèle LLM spécifique au client, ainsi que l’évaluation des interférences sur le système AIR-520. La solution DeviceOn d’Advantech fournit, par ailleurs, des mises à jour OTA des logiciels/conteneurs. Elle permet également une gestion à distance, facilitant ainsi l’orchestration efficace de l’IA en périphérie et la maintenance à long terme.

Services de personnalisation

Pour les clients qui ont besoin de ce produit dans une variante sur mesure, l’équipe européenne DMS d’Advantech propose une large gamme de services locaux de conception et de fabrication.

https://www.advantech.com/