Les alternatives Open-Source de ChatGPT

Modèles génératifs d'IA : Comment ils fonctionnent

ChatGPT est dérivé de GPT-3.5 et GPT-4, des modèles d'IA générative modernes basés sur l'architecture Transformer. L'architecture Transformer est un type spécifique de réseau neuronal inventé par Google en 2017. Plus d'informations ici.

Les modèles d'IA génératifs sont essentiellement capables de générer du texte sur la base d'une entrée spécifique. En fonction de vos données d'entrée, vous pouvez demander à votre modèle d'IA de faire différentes choses pour vous. Par exemple, vous pouvez demander à votre modèle de catégoriser un morceau de texte, d'extraire des entités spécifiques d'un morceau de texte, de résumer un contenu important, de paraphraser un contenu, de répondre à des questions... et bien sûr d'agir comme un chatbot.

Tous les modèles présentés ci-dessous sont des modèles "fondamentaux", ce qui signifie qu'il s'agit de modèles bruts qui nécessitent généralement un apprentissage à quelques reprises ou une mise au point pour suivre correctement vos instructions. Cela signifie également que ces modèles n'appliquent aucun type de restriction par défaut.

Pour mieux comprendre comment exploiter ces modèles d'IA génératifs, nous vous recommandons de lire notre guide sur l'utilisation des modèles génératifs avec l'apprentissage à court terme : lire ici.

ChatGPT est un modèle génératif qui a été spécifiquement instruit pour se comporter comme un chatbot. Dans la suite de cet article, nous allons explorer des alternatives open-source à ChatGPT. Afin de les utiliser en mode conversationnel, vous devrez soit utiliser l'apprentissage à petite échelle pour l'IA conversationnelle, soit procéder à un réglage fin. Pour en savoir plus sur l'apprentissage à petite échelle pour l'IA conversationnelle, cliquez ici. Pour en savoir plus sur le réglage fin, cliquez ici.

LLaMA 3 par Meta

Meta a lancé la série LLaMA 3 de grands modèles de langage (LLM), qui est une suite de modèles de texte génératifs pré-entraînés et affinés, dont la taille varie de 7 à 70 milliards de paramètres. Les versions de ces modèles spécifiquement adaptées à la conversation, connues sous le nom de Llama-2-Chat, sont conçues pour les applications de dialogue. Comparés aux modèles de conversation librement disponibles, les modèles Llama-2-Chat affichent des performances supérieures dans la plupart des points de référence évalués et, sur la base de nos évaluations de l'utilité et de la sécurité, ils égalent les performances de certains modèles propriétaires bien connus tels que ChatGPT et PaLM.

LLaMA 3 incorpore un modèle linguistique auto-régressif construit sur un cadre transformateur amélioré. Ses versions améliorées font l'objet d'un réglage fin supervisé (SFT) et d'un apprentissage par renforcement avec retour d'information humain (RLHF) afin de mieux s'aligner sur les attentes humaines en matière d'utilité et de sécurité.

Le développement de LLaMA 3 s'est étalé de janvier à juillet 2023, sa phase de pré-entraînement s'appuyant sur plus de 2 000 milliards de jetons issus de données accessibles au public. La phase de mise au point a utilisé des ensembles de données d'instruction accessibles au public et a inclus plus d'un million de nouveaux exemples annotés par des humains. Aucune des données utilisées dans les phases de pré-entraînement ou de réglage fin ne provient des données des utilisateurs de Meta. Alors que les données de pré-entraînement ont été collectées jusqu'en septembre 2022, certaines des données pour le réglage fin sont plus récentes, allant jusqu'en juillet 2023.

LLaMA 3 est conçu pour des applications commerciales et de recherche, principalement en anglais. Les modèles affinés sont adaptés à la création d'applications de chat semblables à des assistants numériques, tandis que les modèles pré-entraînés sont suffisamment polyvalents pour être adaptés à diverses utilisations de génération de langage naturel.

Vous pouvez facilement utiliser LLaMA 3 sur NLP Cloud : Essayez-le ici.

Mixtral 8x7B de Mistral AI

Mixtral surpasse LLaMA 3 70B dans la majorité des évaluations et fournit des taux d'inférence six fois plus rapides. Il se distingue comme le modèle le plus puissant en accès libre et le meilleur choix en termes de coût-efficacité. Plus précisément, il égale ou dépasse les performances de GPT3.5 dans la plupart des tests reconnus.

Mixtral est capable de gérer jusqu'à 32k tokens en douceur, de prendre en charge plusieurs langues telles que l'anglais, le français, l'italien, l'allemand et l'espagnol, de présenter des capacités exceptionnelles de génération de code et d'être finement réglé pour suivre des instructions, obtenant un score de 8,3 sur MT-Bench.

À la base, Mixtral est un réseau de mélange d'experts peu dense, fonctionnant comme un modèle de décodeur uniquement. Sa structure permet de sélectionner 8 groupes de paramètres différents au sein du bloc de rétroaction. Un réseau de routeurs dédié à chaque couche sélectionne deux de ces groupes, ou "experts", pour traiter chaque jeton, en combinant leurs résultats de manière additive.

Cette méthode permet d'étendre les paramètres d'un modèle tout en gérant efficacement les coûts et la latence en n'utilisant qu'une partie des paramètres disponibles pour chaque jeton. Plus précisément, Mixtral possède un total de 46,7 milliards de paramètres, mais n'en applique que 12,9 milliards par jeton, ce qui permet d'obtenir une vitesse de traitement et un coût équivalents à ceux d'un modèle de 12,9 milliards.

Mixtral a été développé à partir de données provenant de l'internet public, avec la formation simultanée d'experts et de routeurs.

Vous pouvez facilement essayer Mixtral 8x7B sur NLP Cloud : Essayez-le ici.

Yi 34B par 01 AI

Les modèles de la série Yi représentent la dernière avancée en matière de grands modèles linguistiques open-source développés à partir de la base par 01.AI. Ces modèles, destinés à une utilisation bilingue, ont été entraînés sur un énorme ensemble de données multilingues de 3 téraoctets, ce qui les place parmi les modèles linguistiques les plus puissants au monde, avec de fortes capacités de compréhension du langage, de raisonnement et de compréhension de la lecture.

Le modèle Yi-34B-Chat a obtenu la deuxième position, juste derrière le GPT-4 Turbo, et a dépassé d'autres grands modèles linguistiques comme le GPT-4, Mixtral et Claude dans le classement AlpacaEval, ce classement étant basé sur des données allant jusqu'à janvier 2024. En ce qui concerne les modèles open-source, le Yi-34B a obtenu la première place pour les tâches en anglais et en chinois sur plusieurs benchmarks, devançant des modèles comme Falcon-180B, Llama-70B et Claude, selon les classements du Hugging Face Open LLM Leaderboard (pré-entraîné) et du C-Eval, avec des données prises en compte jusqu'en novembre 2023.

Structurée de manière similaire à l'architecture du modèle Llama, la série Yi permet aux utilisateurs d'accéder et d'utiliser l'écosystème existant d'outils, de bibliothèques et de ressources conçus pour Llama. Cette compatibilité simplifie le processus pour les développeurs, en éliminant la nécessité de développer de nouveaux outils et en améliorant la productivité des processus de développement.

Vous pouvez facilement essayer Yi 34B sur NLP Cloud : Essayez-le ici.

DBRX de Databricks

DBRX est un grand modèle linguistique construit sur une architecture de transformateur qui se concentre uniquement sur le décodage et utilise une méthode connue sous le nom de prédiction du prochain mot pour son apprentissage. Il présente une structure détaillée de mélange d'experts (MoE), avec un grand total de 132 milliards de paramètres, dont 36 milliards sont utilisés pour toute entrée donnée. Le modèle a fait l'objet d'un pré-entraînement sur un vaste corpus de 12 000 milliards de tokens, comprenant à la fois du texte et du code, jusqu'à une date limite fixée à décembre 2023. Ce mélange de données d'entraînement comprend essentiellement des exemples de langage naturel et de codage, dont une grande partie en anglais.

DBRX se distingue par son approche fine de l'utilisation des experts, qui fonctionne avec 16 experts et en sélectionne 4 pour chaque tâche, contrairement à d'autres modèles MoE comme Mixtral-8x7B et Grok-1, qui disposent de 8 experts mais n'en choisissent que 2. Cette approche permet de multiplier par 65 les combinaisons possibles d'experts, ce qui se traduit par une amélioration notable des performances du modèle. DBRX incorpore des caractéristiques avancées telles que les codages de position rotatifs (RoPE), les unités linéaires gated (GLU) et l'attention de requête groupée (GQA) pour ses opérations.

Pour son pré-entraînement, DBRX a été alimenté par 12 billions de jetons provenant d'un ensemble de données méticuleusement compilé, avec une gamme de contextes s'étendant jusqu'à 32 000 jetons. L'équipe à l'origine de ce projet, Databricks, estime que cet ensemble de données offre une qualité par jeton deux fois supérieure à celle des données utilisées pour la famille de modèles MPT.

L'ensemble de données a été créé à l'aide de la boîte à outils complète de Databricks, qui comprend Apache Spark™ et les notebooks Databricks pour le traitement des données, ainsi que Unity Catalog pour les gérer et les gouverner. Databricks a mis en œuvre une approche d'apprentissage curriculaire au cours de la phase de pré-entraînement, en ajustant la combinaison de données d'une manière qui a considérablement augmenté la qualité du modèle.

Le DBRX est programmé pour traiter uniquement les entrées textuelles et est capable de traiter des entrées d'une longueur maximale de 32 768 tokens.

Conclusion

ChatGPT est un étonnant moteur de chatbot capable de répondre à des questions très pointues. Ce moteur d'IA est en fait plus pertinent que la plupart des humains dans de nombreux domaines.

Cependant, ChatGPT peut soulever des problèmes de confidentialité des données et est limité pour de nombreux cas d'utilisation. Il est intéressant de comparer ChatGPT aux alternatives open-source les plus avancées : LLaMA 3, Mixtral 8x7B, Yi 34B et DBRX. Et il ne fait aucun doute que des modèles d'IA open-source encore plus avancés seront bientôt mis sur le marché.

Si vous souhaitez utiliser LLaMA 3, Yi 34B, et Mixtral 8x7B, en production, n'hésitez pas à faire un essai sur l'API NLP Cloud. (Essayez-le ici)!

Juliette
Responsable marketing chez NLP Cloud