GPT-4 est le système le plus avancé développé par la société OpenAI et publié le 14 mars 2023, créant des réponses plus sûres et plus utiles.
Introduire Architecture GPT-4
Dec 1, 2023
Entraînez-vous avec des commentaires humains
GPT-4 intègre davantage de commentaires humains, notamment ceux des utilisateurs de ChatGPT. Ces retours contribuent à améliorer les comportements et à les aligner sur les valeurs humaines. Le modèle est également formé avec la contribution Experts en recherche et en ingénierie en modélisation d’IA.
Recherche sur la sécurité optimisée par GPT-4
La capacité améliorée de GPT-4 à raisonner et à suivre les instructions contribue à accélérer le processus de recherche en matière de sécurité. Utilisé pour générer des données de formation afin d’affiner et d’itérer les classificateurs pendant la formation, les tests et la surveillance. Cela permet à ChatGPT de contribuer à la recherche pour garantir des opérations sûres et bénéfiques.
Amélioration continue à partir de l’utilisation réelle
Les leçons des modèles précédents tels que ChatGPT qui ont été déployés dans des contextes réels ont éclairé le système de sécurité de GPT-4. Sera régulièrement mis à jour et amélioré à mesure que davantage d’utilisateurs interagissent avec le système. Cela permet un dépistage continu.
Caractéristique
OpenAI a annoncé sur son blog que GPT-4 est « plus fiable, plus innovant et capable de gérer des instructions plus nuancées que GPT-3.5 ». L’organisation a produit deux versions de GPT-4 avec des fenêtres contextuelles de 8 192 et 32 768 jetons respectivement, une amélioration significative par rapport à GPT-3.5 et GPT-3, qui étaient limitées à 4 096 et 3 096 respectivement. 2 048 jetons. Contrairement à son prédécesseur, GPT-4 peut prendre des images ainsi que du texte en entrée.
Saisie intuitive
GPT-4 peut accepter des invites textuelles et visuelles, en plus des paramètres textuels uniquement, permettant aux utilisateurs de spécifier n’importe quelle tâche visuelle ou linguistique. Plus précisément, il génère des sorties textuelles (langage naturel, code, etc.) basées sur des entrées constituées de texte et d’images entrelacés. Dans de nombreux domaines, y compris les documents contenant du texte et des images, des diagrammes ou des captures d’écran, GPT-4 présente des fonctionnalités similaires à celles de la saisie de texte uniquement. En outre, il peut être amélioré par des techniques de synchronisation qui ont été développées pour les modèles de langage textuels, notamment les invites à quelques instants de temps et les invites à séquence de pensée. La saisie d’images est encore un aperçu de recherche et n’a pas été rendue publique.
Processus de formation
Comme les modèles GPT précédents, le modèle de base GPT-4 a été entraîné pour prédire le mot suivant dans le document et a été entraîné à l’aide de données accessibles au public (telles que des données Internet). Ainsi que les données pour lesquelles nous avons obtenu une licence. Les données sont un ensemble de données à l’échelle du Web qui comprend des solutions bonnes et mauvaises aux problèmes, des arguments faibles et forts, des déclarations contradictoires et incohérentes, et représentent une variété d’idéologies et d’idées différentes.
Par conséquent, lorsqu’une question lui est posée, le modèle de base peut répondre de différentes manières, ce qui peut être loin de l’intention de l’utilisateur. Pour l’adapter à l’intention de l’utilisateur dans le cadre de la protection, nous affinons le comportement du modèle à l’aide d’un apprentissage par renforcement avec retour humain (RLHF).
Notez que les capacités du modèle semblent provenir principalement de la pré-formation : le RLHF n’améliore pas les résultats des examens (sans effort actif, il dégrade en réalité les résultats). Mais la conduite du modèle vient de la post-formation : le modèle de base nécessite une ingénierie rapide pour savoir qu’il répondra aux questions.