Lors de la création de nos grands modèles de langage chez OpenAI, comme celui derrière ChatGPT, nous exploitons trois sources principales de données. Tout d’abord, nous utilisons toutes les informations publiques circulant librement sur le Web. Deuxièmement, nous accordons des licences pour des ensembles de données juteux provenant de divers tiers. Et enfin, nous absorbons toutes les contributions gracieusement fournies par des humains serviables – c’est-à-dire des utilisateurs comme vous ainsi que nos propres formateurs.
Permettez-moi maintenant de développer un peu ce contenu accessible au public que nous absorbons des interwebs. Nous collectons et utilisons ces données en totale conformité avec les lois sur la confidentialité pour améliorer progressivement nos modèles. Si vous êtes curieux d’en savoir plus sur la manière dont nous collectons et exploitons les informations que vous fournissez personnellement via les dialogues ChatGPT pour améliorer nos algorithmes, consultez notre politique de confidentialité. Nous avons également un article d’aide pratique expliquant comment vous pouvez refuser que vos conversations soient utilisées comme futur programme de formation.
Qu’est-ce que ChatGPT et comment ça marche ?
ChatGPT est un incroyable service basé sur l’IA accessible sur Internet. Il a la capacité d’organiser, de résumer et même de générer un nouveau texte. Le secret de l’intelligence de ChatGPT réside dans son processus de formation. En analysant de grandes quantités de textes existants, il apprend comment les mots s’emboîtent dans leur contexte. Il devient si efficace qu’il peut prédire le mot le plus susceptible de suivre la demande d’un utilisateur, et même les mots suivants. Considérez-le comme la fonctionnalité avancée de saisie semi-automatique que vous trouvez sur les moteurs de recherche, les smartphones ou les programmes de messagerie.
Pour illustrer cela, pendant la phase de formation du modèle, nous pourrions lui demander une phrase telle que « au lieu de tourner à gauche, elle a tourné ___ ». Au début, le modèle peut générer des mots aléatoires, mais à mesure qu’il explore d’innombrables lignes de texte, il acquiert une compréhension approfondie des structures de phrases et devient remarquablement précis pour prédire le mot suivant. Ce processus de formation est répété sur une vaste gamme de phrases, améliorant ainsi les compétences de ChatGPT à un niveau impressionnant.
Dans cette phrase spécifique, de nombreux mots potentiels pourraient suivre (par exemple, au lieu de tourner à gauche, elle a tourné « à droite », « autour » ou « en arrière »). Cela introduit un élément d’imprévisibilité dans les réponses du modèle, et il est assez courant que nos modèles fournissent des réponses différentes à la même question.
Les modèles d’apprentissage automatique se composent d’ensembles complexes de nombres appelés « poids » ou « paramètres », ainsi que de codes qui interprètent et utilisent ces nombres. Il est important de noter que les modèles ne possèdent ni ne conservent de copies des informations dont ils tirent leurs enseignements. Au lieu de cela, à mesure qu’un modèle apprend, certains nombres qu’il contient subissent de légères modifications pour refléter ses nouvelles connaissances. Dans l’exemple susmentionné, le modèle assimile les informations qui l’aident à passer de la génération aléatoire de mots incorrects à la génération de mots plus précis. Cependant, ces changements se produisent uniquement au sein de la représentation numérique interne du modèle. Le modèle ne stocke ni ne duplique les phrases qu’il lit.
Quel type d’informations est utilisé pour enseigner ChatGPT ?
Comme indiqué précédemment, ChatGPT et nos autres services sont développés à l’aide d’informations disponibles publiquement sur Internet, de données sous licence provenant de tiers et de contributions d’utilisateurs ou de formateurs. Cet article se concentre spécifiquement sur les informations accessibles au public.
En ce qui concerne cet ensemble de données, nous utilisons strictement des informations qui sont librement et ouvertement accessibles sur Internet. Nous ne recherchons pas d’informations auprès de sources payantes ou du dark web. De plus, nous avons mis en place des filtres stricts pour garantir que nos modèles n’apprennent pas ou ne génèrent pas de discours de haine, de contenu pour adultes, d’agrégateurs d’informations personnelles ou de spam. Après avoir appliqué ces filtres, nous utilisons les informations restantes pour entraîner nos modèles.
Il est important de noter que ChatGPT ne stocke ni ne copie les informations de formation dans une base de données. Au lieu de cela, il apprend les associations entre les mots et met à jour ses pondérations internes en conséquence. Ces associations apprises permettent au modèle de prédire et de générer de nouveaux mots en réponse aux demandes des utilisateurs. Nos modèles n’ont pas un accès continu aux informations de formation, de la même manière qu’une personne lit un livre puis le met de côté.
Les informations personnelles sont-elles utilisées pour enseigner ChatGPT ?
Bien qu’il existe une quantité importante de données personnelles sur Internet, il est important de noter que nous ne recherchons pas activement d’informations personnelles pour former nos modèles. Notre objectif principal est d’aider nos modèles à découvrir le langage et à le comprendre et à y répondre.
Soyez assuré que nous n’avons aucune intention d’utiliser les informations personnelles obtenues au cours de la formation pour créer des profils, contacter des personnes, annoncer des produits, vendre des informations ou nous engager dans toute forme d’activités de vente.
Cependant, il convient de mentionner que nos modèles peuvent tirer des enseignements des informations personnelles pour mieux comprendre comment les noms, adresses et autres détails associés sont utilisés dans le langage. De plus, ils peuvent également en apprendre davantage sur des personnes célèbres et des personnalités publiques, ce qui améliore en fin de compte leur capacité à fournir des réponses pertinentes et précises.