Machin, Machine · Épisode 8

La comparaison de modèles

Sous la robe noire, la boîte noire.

L'analogie immobilière

Même mandat, autres réponses

Imaginez : vous cherchez un appartement.

  • Vous mandatez plusieurs agents immobiliers.
  • Tous reçoivent le même cahier des charges, mot pour mot.
  • En retour, des propositions très différentes.
  • Mission identique, réponses différentes.

Pourquoi ? Parce que les agents n'ont pas la même formation. Il en va de même pour les modèles d'IA.

Trois modèles dominants

Mistral, ChatGPT, Claude

Avec l'IA, c'est la même logique. Trois grands modèles dominent :

  • Mistral (Mistral AI, France)
  • ChatGPT (OpenAI, États-Unis)
  • Claude (Anthropic, États-Unis)
  • Chacun a été entraîné par une équipe différente, avec ses corpus, sa philosophie.

Pas les mêmes réflexes, pas les mêmes réponses.

Côté Droit

Un même arrêt, deux résumés

Demandez à deux modèles de résumer le même arrêt :

  • « Résume cet arrêt de la chambre sociale de la Cour de cassation ».
  • L'un insiste sur le raisonnement du juge.
  • L'autre met en avant le dispositif.

Aucun n'est faux, ils éclairent sous des angles différents.

  • Même question, réponses différentes.

Choisir selon la tâche

Pas de fidélité unique

On ne choisit pas un modèle une fois pour toutes.

  • Selon la tâche (résumer un arrêt, chercher dans une base, rédiger un mail), le modèle pertinent n'est pas le même.
  • Le bon réflexe : savoir lequel appeler et à quelle fin.

Le classement change tout le temps. Dans six mois, un nouveau modèle redéfinira la carte ?

Le bon réflexe

Garder son menu professionnel

Quel que soit le modèle, le menu professionnel s'impose :

  • Confidentialité et secret professionnel
  • Maîtrise de la circulation des données
  • Contrôle de la méthodologie de réponse
  • On ne délègue jamais, on utilise et dans le strict respect des règles professionnelles : secret, contrôle de l'opération et prise en charge personnelle de la réponse finale.