Le token

Vous écrivez une phrase : “Le tribunal rend sa décision.”

• Pour nous : 5 mots.
• Pour la machine : une suite de jetons appelés tokens.

Avant de comprendre quoi que ce soit, l'IA découpe votre phrase.

Ces morceaux deviennent l'unité de lecture de la machine.

Pour comprendre comment naissent et vivent les tokens-jetons, il faut imaginer ce qui s'est passé avant qu'on ne puisse utiliser l'IA. Oui rappelons-nous, ce temps a existé.

Des ingénieurs ont saisi des milliards de textes et ils les ont livrés à un algorithme.

Cet algorithme a procédé simplement à sa façon il a compté.

• Quelles lettres apparaissent souvent ensemble ?

• « O » et « N » reviennent souvent ensemble ? On les fusionne en seul segment « on ».
• « On » et « t » reviennent souvent ensemble ? On les fusionne en « ont ».

Et ainsi de suite, en fusionnant toujours les paires les plus fréquentes.

• Ainsi sont nés les tokens.

C'est comme prendre des notes en réunion.

• Si « gouvernement » revient 20 fois, on finit par écrire gouv.

La machine fait pareil, lettre par lettre de manière mécanique.

• Elle raccourcit les séquences fréquentes pour lire plus vite et plus efficacement.

Parce que garder tous les mots du monde serait impossible. Entre les langues, les noms propres, les termes techniques, il y aurait des millions de mots à gérer.

Les tokens permettent de tout reconstruire avec peu de pièces.

• Avec seulement quelques dizaines de milliers de tokens, l'IA peut recomposer n'importe quel mot.

Les mots fréquents restent souvent un seul token. Mais un mot rare peut être découpé en plusieurs morceaux.

• Par exemple : jurisprudence → plusieurs tokens.

L'algorithme ne connait ni la grammaire ni les syllabes. Il connait juste les statistiques. Donc le découpage peut nous paraitre bizarre mais pour la machine c'est le plus efficace.