Le chunking

Prenons un jeu de conclusions avec ses pièces : 200 pages.

• Pour vous : un dossier
• Pour l'IA : un volume trop lourd à « avaler » d'un seul coup.

Sa fenêtre de contexte est limitée et ne peut pas tout avoir sous les yeux en même temps.

Résultat : si elle lit tout en bloc, elle risque l'indigestion… et la réponse à côté.

L'IA commence donc par trier et tailler dans le volume le « chunking » (découpage).

Le document est transformé en morceaux exploitables :

• assez courts pour être traités,
• assez riches pour garder du sens.

Découper, ce n'est pas appauvrir. C'est rendre le document exploitable.

Tout l'enjeu est là.

• Trop petit : on coupe en plein milieu d'un raisonnement et le morceau perd sa substance.
• Trop gros : on mélange plusieurs idées et le morceau devient flou.
• Le bon « chunk », c'est le juste équilibre : assez compact pour être lu et assez dense pour rester pertinent.

Même bien découpé, un document a un problème de bordures. La fin d'un morceau et le début du suivant sont souvent liés.

Pour éviter de casser le sens, la machine fait se chevaucher les morceaux. En jargon IA : « l'overlap ».

• Concrètement : les dernières lignes d'un bloc réapparaissent au début du suivant.

On découpe, oui. Mais sans rompre le fil.

Reprenons nos conclusions de 200 pages. L'IA procède en 5 étapes :

• « OCR » : extraction du texte
• « Chunking » : découpage en blocs
• « Embedding » : chaque bloc en vecteurs
• Stockage : les vecteurs sont indexés
• Recherche : seuls les passages pertinents sont remontés

L'IA ne lit pas 200 pages. Elle lit les bons morceaux. Qui dit mauvais découpage, dit mauvais extraits donc mauvaise réponse.