Aller au contenu principal
kitlocal.dev

RAG Chunk Visualizer

Exécution locale

Traitement à 100 % dans votre navigateur. Vos entrées et sorties ne quittent jamais votre appareil.

Découvrez comment un document est découpé en fragments pour le RAG : taille des fragments, chevauchement, nombre de tokens, coût des embeddings et contexte récupéré

Document

Comme le RecursiveCharacterTextSplitter de LangChain : tente d'abord de couper aux lignes vides, puis aux sauts de ligne, aux phrases et aux mots, afin de préserver au maximum le sens.

Préréglages (taille / chevauchement):
Fragments
3
Tokens du document
232
Moyenne de tokens / fragment
81
Min. / max. de tokens
46 / 126
Tokens à vectoriser
242
Facteur de chevauchement
1.04×

Coût estimé des embeddings: $0.000005

Contexte ajouté à chaque prompt: 323 tokens

Carte du document (jaune = chevauchement avec le fragment précédent)

L'alternance des lignes permet de distinguer facilement les fragments voisins.

  1. #170 tokens280 caractères0–280
    # Retrieval-Augmented Generation
    
    Retrieval-Augmented Generation (RAG) gives a language model access to knowledge it was not trained on. Instead of fine-tuning, you split your documents into chunks, embed each chunk, and store the vectors in a database.
    
    ## Why chunking matters
    
    
  2. #2126 tokens503 caractères255–75825 caractères de chevauchement
    ## Why chunking matters
    
    At query time the question is embedded and the closest chunks are retrieved. If a chunk is too large, it dilutes the meaning and wastes context window. If it is too small, it loses the surrounding context and the answer gets cut in half.
    
    A common starting point is 256 to 512 tokens with 10 to 20 percent overlap. Overlap repeats the end of one chunk at the start of the next, so a sentence that straddles a boundary is still found whole in at least one chunk.
    
    ## Trade-offs
    
    
  3. #346 tokens184 caractères743–92715 caractères de chevauchement
    ## Trade-offs
    
    Larger overlap improves recall but increases the number of tokens you embed and store. Always measure retrieval quality on your own questions before settling on a size.
    

Le nombre de tokens est une estimation (~4 caractères par token en anglais, ~1 par caractère non latin) et non la sortie exacte du tokeniseur d'un modèle. Les coûts dépendent des tarifs actuels de votre fournisseur.