Перейти к основному содержимому
kitlocal.dev

RAG Chunk Visualizer

Работает локально

На 100% обрабатывается в вашем браузере. Входные и выходные данные никогда не покидают ваше устройство.

Наглядное разбиение документа на фрагменты для RAG: размер фрагмента, перекрытие, подсчет токенов, стоимость эмбеддингов и извлекаемый контекст

Документ

Аналогично RecursiveCharacterTextSplitter из LangChain: сначала пытается делить по пустым строкам, затем по переносам строк, предложениям и словам, сохраняя максимальную семантическую целостность фрагментов.

Шаблоны (размер / перекрытие):
Фрагменты
3
Токены документа
232
Среднее токенов / фрагмент
81
Мин. / макс. токенов
46 / 126
Токенов для эмбеддинга
242
Коэффициент перекрытия
1.04×

Оценочная стоимость эмбеддингов: $0.000005

Контекст, добавляемый в каждый промпт: 323 токены

Карта документа (желтый = перекрытие с предыдущим фрагментом)

Чередование строк позволяет легко различать соседние фрагменты.

  1. #170 токены280 символы0–280
    # Retrieval-Augmented Generation
    
    Retrieval-Augmented Generation (RAG) gives a language model access to knowledge it was not trained on. Instead of fine-tuning, you split your documents into chunks, embed each chunk, and store the vectors in a database.
    
    ## Why chunking matters
    
    
  2. #2126 токены503 символы255–758Перекрытие: 25 симв.
    ## Why chunking matters
    
    At query time the question is embedded and the closest chunks are retrieved. If a chunk is too large, it dilutes the meaning and wastes context window. If it is too small, it loses the surrounding context and the answer gets cut in half.
    
    A common starting point is 256 to 512 tokens with 10 to 20 percent overlap. Overlap repeats the end of one chunk at the start of the next, so a sentence that straddles a boundary is still found whole in at least one chunk.
    
    ## Trade-offs
    
    
  3. #346 токены184 символы743–927Перекрытие: 15 симв.
    ## Trade-offs
    
    Larger overlap improves recall but increases the number of tokens you embed and store. Always measure retrieval quality on your own questions before settling on a size.
    

Количество токенов является оценочным (~4 символа на токен для английского языка, ~1 символ для нелатиницы), а не точным результатом токенизатора конкретной модели. Стоимость зависит от актуальных тарифов вашего провайдера.