본문으로 바로 가기
kitlocal.dev

RAG Chunk Visualizer

로컬에서 실행

100% 브라우저에서 처리됩니다. 입력과 출력이 기기 밖으로 나가지 않습니다.

RAG용 문서가 청크로 어떻게 나뉘는지 확인하세요: 청크 크기, 오버랩, 토큰 수, 임베딩 비용 및 검색된 컨텍스트

문서

LangChain의 RecursiveCharacterTextSplitter와 유사: 빈 줄, 줄바꿈, 문장, 단어 순서로 먼저 분할하여 청크의 의미론적 맥락을 최대한 보존합니다.

프리셋 (크기 / 오버랩):
청크 수
3
문서 토큰 수
232
청크당 평균 토큰
81
최소 / 최대 토큰
46 / 126
임베딩 대상 토큰
242
중첩 계수
1.04×

예상 임베딩 비용: $0.000005

각 프롬프트에 추가되는 컨텍스트: 323 토큰

문서 맵 (노란색 = 이전 청크와 중첩된 영역)

행이 교대로 표시되어 이웃한 청크를 쉽게 구분할 수 있습니다.

  1. #170 토큰280 글자 수0–280
    # Retrieval-Augmented Generation
    
    Retrieval-Augmented Generation (RAG) gives a language model access to knowledge it was not trained on. Instead of fine-tuning, you split your documents into chunks, embed each chunk, and store the vectors in a database.
    
    ## Why chunking matters
    
    
  2. #2126 토큰503 글자 수255–75825자 중첩
    ## Why chunking matters
    
    At query time the question is embedded and the closest chunks are retrieved. If a chunk is too large, it dilutes the meaning and wastes context window. If it is too small, it loses the surrounding context and the answer gets cut in half.
    
    A common starting point is 256 to 512 tokens with 10 to 20 percent overlap. Overlap repeats the end of one chunk at the start of the next, so a sentence that straddles a boundary is still found whole in at least one chunk.
    
    ## Trade-offs
    
    
  3. #346 토큰184 글자 수743–92715자 중첩
    ## Trade-offs
    
    Larger overlap improves recall but increases the number of tokens you embed and store. Always measure retrieval quality on your own questions before settling on a size.
    

토큰 수는 대략적인 추정치(영어 약 4자당 1토큰, 비라틴 문자 약 1자당 1토큰)이며 모델 토크나이저의 정확한 결과가 아닙니다. 비용은 제공업체의 현재 요금에 따라 달라집니다.