RAG Chunk Visualizer
RAG용 문서가 청크로 어떻게 나뉘는지 확인하세요: 청크 크기, 오버랩, 토큰 수, 임베딩 비용 및 검색된 컨텍스트
문서
LangChain의 RecursiveCharacterTextSplitter와 유사: 빈 줄, 줄바꿈, 문장, 단어 순서로 먼저 분할하여 청크의 의미론적 맥락을 최대한 보존합니다.
프리셋 (크기 / 오버랩):
- 청크 수
- 3
- 문서 토큰 수
- 232
- 청크당 평균 토큰
- 81
- 최소 / 최대 토큰
- 46 / 126
- 임베딩 대상 토큰
- 242
- 중첩 계수
- 1.04×
예상 임베딩 비용: $0.000005
각 프롬프트에 추가되는 컨텍스트: 323 토큰
문서 맵 (노란색 = 이전 청크와 중첩된 영역)
행이 교대로 표시되어 이웃한 청크를 쉽게 구분할 수 있습니다.
- #170 토큰280 글자 수0–280
# Retrieval-Augmented Generation Retrieval-Augmented Generation (RAG) gives a language model access to knowledge it was not trained on. Instead of fine-tuning, you split your documents into chunks, embed each chunk, and store the vectors in a database. ## Why chunking matters
- #2126 토큰503 글자 수255–75825자 중첩
## Why chunking matters At query time the question is embedded and the closest chunks are retrieved. If a chunk is too large, it dilutes the meaning and wastes context window. If it is too small, it loses the surrounding context and the answer gets cut in half. A common starting point is 256 to 512 tokens with 10 to 20 percent overlap. Overlap repeats the end of one chunk at the start of the next, so a sentence that straddles a boundary is still found whole in at least one chunk. ## Trade-offs
- #346 토큰184 글자 수743–92715자 중첩
## Trade-offs Larger overlap improves recall but increases the number of tokens you embed and store. Always measure retrieval quality on your own questions before settling on a size.
토큰 수는 대략적인 추정치(영어 약 4자당 1토큰, 비라틴 문자 약 1자당 1토큰)이며 모델 토크나이저의 정확한 결과가 아닙니다. 비용은 제공업체의 현재 요금에 따라 달라집니다.