RAG Chunk Visualizer
RAG-এর জন্য একটি ডকুমেন্ট কীভাবে বিভিন্ন চাঙ্কে বিভক্ত হয় তা দেখুন: চাঙ্কের আকার, ওভারল্যাপ, টোকেন সংখ্যা, এমবেডিং খরচ এবং রিট্রিভ করা কনটেক্সট
ডকুমেন্ট
LangChain-এর RecursiveCharacterTextSplitter-এর মতো: প্রথমে খালি লাইনে, তারপর নতুন লাইনে, বাক্যে ও শব্দে ভাগ করার চেষ্টা করে, যাতে চাঙ্কগুলোর অর্থ যথাসম্ভব অক্ষুণ্ন থাকে।
প্রিসেট (আকার / ওভারল্যাপ):
- চাঙ্ক সংখ্যা
- 3
- ডকুমেন্ট টোকেন
- 232
- গড় টোকেন / চাঙ্ক
- 81
- ন্যূনতম / সর্বোচ্চ টোকেন
- 46 / 126
- এমবেড করার মতো টোকেন
- 242
- ওভারল্যাপ ফ্যাক্টর
- 1.04×
আনুমানিক এমবেডিং খরচ: $0.000005
প্রতিটি প্রম্পটে যোগ করা কনটেক্সট: 323 টোকেন
ডকুমেন্ট ম্যাপ (হলুদ = পূর্ববর্তী চাঙ্কের সাথে ওভারল্যাপ)
পর্যায়ক্রমিক সারিগুলো পাশাপাশি থাকা চাঙ্কগুলোকে সহজে আলাদা করতে সাহায্য করে।
- #170 টোকেন280 অক্ষর0–280
# Retrieval-Augmented Generation Retrieval-Augmented Generation (RAG) gives a language model access to knowledge it was not trained on. Instead of fine-tuning, you split your documents into chunks, embed each chunk, and store the vectors in a database. ## Why chunking matters
- #2126 টোকেন503 অক্ষর255–75825 অক্ষর ওভারল্যাপ
## Why chunking matters At query time the question is embedded and the closest chunks are retrieved. If a chunk is too large, it dilutes the meaning and wastes context window. If it is too small, it loses the surrounding context and the answer gets cut in half. A common starting point is 256 to 512 tokens with 10 to 20 percent overlap. Overlap repeats the end of one chunk at the start of the next, so a sentence that straddles a boundary is still found whole in at least one chunk. ## Trade-offs
- #346 টোকেন184 অক্ষর743–92715 অক্ষর ওভারল্যাপ
## Trade-offs Larger overlap improves recall but increases the number of tokens you embed and store. Always measure retrieval quality on your own questions before settling on a size.
টোকেন সংখ্যা আনুমানিক (ইংরেজির জন্য প্রতি টোকেনে ~৪ অক্ষর, নন-ল্যাটিন অক্ষরের জন্য প্রতিটিতে ~১), কোনো মডেল টোকেনাইজারের নিখুঁত আউটপুট নয়। খরচ আপনার প্রোভাইডারের বর্তমান মূল্যের ওপর নির্ভর করে।