ตัวแบ่ง Markdown เป็น Chunk สำหรับ LLM
แบ่งเอกสาร Markdown ยาว ๆ ให้เป็น chunk ตาม token budget สำหรับ RAG pipeline และ LLM context window แบ่งแบบเข้าใจโครงสร้าง Markdown คง code block
Loading tool...
ตัวแบ่ง Markdown เป็น Chunk สำหรับ LLM คืออะไร?
ตัวแบ่ง Markdown เป็น Chunk สำหรับ LLM แบ่งเอกสาร Markdown ยาว ๆ ให้เป็น chunk ตาม token budget ออกแบบมาเพื่อ RAG pipeline, embeddings และ context window ของ LLM เครื่องมือจะ parse โครงสร้างเอกสารก่อน — heading, fenced code block และย่อหน้า — แล้วจัด block ลง chunk โดยไม่ให้เกิน token budget ที่ตั้งไว้ พร้อมตัวเลือกให้ทำซ้ำ block ท้ายสุดเป็น overlap และแนบ breadcrumb ของ heading เพื่อให้ทุก chunk มีบริบทของตัวเอง ทำงาน offline ในเบราว์เซอร์ทั้งหมด
ประโยชน์หลัก
- รองรับทุก context window: เลือก budget ตั้งแต่ 256 ถึง 8192 tokens ต่อ chunk
- เข้าใจ Markdown: code fence และตารางไม่ถูกตัดกลาง block
- เอื้อต่อการ retrieval: breadcrumb ของ heading ทำให้ embedding มีบริบทหัวข้อ
- ปลอดภัยตรงขอบ: overlap กันประโยคถูกตัดขาดตรงรอยต่อ chunk
- เป็นส่วนตัวและ offline: ประมวลผลเอกสารในเครื่อง ไม่มีการอัปโหลด
- พร้อมต่อ pipeline: export JSONL เสียบตรงกับ LangChain และ LlamaIndex
กรณีการใช้งาน
- •เตรียมเอกสารภายในสำหรับ RAG chatbot
- •แบ่ง API reference ยาว ๆ ให้เป็น section ที่ embed ได้
- •แบ่ง chunk ของ README และเอกสารออกแบบเพื่อทำ semantic search
- •ส่งเอกสารเข้า LLM ที่มี context window จำกัด
- •สร้าง evaluation dataset จาก chunk ของเอกสารเพื่อทดสอบ LLM
- •preprocess โน้ต Markdown สำหรับ vector database ในเครื่อง
วิธีใช้ตัวแบ่ง Markdown เป็น Chunk สำหรับ LLM
- วางหรืออัปโหลด Markdown: วางเอกสารของคุณลงในช่องข้อความ หรือกดปุ่มอัปโหลด .md เพื่อโหลดไฟล์จากเครื่อง ทุกอย่างประมวลผลในเบราว์เซอร์ ไม่มีการส่งข้อมูลออกไป
- ตั้ง token budget: เลือกจำนวน token สูงสุดต่อ chunk ตั้งแต่ 256 ถึง 8192 สูตร RAG ที่นิยมใช้คือ 512 หรือ 1024 พร้อม overlap 50-100 tokens
- เลือกตัวประมาณและตัวเลือก: ใช้อักขระ ÷ 4 สำหรับเอกสารภาษาอังกฤษ หรือคำ × 1.3 สำหรับภาษาไทยและอื่น ๆ เปิด heading context และการคุ้มครอง code block ตามต้องการ
- คัดลอกหรือ export chunk: ตรวจสอบ chunk ที่ได้พร้อมจำนวน token และ breadcrumb ของ heading แล้วคัดลอกทีละชิ้น คัดลอกทั้งหมด หรือดาวน์โหลดเป็น JSONL / Markdown
คุณสมบัติหลัก
- แบ่ง chunk ตาม token budget พร้อม preset ตั้งแต่ 256 ถึง 8192 tokens ต่อ chunk
- แบ่งแบบเข้าใจโครงสร้าง Markdown คง fenced code block และตารางให้อยู่ครบ
- ตัวประมาณ token สองแบบ: อักขระ ÷ 4 สำหรับภาษาอังกฤษ คำ × 1.3 สำหรับภาษาไทยและอื่น ๆ
- ปรับ overlap ได้ ยก block ท้ายสุดไปต่อที่ chunk ถัดไปเพื่อความต่อเนื่อง
- breadcrumb ของ heading (เช่น Guide / Install / Linux) แนบไว้ต้น chunk เพื่อเป็นบริบทตอน retrieval
- export chunk เป็น JSONL สำหรับ LangChain/LlamaIndex, เป็น Markdown หรือคัดลอกทีละชิ้น
คำถามที่พบบ่อย
การนับ token ทำงานอย่างไร?
เครื่องมือใช้ heuristic แบบ offline สองแบบ: อักขระ ÷ 4 (สูตรประมาณแบบ GPT ที่เหมาะกับภาษาอังกฤษ) และคำ × 1.3 (เหมาะกับภาษาไทยและภาษาอื่นที่ token ต่อคำต่างออกไป) ถ้าต้องการตัวเลขเป๊ะระดับใช้คิดเงิน ให้รันผลลัพธ์ผ่าน tokenizer ของผู้ให้บริการ — ตัวเลขตรงนี้ใช้วางแผน budget ของ chunk ไม่ใช่ใบแจ้งหนี้
ทำไมต้องคง code block ไว้ครบแทนที่จะตัดแบ่ง?
code block ที่ถูกตัดครึ่งจะเสียความหมาย: fence เปิด, ชื่อภาษา และ logic ปลายคนละ chunk ทำให้ embedding ของแต่ละครึ่งแทบไร้ประโยชน์ เครื่องมือจึงถือว่า code block เป็นหน่วยอะตอม และจะแบ่งตามบรรทัดเฉพาะเมื่อ block เดียวใหญ่กว่า budget ทั้งหมดจริง ๆ
overlap ระหว่าง chunk มีไว้ทำอย่างไร?
overlap ทำซ้ำ block ท้ายสุดของ chunk หนึ่งไว้ต้น chunk ถัดไป ทำให้ประโยคหรือไอเดียที่อยู่ใกล้ขอบอยู่ครบทั้งสอง chunk ช่วยเพิ่ม recall ตอน retrieval ใน RAG pipeline เพราะ query จับฝั่งไหนก็เจอ ค่าที่นิยมเริ่มต้นคือประมาณ 10-20% ของ budget
JSONL export ใช้ทำอะไร?
ไฟล์ JSONL (NDJSON) มี JSON object บรรทัดละหนึ่งชิ้น ประกอบด้วย index, จำนวน token โดยประมาณ, breadcrumb ของ heading และ text — รูปแบบเดียวกับที่ LangChain JSONLoader และ reader ของ LlamaIndex ใช้สร้าง vector index
เอกสารของฉันถูกอัปโหลดไปที่ไหนหรือเปล่า?
ไม่มีครับ เครื่องมือทำงานในเบราว์เซอร์ล้วน ๆ ด้วย JavaScript ฝั่ง client เอกสาร Markdown ไม่ออกจากเครื่องคุณ จึงปลอดภัยกับเอกสารภายใน, API spec ส่วนตัว และนโยบายที่เป็นความลับ