Hasło słownika
Chunking
Przygotowanie dokumentów do RAG przez podział treści na mniejsze kawałki (chunki).
AIkategoria
1aliasy
Document chunking
Opis
Zbyt duże chunki marnują okno kontekstu, a zbyt małe tracą sens i kontekst. Dobre chunking uwzględnia strukturę: nagłówki, akapity, listy i tabele.
Przykłady
- PDF z regulaminem dzielisz na sekcje i podsekcje, nie co 500 znaków na ślepo.
- Artykuły z bloga tniesz po nagłówkach H2/H3, żeby zachować tematykę fragmentu.