Model językowy nie zna Twoich dokumentów. RAG najpierw znajduje odpowiednie fragmenty, a potem przekazuje je modelowi, aby odpowiedź na nich się opierała.
Jakość zależy przede wszystkim od przygotowania danych i wyszukiwania: nieaktualna instrukcja da nieaktualną odpowiedź.
Dobry system pokazuje źródło, aby odpowiedź można było sprawdzić, i mówi „nie wiem”, gdy brakuje danych.
Przed startem warto zmierzyć jakość na zestawie prawdziwych pytań.