Языковая модель не знает ваших документов. RAG сначала находит подходящие фрагменты, а затем передаёт их модели, чтобы ответ опирался на них.
Качество зависит в первую очередь от подготовки данных и поиска: устаревшая инструкция даст устаревший ответ.
Хорошая система показывает источник, чтобы ответ можно было проверить, и говорит «не знаю», когда данных нет.
Перед запуском качество стоит измерить на наборе реальных вопросов.