Пока тоже только разбираюсь с этим RAG, но кажется, что ключ — в нормальном индексировании базы, чтобы нейросеть быстро находила нужные куски. PDFs часто конвертят в текст, потом делают векторы для поиска, чтобы потом брать релевантные параграфы. Читал, что без базы GPT иногда «плывет» в фактах, а с RAG получается точнее. Правда, скорости иногда падают, если база большая, придется баланс искать.