Лучше сначала сделать минимум чистки и убрать явные дубли, чтобы база не была совсем хаотичной. AI на голом сырье часто вгрызается в грязь и выдаёт бред. Потом можно взять простые инструменты с векторным поиском — они хоть немного смысл учитывают и не копируют старые записи без разбора. С форума или вики лучше синхронизацию настроить через API, чтобы не плодить ручную работу.