
Дообучил LLM на 0,8B для RAG на 20 языках: точность 74% → 94%, 7 секунд на вопрос на CPU
Нужна многоязычная RAG-модель, работающая на CPU. Передаёшь ей текст и задаёшь вопрос — она находит ответ в тексте. Если ответа в тексте нет, она не выдумывает его, а отвечает: «ответа нет». Я попробовал создать такую модель, дообучив Qwen3.5 0.8B (800 млн параметров). Она поддерживает 20 языков.
Сначала выводы.
- Точность выросла с 73,8% до 93,8%. Модель всего в одну пятую размера Qwen3-4B без дообучения (94,7%) отстала от неё лишь на 1 пункт
- Главный эффект — модель перестала «выдумывать». Исходная 0.8B при подаче длинного текста без ответа всё ещё пыталась что-нибудь ответить почти в 40% случаев
- 7 секунд на один вопрос на CPU. Столько занимает прочитать текст примерно на 2 500 токенов и дать ответ. У 4B на это уходит 60 секунд
- Преодолеть 95% не удалось. Я менял скорость обучения, число эпох и объём данных, но результат остановился на 94%. Похоже, это предел размера 0.8B
Как измерялось
Я составил задачи по Википедии на 20 языках: японском, английском, китайском, хорватском, хинди и других. Для каждого вопроса модели давали четыре типа текста.
- Абзац: короткий абзац, содержащий ответ
- Длинный контекст: текст на несколько тысяч токенов, в который абзац с ответом смешан с нерелевантными статьями
- Нет ответа (короткий и длинный): текст без ответа. Правильным считается ответ «ответа нет»
Среднее по этим четырём типам называется «точностью». Задачи генерировала и оценивала Qwen3-32B. Чтобы проверить, не смещена ли оценка в сторону Qwen, я также переоценил их другой моделью — gpt-oss-120b: разница составила не более 0,5 пункта.
Дополнительно я проверил модель на задачах другого типа.
- XQuAD: версии на 8 языках с вопросами, написанными людьми
- hr0: хорватский тест, ранее созданный другой моделью
Если тестировать только на задачах, созданных так же, как обучающие данные, невозможно понять, стала ли модель лучше или просто привыкла к их формату.
Исходная 0.8B придумывает ответы, когда их нет
Вот результаты Qwen3.5-0.8B до дообучения — средние по 20 языкам.
| Абзац | Длинный контекст | Короткий без ответа | Длинный без ответа |
|---|---|---|---|
| 68,9 | 71,0 | 87,9 | 63,2 |
Если дать длинный текст без ответа, модель всё же что-то отвечает почти в 40% случаев. Для хинди результат был всего 15 пунктов. Для RAG это проблема.
Что я пробовал
Обучение проводилось на RTX PRO 6000 (96GB), арендованной на vast.ai.
1. LoRA на RAG-данных для 20 языков
Обучающие данные: 20 языков × 500 вопросов. Из них были сделаны примеры с четырьмя типами текстов — всего 18 025 примеров. Правильный ответ состоял из одного предложения; если ответа не было, использовалась устойчивая формулировка «ответа нет» на соответствующем языке.
Одна эпоха LoRA (rank 64) заняла 1,7 часа.
| Абзац | Длинный контекст | Короткий без ответа | Длинный без ответа | |
|---|---|---|---|---|
| Исходная 0.8B | 68,9 | 71,0 | 87,9 | 63,2 |
| После LoRA | 91,7 | 89,0 | 98,4 | 93,4 |
Улучшение оказалось резким уже на этом этапе. Для длинных текстов без ответа результат вырос с 63 до 93, то есть выдумывание фактов почти исчезло.
Кстати, когда я сначала пробовал 2B, оказалось, что даже обучение только на трёх языках — хорватском, немецком и турецком — улучшило все 20 языков. Слабость исходной модели, по-видимому, заключалась не в знаниях или понимании текста, а в привычке следовать инструкции: отвечать либо отказываться.
2. На вопросах, написанных людьми, модель слишком быстро отказывается отвечать
На XQuAD с вопросами, написанными людьми, модель часто отвечала «ответа нет», хотя ответ в тексте был.
Например, на вопрос «Как ещё называют ротор?» в абзаце было сказано лишь «вращающийся диск». На таких задачах, где вопрос и абзац используют разные формулировки, модель отказывалась отвечать.
Причина оказалась в обучающих данных. Qwen3-32B, создававшая вопросы, часто использовала в вопросе те же формулировки, что и в абзаце. Похоже, модель усвоила правило: «если точных слов не нашлось — откажись».
Поэтому я добавил данные другого характера: попросил gpt-oss-120b сгенерировать по 400 вопросов на язык.
- Вопросы с иной формулировкой, чем в абзаце
- Обрывочные фрагменты, похожие на поисковую выдачу
- Сбивающие с толку статьи, связанные с темой, но не содержащие ответа
- Длинные контексты от 1K до 8K токенов
После этого результаты XQuAD выросли: для абзацев — с 79,6 до 83,6, для длинного контекста — с 75,5 до 79,2. Почти весь эффект в этот раз дал именно этот набор данных.
Далее использовалось уже не LoRA, а обучение всех параметров. На одних и тех же данных результаты в обоих случаях были почти одинаковыми.
3. Что не сработало
| Что пробовал | Результат |
|---|---|
| Увеличить скорость обучения втрое (1e-5 → 3e-5) | Валидационный loss явно ухудшился, обучение остановлено |
| Обучать 2 эпохи | Валидационный loss снизился, но точность не изменилась. XQuAD немного ухудшился |
| Удвоить объём разнородных данных | +0,1 на собственных задачах. XQuAD и hr0 ухудшились |
| Добавить вопросы, написанные людьми (SQuAD и TyDi QA) | Обратный эффект. Длинные тексты без ответа в XQuAD: 99,8 → 91,2 |
Казалось, что вопросы, написанные людьми, должны помочь, но вышло наоборот. XQuAD создан на основе абзацев SQuAD. Поэтому после обучения на SQuAD модель, похоже, запомнила: «если абзац похож на SQuAD, ответ в нём есть». Данные, слишком близкие к оценочному набору, опасны.
4. При квантизации Q4 теряется один пункт
Так как модель должна работать на CPU, я преобразовал её в GGUF для llama.cpp и квантизировал.
У 2B даже Q4_K_M почти не ухудшал результат. Но у 0.8B точность упала примерно на один пункт. Чем меньше модель, тем она чувствительнее к квантизации. При Q6_K или Q8_0 результат восстановился, а на хорватских задачах достиг 95,4.
Результаты
Я сравнил финальную 0.8B с исходной моделью и более крупными моделями. Везде приведено среднее по четырём типам; 0.8B и 2B используются в CPU-варианте (Q4_K_M).
| Модель | Размер | Задачи на 20 языках | XQuAD (вопросы, написанные людьми) | hr0 |
|---|---|---|---|---|
| Qwen3.5-0.8B (исходная) | — | 73,8 | 74,8 | 72,7 |
| 0.8B (дообученная) | 0,67GB | 93,8 | 89,9 | 90,0 |
| 2B (дообученная тем же способом) | 1,56GB | 96,4 | 92,4 | 93,5 |
| Qwen3-4B-Instruct-2507 (без дообучения) | 2,3GB | 94,7 | 94,0 | 91,2 |
- 0.8B прибавила 20 пунктов и отстала от 4B всего на 1 пункт. 2B превосходит 4B
- На вопросах, написанных людьми (XQuAD), 0.8B всё ещё отстаёт от 4B на 4 пункта. Слабость при вопросах с другими формулировками устранена не до конца
- 64% задач, в которых ошибается 0.8B, правильно решает 2B. Остальное, вероятно, является ограничением размера модели. Если приоритет — точность, выбирайте 2B
Скорость (CPU ноутбука)
Измерения проведены на i7-11800H с 8 потоками. Это ноутбук, у которого при длительной нагрузке частота снижается примерно вдвое, поэтому цифры скорее занижены.
| Чтение текста (4K токенов) | Генерация | Один вопрос с длинным контекстом | |
|---|---|---|---|
| 0.8B | 314 ток/с | 53 ток/с | около 7 секунд |
| 2B | 97 ток/с | 21 ток/с | около 25 секунд |
| 4B | 42 ток/с | 11 ток/с | около 60 секунд |
Если обрабатывать только абзац, ответ занимает меньше секунды.
Стоимость
Всего на vast.ai ушло около 75 долларов. Сюда включены обучение 2B и создание данных для оценки.
Итоги
- Даже 0.8B после дообучения для RAG достигает точности около 94%. В частности, она почти перестаёт выдумывать ответы, когда их нет
- Сработало увеличение «разнообразия» обучающих данных. Объём, число эпох и скорость обучения не помогли
- Для точности — 2B, для скорости — 0.8B. На мой взгляд, обе модели практичнее, чем 4B без дообучения



