KEN’S CAT LOG
▣

Дообучил LLM на 0,8B для RAG на 20 языках: точность 74% → 94%, 7 секунд на вопрос на CPU

Нужна многоязычная RAG-модель, работающая на CPU. Передаёшь ей текст и задаёшь вопрос — она находит ответ в тексте. Если ответа в тексте нет, она не выдумывает его, а отвечает: «ответа нет». Я попробовал создать такую модель, дообучив Qwen3.5 0.8B (800 млн параметров). Она поддерживает 20 языков.

Сначала выводы.

  • Точность выросла с 73,8% до 93,8%. Модель всего в одну пятую размера Qwen3-4B без дообучения (94,7%) отстала от неё лишь на 1 пункт
  • Главный эффект — модель перестала «выдумывать». Исходная 0.8B при подаче длинного текста без ответа всё ещё пыталась что-нибудь ответить почти в 40% случаев
  • 7 секунд на один вопрос на CPU. Столько занимает прочитать текст примерно на 2 500 токенов и дать ответ. У 4B на это уходит 60 секунд
  • Преодолеть 95% не удалось. Я менял скорость обучения, число эпох и объём данных, но результат остановился на 94%. Похоже, это предел размера 0.8B

Как измерялось

Я составил задачи по Википедии на 20 языках: японском, английском, китайском, хорватском, хинди и других. Для каждого вопроса модели давали четыре типа текста.

  • Абзац: короткий абзац, содержащий ответ
  • Длинный контекст: текст на несколько тысяч токенов, в который абзац с ответом смешан с нерелевантными статьями
  • Нет ответа (короткий и длинный): текст без ответа. Правильным считается ответ «ответа нет»

Среднее по этим четырём типам называется «точностью». Задачи генерировала и оценивала Qwen3-32B. Чтобы проверить, не смещена ли оценка в сторону Qwen, я также переоценил их другой моделью — gpt-oss-120b: разница составила не более 0,5 пункта.

Дополнительно я проверил модель на задачах другого типа.

  • XQuAD: версии на 8 языках с вопросами, написанными людьми
  • hr0: хорватский тест, ранее созданный другой моделью

Если тестировать только на задачах, созданных так же, как обучающие данные, невозможно понять, стала ли модель лучше или просто привыкла к их формату.

Исходная 0.8B придумывает ответы, когда их нет

Вот результаты Qwen3.5-0.8B до дообучения — средние по 20 языкам.

Абзац Длинный контекст Короткий без ответа Длинный без ответа
68,9 71,0 87,9 63,2

Если дать длинный текст без ответа, модель всё же что-то отвечает почти в 40% случаев. Для хинди результат был всего 15 пунктов. Для RAG это проблема.

Что я пробовал

Обучение проводилось на RTX PRO 6000 (96GB), арендованной на vast.ai.

1. LoRA на RAG-данных для 20 языков

Обучающие данные: 20 языков × 500 вопросов. Из них были сделаны примеры с четырьмя типами текстов — всего 18 025 примеров. Правильный ответ состоял из одного предложения; если ответа не было, использовалась устойчивая формулировка «ответа нет» на соответствующем языке.

Одна эпоха LoRA (rank 64) заняла 1,7 часа.

Абзац Длинный контекст Короткий без ответа Длинный без ответа
Исходная 0.8B 68,9 71,0 87,9 63,2
После LoRA 91,7 89,0 98,4 93,4

Улучшение оказалось резким уже на этом этапе. Для длинных текстов без ответа результат вырос с 63 до 93, то есть выдумывание фактов почти исчезло.

Кстати, когда я сначала пробовал 2B, оказалось, что даже обучение только на трёх языках — хорватском, немецком и турецком — улучшило все 20 языков. Слабость исходной модели, по-видимому, заключалась не в знаниях или понимании текста, а в привычке следовать инструкции: отвечать либо отказываться.

2. На вопросах, написанных людьми, модель слишком быстро отказывается отвечать

На XQuAD с вопросами, написанными людьми, модель часто отвечала «ответа нет», хотя ответ в тексте был.

Например, на вопрос «Как ещё называют ротор?» в абзаце было сказано лишь «вращающийся диск». На таких задачах, где вопрос и абзац используют разные формулировки, модель отказывалась отвечать.

Причина оказалась в обучающих данных. Qwen3-32B, создававшая вопросы, часто использовала в вопросе те же формулировки, что и в абзаце. Похоже, модель усвоила правило: «если точных слов не нашлось — откажись».

Поэтому я добавил данные другого характера: попросил gpt-oss-120b сгенерировать по 400 вопросов на язык.

  • Вопросы с иной формулировкой, чем в абзаце
  • Обрывочные фрагменты, похожие на поисковую выдачу
  • Сбивающие с толку статьи, связанные с темой, но не содержащие ответа
  • Длинные контексты от 1K до 8K токенов

После этого результаты XQuAD выросли: для абзацев — с 79,6 до 83,6, для длинного контекста — с 75,5 до 79,2. Почти весь эффект в этот раз дал именно этот набор данных.

Далее использовалось уже не LoRA, а обучение всех параметров. На одних и тех же данных результаты в обоих случаях были почти одинаковыми.

3. Что не сработало

Что пробовал Результат
Увеличить скорость обучения втрое (1e-5 → 3e-5) Валидационный loss явно ухудшился, обучение остановлено
Обучать 2 эпохи Валидационный loss снизился, но точность не изменилась. XQuAD немного ухудшился
Удвоить объём разнородных данных +0,1 на собственных задачах. XQuAD и hr0 ухудшились
Добавить вопросы, написанные людьми (SQuAD и TyDi QA) Обратный эффект. Длинные тексты без ответа в XQuAD: 99,8 → 91,2

Казалось, что вопросы, написанные людьми, должны помочь, но вышло наоборот. XQuAD создан на основе абзацев SQuAD. Поэтому после обучения на SQuAD модель, похоже, запомнила: «если абзац похож на SQuAD, ответ в нём есть». Данные, слишком близкие к оценочному набору, опасны.

4. При квантизации Q4 теряется один пункт

Так как модель должна работать на CPU, я преобразовал её в GGUF для llama.cpp и квантизировал.

У 2B даже Q4_K_M почти не ухудшал результат. Но у 0.8B точность упала примерно на один пункт. Чем меньше модель, тем она чувствительнее к квантизации. При Q6_K или Q8_0 результат восстановился, а на хорватских задачах достиг 95,4.

Результаты

Я сравнил финальную 0.8B с исходной моделью и более крупными моделями. Везде приведено среднее по четырём типам; 0.8B и 2B используются в CPU-варианте (Q4_K_M).

Модель Размер Задачи на 20 языках XQuAD (вопросы, написанные людьми) hr0
Qwen3.5-0.8B (исходная) — 73,8 74,8 72,7
0.8B (дообученная) 0,67GB 93,8 89,9 90,0
2B (дообученная тем же способом) 1,56GB 96,4 92,4 93,5
Qwen3-4B-Instruct-2507 (без дообучения) 2,3GB 94,7 94,0 91,2
  • 0.8B прибавила 20 пунктов и отстала от 4B всего на 1 пункт. 2B превосходит 4B
  • На вопросах, написанных людьми (XQuAD), 0.8B всё ещё отстаёт от 4B на 4 пункта. Слабость при вопросах с другими формулировками устранена не до конца
  • 64% задач, в которых ошибается 0.8B, правильно решает 2B. Остальное, вероятно, является ограничением размера модели. Если приоритет — точность, выбирайте 2B

Скорость (CPU ноутбука)

Измерения проведены на i7-11800H с 8 потоками. Это ноутбук, у которого при длительной нагрузке частота снижается примерно вдвое, поэтому цифры скорее занижены.

Чтение текста (4K токенов) Генерация Один вопрос с длинным контекстом
0.8B 314 ток/с 53 ток/с около 7 секунд
2B 97 ток/с 21 ток/с около 25 секунд
4B 42 ток/с 11 ток/с около 60 секунд

Если обрабатывать только абзац, ответ занимает меньше секунды.

Стоимость

Всего на vast.ai ушло около 75 долларов. Сюда включены обучение 2B и создание данных для оценки.

Итоги

  • Даже 0.8B после дообучения для RAG достигает точности около 94%. В частности, она почти перестаёт выдумывать ответы, когда их нет
  • Сработало увеличение «разнообразия» обучающих данных. Объём, число эпох и скорость обучения не помогли
  • Для точности — 2B, для скорости — 0.8B. На мой взгляд, обе модели практичнее, чем 4B без дообучения