Малые языковые модели: компромисс между эффективностью и производительностью в эпоху больших языковых моделей - Дашкин, И.Р.; Когай, Г.Д. (Вестник Карагандинского государственного индустриального университета, 2025)
В данной статье исследуется компромисс между эффективностью и производительностью малых языковых моделей (SLM) с менее чем 15 миллиардами параметров, что представляет собой актуальную альтернативу ресурсоемким большим языковым моделям (LLM). Проведено сравнение современных SLM, таких как Llama 3.2 3B и Llama 3 8B, Gemma 2B и 9B, Qwen2.5 3B, 7B и 14B, Phi-4 14B и Mistral NeMo 12B, с использованием стандартизированных бенчмарков (MMLU-PRO, GPQA, IFEval, MATH, BBH) для оценки их способностей в генерации текста, суммаризации, ответах на вопросы и логических рассуждениях. Результаты показывают, что некоторые SLM демонстрируют производительность, близкую к высокопараметрическим моделям, таким как GPT-4o, при значительно меньших вычислительных затратах. Работа подчеркивает потенциал SLM для создания более доступных и экологичных решений в области искусственного интеллекта, предлагая практические рекомендации для исследователей и разработчиков.