Building systems. Exploring tech. Insights and experiments.
Software Engineering • System Design • AI/LLM • DevOps • Leadership.
🧭 Now, bring me that horizon 🗺️

LLM под капотом: архитектура и механика выбора модели

Выбор LLM сегодня - как покупка автомобиля, когда каждая марка выпускает модели с названиями вроде “Model-7B” или “Model-70B”. Продавцы гордо называют цифры: ‘У нас 93% на MMLU!’ - звучит как ‘двигатель 4.0 с расходом 16л’. Но что это значит для ваших конкретных задач?

Как и при выборе машины, важно понимать назначение:

  • для ежедневных городских поездок нужны одни модели,
  • для дальних путешествий - другие,
  • для перевозки тяжёлых грузов - третьи.

Одни LLM похожи на спортивные купе - быстрые, эффектные, но прожорливые. Другие - на надёжные седаны: без лишнего блеска, зато универсальные и экономичные. А есть и тяжёлые грузовики - медленные, но способные справиться с большими нагрузками.

Написал этот справочник после того, как выбирал LLM для своих проектов. В процессе накопились ответы на практические вопросы: что означают бенчмарки, как оценить требования к железу, какую архитектуру выбрать для конкретных задач. Этот справочник призван помочь ‘заглянуть под капот’ современных языковых моделей и выбрать именно то, что подходит вашему проекту. Здесь - базовые концепции, практические критерии и конкретная система принятия решений.

0%