Сколько токенов в секунду реально выдаёт Mac mini

Измерено

Что из этого следует практически. Всё до 8B выдаёт больше 20 токенов в секунду, это быстрее, чем читает человек. 14B на 16 ГБ запускается, но 11.7 токена это уже ожидание. Обработка промпта идёт на порядок быстрее генерации, длинный контекст не проблема, проблема сгенерировать ответ на него.

Прогноз, не замер

Новая линейка M6, M5 Pro, M5 Max и M5 Ultra

Новая линейка Apple в продаже с 22 сентября 2026. Цифры ниже посчитаны по правилу, выведенному на наших замерах M4 и проверенному на M5 Pro. Генерация упирается в полосу памяти, поэтому скорость примерно равна полосе, делённой на размер весов, с поправкой 0.83 на накладные расходы. Поправка выведена из четырёх замеренных моделей, а не взята с потолка. По мере появления замеров новой линейки таблица обновляется, а прогноз остаётся рядом, чтобы было видно, где он промахнулся.

Токены в секунду на генерации, Q4_K_M. Модель считается влезающей, если её вес с запасом 20 процентов на кэш контекста и систему помещается в память.

Где прогноз почти наверняка ошибётся

Маленькие модели на широкой шине. Сотни токенов в секунду для 3B на M5 Max и Ultra не будет, там узкое место уходит от памяти к вычислениям. Для M5 Max это уже подтвердилось на чужих замерах, сверка ниже. Крупные модели на Ultra, у которого два кристалла на мосту, формула считает единой полосой, и как модель между ними разложится, из спецификации не следует. И прогноз только про генерацию, скорость обработки промпта в полосу не упирается вовсе.

Проверка прогноза

Прогноз против замеров на M5 Pro и M5 Max

Первая проверка наша. На M5 Pro 48 ГБ тем же методом, что и на M4, Qwen 2.5 14B выдал 29.4 токена в секунду при прогнозе 30, расхождение 2.0 процента. Машина при замере не простаивала, так что это нижняя граница.

Вторая проверка по независимой сводке. Сообщество llama.cpp ведёт таблицу замеров Apple Silicon, где каждый чип меряют одной командой на одной сборке, и там уже есть M5 Pro и M5 Max. Модель в таблице Llama 2 7B, а не наши, поэтому проверяется само правило: полоса памяти, умноженная на 0.83 и делённая на вес модели.

Средняя ошибка правила на 6 точках 6.0 процента, наибольшая 12.3. Промахи в обе стороны, систематического завышения нет. Там, где мы заранее ждали промаха, он и случился: самая лёгкая модель на самой широкой шине, M5 Max на Q4_0, вышла на 11.2 процента ниже прогноза. На широкой шине у маленькой модели упор смещается от памяти к вычислениям и накладным расходам движка.

Модель и инструмент в сводке другие, чем у нас, поэтому она проверяет само правило. Речь только о генерации, обработка промпта от полосы не зависит.

Источник: обсуждение #4167 в репозитории llama.cpp, сборка c1d0e7a, команда llama-bench -p 512 -n 128 -ngl 99. Сверено 24 сентября 2026.

Методика

Как мерили и как перепроверить

Ollama REST API, запрос без стриминга, один и тот же промпт для всех моделей, num_predict 512, temperature 0.7. Один прогревочный запрос отбрасывается, затем 3 записанных прогона, публикуется медиана. Скорость генерации это eval_count делить на eval_duration, как их отдаёт сама Ollama. Машина в остальном простаивала, macOS 15.3.1 (Sequoia).

Сырые данные в JSON лежат по адресу macyou.co/benchmarks.json. Если у вас есть другое железо и полчаса, прогоните ту же методику и пришлите цифры, соберём общую таблицу.

Проверить на своей задаче до покупки

Все машины из таблицы можно взять в аренду на месяц, поставить свою модель и померить на своих данных. Дешевле, чем купить и обнаружить, что 16 ГБ не хватило.