Локальный ИИ агент. Сколько нужно памяти, какая будет скорость и на чём его держать

Где локальный агент выигрывает

Когда агента держат на своём железе

Когда данные нельзя выпускать наружу: персональные данные, врачебная тайна, чужой код по договору, внутренние документы. Модель работает на вашей машине, и ни один запрос не уходит в чужое облако.

Когда важна предсказуемая стоимость. Облачная модель берёт деньги за каждый токен, и при большом потоке однотипных запросов счёт растёт вместе с нагрузкой. Своя машина стоит одинаково, сколько бы агент ни работал.

И одно условие, которое решает всё. Если у шага есть машинный критерий успеха, то есть после действия можно объективно сказать, получилось или нет, агент справится сам. Это свойство задачи, и его стоит проверить до выбора железа.

Главная цифра

Сколько памяти нужно, и почему агенту больше, чем чату

В памяти лежат не только веса модели. Рядом живёт KV кэш, который растёт вместе с длиной контекста, и он же превращает знакомую таблицу «какая модель влезет» в другую таблицу, когда речь про агента. Агент тащит в контекст историю шагов, результаты инструментов и инструкции, поэтому работает на 32K там, где человеку в чате хватает 8K.

Ниже требования для квантования Q4_K_M, самого ходового. Колонка «чат» посчитана на контекст 8K, колонка «агент» на 32K. Обратите внимание на строку с 14B, там разница ровно в одну ступень памяти, и именно на ней чаще всего ошибаются при выборе машины.

Считается это так: вес модели равен числу параметров, умноженному на биты на вес и делённому на восемь. Сверху рантайм добавляет около пятнадцати процентов, KV кэш зависит от контекста и архитектуры, и ещё примерно три гигабайта нужно оставить системе. Та же формула работает в нашем калькуляторе, так что цифры в таблице и в калькуляторе всегда совпадают.

Замеры, а не обещания

Скорость упирается в полосу памяти, а не в процессор

На каждый сгенерированный токен модель прочитывает все свои веса из памяти. Значит потолок скорости это полоса памяти, делённая на размер весов. Поэтому у Apple Silicon сравнивать надо не число ядер, а гигабайты в секунду: у базового M4 полоса 120 ГБ/с, у M4 Pro 273, у M4 Max 546.

Ниже наши собственные замеры на Mac mini M4, Ollama 0.31.2, macOS 15.3.1 (Sequoia), по 3 прогона на модель с отброшенным прогревом.

Две последние колонки важнее первой. Человеку в чате комфортно от пятнадцати токенов в секунду, это скорость чтения, и на базовом M4 любая модель до 8B это условие закрывает. Агенту скорость чтения не нужна, ему важно общее время цепочки. Если агент работает ночью по расписанию, четыре минуты на цепочку никому не мешают. Если он отвечает человеку в чате, четыре минуты это провал, и тогда надо либо резать число шагов, либо брать полосу шире.

Из чего это собирается

Три слоя и один список запретов

Слой первый, модель. Локально её держат через Ollama или llama.cpp. У Ollama есть совместимый с OpenAI эндпоинт, поэтому большинство библиотек подключаются к нему, если указать базовый адрес. Установка и выбор модели разобраны отдельно на странице про Ollama на Mac.

Слой второй, оркестрация. Тут развилка. Если агент должен жить в мессенджере и работать по расписанию, нужен шлюз, который всё это умеет из коробки. Если агент это часть вашего приложения, нужна библиотека, и вы пишете цикл сами. Выбирать между шлюзом и библиотекой надо до того, как начали писать код, потому что переезд потом дорогой.

Слой третий, инструменты. Всё, чем агент трогает внешний мир. Удобно делать их серверами MCP, тогда при смене оркестратора интеграции переписывать не придётся. И правило, которое экономит больше всего времени: пять хорошо описанных инструментов работают лучше тридцати, потому что чем их больше, тем хуже модель выбирает нужный.

И список запретов. До первого автономного запуска выпишите действия, которые необратимы, это деньги, удаление данных и любая отправка наружу от вашего имени. Каждое такое действие должно требовать явного подтверждения человека. Агент без этого списка это инцидент по расписанию, и цена ошибки тут не равна нулю.

Заранее

Пять вещей, которые стоит предусмотреть заранее

Контекст растёт быстрее, чем кажется. Агент добавляет в историю результаты каждого инструмента, и машина, которой хватало на демонстрации, упирается в память на реальной задаче.

Составные отказы. Если шаг выполняется правильно в восьмидесяти пяти процентах случаев, цепочка из десяти шагов доходит до конца примерно в двадцати процентах. Короткая цепочка надёжнее длинной, и это не лечится моделью побольше.

Машина должна быть включена всегда. Агент без расписания бесполезен, а ноутбук вы закрываете. Отсюда либо сервер дома со всеми вопросами про электричество, шум и бэкапы, либо аренда.

Обновления ломают привычное. Новая версия модели с тем же именем может вести себя иначе на ваших промптах. Фиксируйте версии и держите журнал того, что менялось.

Плотная загрузка окупает машину. Выделенное железо стоит одинаково в работе и в ожидании, поэтому на одну машину удобно сажать несколько агентов и расписаний.

Железо под агента

Выделенный Mac под круглосуточного агента

Агенту нужна машина, которая не засыпает, и память под длинный контекст. Выделенный Mac в облаке закрывает и то и другое без покупки железа: берёте конфигурацию под размер модели и переходите на мощнее, когда растёт задача.

Машина выделенная, не общий сервер, с правами администратора, поэтому Ollama, Docker и свои сервисы ставятся как на свой компьютер. Железо стоит в Грузии, IP зарубежный, оплата USDT без карты. Как это выглядит рядом с шестью другими сервисами, с ценами на одну дату, на странице сравнения сервисов аренды.

Частые вопросы

Коротко о главном