Выбор Mac mini для локальных LLM: память и чип

Какой Mac mini брать под локальные модели: 24 или 48 ГБ памяти, диск от 512 ГБ, чип не ниже M5

16 ГБ — совсем мало: на саму модель остаётся гигабайт шесть, хватит только на самые мелкие.

Минимум 24 ГБ. Туда влезают модели классов 3B, 8B, 12B. Дальше в линейках провал:
— у Qwen3.5 после 9B сразу 27B,
— у Gemma 4 после 12B — 31B. Для 32–35B нужно уже 48 ГБ.

Исключения есть, можно играться с квантизацией и прочим, но это ещё один компромисс поверх того, что маленькие модели это уже сам по себе компромисс.

Увеличенную память сразу под две модели брать не обязательно: диск у маков быстрый, модель грузится за понятные десятки секунд. Нюанс: у нового Mac mini на 256 ГБ один NAND-чип, с 512 ГБ — два, и чтение вдвое быстрее. У других Mac бывает иначе, смотрите конкретную модель.

Чип стоит брать не ниже M5: у него в каждом ядре GPU есть Neural Accelerators, и, по замерам Apple, до первого токена ответа проходит до 4 раз меньше времени, чем на M4. Дальше скорость задаёт пропускная способность памяти: генерация на M5 быстрее лишь на 19–27%.

Mac mini на M6 обойдётся, к сожалению, почти в 150 тысяч. В США с 24 ГБ и 512 ГБ он стоит $1299.
48 ГБ сейчас у Mac mini на M5 Pro, за $2299.
На такие цены смотришь и думаешь, что облако — неплохой вариант.

Если не гонишься за скоростью, то хватит и меньшего: у меня MacBook на M4 Pro с 24 ГБ, на транскрибацию и диаризацию (кто когда говорит) хватает. Агентов на нём не погоняешь: и в целом запускать агентов на моделях меньше 35B, по-моему, издевательство какое-то.

apple.com/newsroom/2026/08/apple-unveils-a-more-powerful-mac-mini-featuring-the-all-new-m6-and-m5-pro
machinelearning.apple.com/research/exploring-llms-mlx-m5

#LLM #инференс #выбор