Перейти к содержимому
Воскресенье, Ноябрь 22, 2026НЕЗАВИСИМЫЕ ТЕХНИЧЕСКИЕ НОВОСТИ, ОБЗОРЫ И ПРАКТИЧЕСКИЕ РУКОВОДСТВА
О ПРОЕКТЕ
ПОСЛЕДНЕЕ /

Запуск Inkling 2 Mini на Mac с Ollama (32 ГБ)

ЧИТАТЬ РУКОВОДСТВО
ИИ-АГЕНТЫGM / 053

Запуск Inkling 2 Mini на Mac с Ollama (32 ГБ)

Запустите Inkling 2 Mini с Ollama на Mac с 32 ГБ, пошагово: установите, скачайте модель на 20 ГБ, настройте контекст и память, затем подключите локальный агент для кодинга.

Run Inkling 2 Mini with Ollama on a 32GB Mac: three Terminal commands, Ollama 0.40.17, a 16K–32K context and an optional 24 GiB GPU budget

Thinking Machines Lab выпустила Inkling 2 Mini 20 ноября с необычным для настолько способной открытой модели обещанием: она работает на ноутбуке. Компания поддерживает её на любом Mac с 32 ГБ памяти и больше — через Ollama. Её исследователи даже запускали модель офлайн на MacBook Pro в полёте, и там она собрала играбельный симулятор полёта. Это руководство шаг за шагом показывает, как запустить Inkling 2 Mini с Ollama на Mac с 32 ГБ. Оно начинается с чистой установки и заканчивается работающим локальным агентом-кодером.

Короткая версия — три команды. Длинная версия — то, ради чего существует это руководство. На Mac с 32 ГБ модель занимает около 20 ГБ. По умолчанию macOS ещё и не отдаёт графическому процессору примерно треть вашей памяти. Ollama отвечает на это, задавая модели контекст в 4 000 токенов: для чата нормально, для агента-кодера слишком мало. А на большинстве Mac с 32 ГБ очень длинные промпты и сегодня могут упереться в нехватку памяти. Всё это не повод пропускать модель. Это повод настроить её как следует.

Вам не нужно уметь программировать. Вы скопируете несколько команд в Terminal — приложение командной строки Mac (нажмите Cmd-Space, введите Terminal и нажмите Return). Каждая команда объяснена. Поддержка Inkling 2 Mini в Ollama появилась всего несколько дней назад и быстро развивается, поэтому каждый факт ниже проверен 21 ноября 2026 года.

Независимость и раскрытие партнёрских ссылок: Ни одна упомянутая здесь компания не спонсировала, не проверяла и не одобряла это руководство. В нём есть одна партнёрская ссылка, к тарифу GLM Coding Plan от Z.ai (в части 10). Подписка через эту ссылку даёт вам скидку 10% и может принести мне комиссию без дополнительных затрат для вас.


Кратко — версия за 60 секунд

  • Вам понадобится: Mac на Apple silicon с 32 ГБ памяти или больше, macOS 14 или новее, около 25 ГБ свободного места на диске и Ollama 0.40.17 или новее.
  • Три команды: ollama --version (0.40.17 или выше), ollama pull inkling-2-mini (загрузка 20,2 ГБ), ollama run inkling-2-mini.
  • Подвох с 32 ГБ: веса занимают 18,8 GiB, а по умолчанию macOS разрешает GPU использовать только около 21,3 GiB. Поэтому Ollama задаёт контекст 4K, слишком маленький для агентов.
  • Что важно в настройках: задайте контекст 16K–32K в настройках Ollama для агентов. При желании увеличьте бюджет GPU до 24 GiB с помощью sudo sysctl iogpu.wired_limit_mb=24576 (сбрасывается при перезапуске). Оставляйте уровень рассуждений на отметке высокий для кодинга, низкий для быстрых вопросов. Сначала закройте приложения, требующие много памяти.
  • Сегодня многое решает ваш чип: Ollama 0.40.17 включает экономичное по памяти чтение промптов только для M2 Pro, M2 Ultra, M3 Ultra, M4 Pro и M5 Pro, Max и Ultra. В единственном опубликованном тесте на 32 GB M2 Max упал с ошибкой "Insufficient Memory" примерно после 12 000 токенов.
  • Агенты: Pi лучше всего подходит для 32 GB, потому что его инструкции и инструменты занимают менее 1 000 токенов (ollama launch pi --model inkling-2-mini). Он выполняет команды, не спрашивая, поэтому держите его в одноразовой папке. OpenCode стартует примерно с 6 900 токенов и начинает спрашивать разрешение только после одного изменения конфигурации. Claude Code спрашивает по умолчанию, но его первый запрос занял около 32 800 токенов: лучше от 48 GB.
  • Скорость: о 24 токена в секунду на M2 Max с 32 GB, и около 32 на M4 Pro с 48 GB.
  • Безопасность: Thinking Machines предупреждает, что модель может зацикливаться, удалять или перезаписывать файлы без запроса и неверно сообщать о своих результатах. Работайте в Git или с копией, не отключайте запросы разрешений и ограничивайте число шагов агента.

Краткий обзор

Модель Inkling 2 Mini от Thinking Machines Lab, выпущена 20 ноября 2026 года, лицензия Apache 2.0
Размер 26,4 млрд параметров, 3,4 млрд активных на токен; 5,4 млрд активаций весов с учётом зацикленных слоёв
Тег Ollama inkling-2-mini (также 26b-a5b и 26b-a5b-nvfp4: тот же пакет на 20 GB)
Скачать 20 188 097 271 байт (20,2 GB, или 18,8 GiB)
Требуемое время Около получаса плюс от 3 до 60 минут на загрузку
Версия Ollama 0.40.17 или новее; в этом выпуске только Apple silicon
Движок MLX-раннер Ollama, построенный на фреймворке машинного обучения Apple
Что умеет Ввод текста и изображений, вызовы инструментов, рассуждения
Контекст До 1M токенов в модели; по умолчанию в Ollama на большинстве Mac с 32 GB: 4K
Поддерживаемый минимум Mac на Apple silicon с 32 GB (Thinking Machines и Ollama)
macOS 14 Sonoma или новее (требование Ollama)
Уровень рассуждений none, minimal, низкий, medium, высокий (по умолчанию), xhigh, максимум
Агенты одной командой Pi, OpenCode, Claude Code, Hermes Agent и OpenClaw через ollama launch
Измеренная скорость M2 Max 32 GB: около 24 ток/с; M4 Pro 48 GB: около 32 ток/с при записи, 279 ток/с при чтении

Measured speeds are third-party results.


Содержание

Пять шагов, чтобы запустить Inkling 2 Mini с Ollama на Mac: установите Ollama 0.40.17, загрузите модель на 20 GB, запустите её, настройте контекст и запустите агента для кодинга
Всё руководство в одной картинке. Шаги с 1 по 3 занимают несколько минут плюс загрузку; на шаге 4 Mac с 32 ГБ требует внимания.

Часть 1 — Перед началом: готов ли ваш Mac?

Четыре вещи определяют, сможете ли вы запустить Inkling 2 Mini в Ollama: ваш чип, объём памяти, версия macOS и свободное место на диске. Первые три видны на одном экране: откройте меню Apple и выберите Об этом Mac. Чтобы узнать про место на диске, откройте Системные настройки → Основные → Хранилище.

Требование Минимум Почему
Чип Apple silicon (любой чип серии M) Ollama 0.40.17 запускает Inkling 2 Mini только на Apple silicon. На Intel Mac Ollama может использовать только процессор, но не GPU
Память 32 GB Поддерживаемый минимум по данным Thinking Machines’ и Ollama’s; одна модель занимает около 20 ГБ
macOS 14 Sonoma или новее Собственное требование Ollama
Свободное место на диске Около 25 ГБ 20,2 ГБ для модели плюс запас, чтобы macOS могла дышать
Ollama 0.40.17 или новее Первый выпуск, который знает эту модель (часть 2)

А как же Mac с 16 и 24 ГБ? Не с пакетом Ollama: это один файл на 20 ГБ, и версии поменьше нет. Сжатые копии существуют: Unsloth публикует 2-битные и 3-битные файлы примерно на 9–14 ГБ, которые работают с его собственной сборкой llama.cpp. Это другой, более технический путь, о котором я рассказал в Inkling 2 Mini против Qwen3.8-27B, а также о том, чем вы жертвуете в качестве.

Какой у вас Mac с 32 ГБ?

Ваш чип важен по двум причинам. Первая — скорость. Такая модель пишет каждое слово, считывая свои активные веса из памяти. Поэтому скорость письма сильно зависит от пропускная способность памяти: от того, как быстро чип читает память. У M1 Max и M2 Max пропускная способность вдвое выше, чем у M1 Pro и M2 Pro, и примерно втрое выше, чем у базовых M4 и M5.

Вторая причина новая и относится именно к Ollama 0.40.17 (часть 6 объясняет её). В Ollama есть экономный по памяти способ чтения длинных промптов для этой модели, но он включён только для некоторых чипов. Среди Mac, которые поставляются ровно с 32 ГБ, сегодня он есть только у M2 Pro.

Чип Есть 32 ГБ? Пропускная способность памяти Экономное чтение промптов в Ollama 0.40.17
M1 Pro Да 204,8 ГБ/с Нет
M1 Max Да 409,6 ГБ/с Нет
M2 Pro Да 204,8 ГБ/с Да
M2 Max Да 409,6 ГБ/с Нет
M4 Да 120 ГБ/с Нет
M5 Да 153,6 ГБ/с Нет
M3 Pro, M3 Max, M4 Max версии на 36 ГБ 153,6 / 307,2 / 409,6 ГБ/с Нет
M5 Max версия на 36 ГБ 460,8 ГБ/с Да

Пропускная способность и варианты памяти — по спецификациям Apple в изложении Wikipedia. Поддержка чтения промпта — по исходному коду Ollama 0.40.17, где она включена для M2 Pro, M2 Ultra, M3 Ultra, M4 Pro и M5 Pro, Max и Ultra. M4 Pro и M5 Pro не продаются с 32 ГБ.

У машин с 36 ГБ примерно на 4 ГБ больше запаса, чем предполагает всё это руководство, поэтому те же шаги пройдут с небольшим запасом.

Какой Mac с 32GB лучше всего запускает Inkling 2 Mini в Ollama: пропускная способность памяти и экономящее память чтение промптов по чипам Apple, от M1 Pro и M2 Max до M4 и M5
Пропускная способность задаёт скорость записи; экономное чтение промпта в Ollama, доступное сегодня лишь на некоторых чипах, определяет, промпт какой длины ваш Mac сможет безопасно прочитать.

Часть 2 — Шаг 1: установите или обновите Ollama

Ollama — бесплатное приложение, которое скачивает открытые модели и запускает их на вашем Mac. Ещё оно запускает в фоне небольшой сервер, с которым позже общаются агенты для кодинга.

Если у вас ещё нет Ollama

  1. Откройте ollama.com/download и скачайте версию для Mac, Ollama.dmg.
  2. Откройте файл и перетащите Ollama в вашу папку Программы .
  3. Откройте Ollama из папки «Программы». При первом запуске оно проверяет, доступна ли его ollama команда в Terminal. Если нет, оно запросит разрешение добавить её в /usr/local/bin. Согласитесь и введите пароль от Mac, если попросит. Пока Ollama работает, в строке меню отображается маленький значок ламы.
  4. Откройте Terminal и введите:
ollama --version

Нужна 0.40.17 или выше.

Если Ollama у вас уже есть

Запуск ollama --version. Если версия старше 0.40.17, обновите её:

  • Приложение: Ollama скачивает обновления самостоятельно. Нажмите на значок ламы в строке меню и выберите Перезапустить для обновления если он предлагается. Если нет, скачайте Ollama заново с ollama.com/download и замените приложение. Скачанные модели останутся на месте.
  • Homebrew: выполните brew upgrade ollama. Пакет Ollama в Homebrew уже был версии 0.40.17 на 21 ноября.

Проверка версии, 21 ноября 2026: Ollama объявила о поддержке Inkling 2 Mini в 0.40.17 20 ноября, в виде предварительной версии. Финальная 0.40.17 получила тег на GitHub в течение суток, и Homebrew уже её поставляет. Если страница загрузки всё ещё отдаёт вам 0.40.16, возьмите 0.40.17 или новее со страницы релизов GitHub. Более старая Ollama отказывается загружать модель с ошибкой pull model manifest: 412: The model you are attempting to pull requires a newer version of Ollama.

Две настройки, на которые стоит взглянуть (необязательно)

Откройте настройки Ollama Настройки из значка ламы или окна приложения.

  • Облако. Этот переключатель включает облачные модели Ollama и веб-поиск. Inkling 2 Mini в любом случае работает полностью на вашем Mac; в собственном FAQ Ollama сказано, что при локальном запуске она не видит ваши промпты и данные. Отключите переключатель «Облако», если хотите быть уверены, что ничего не переключится на облачную модель. Учтите, однако, что инструменты веб-поиска в некоторых агентах используют облако Ollama.
  • Расположение модели. Если на внутреннем диске не хватает места, укажите внешний SSD перед тем как до загрузки 20 ГБ.

Часть 3 — Шаг 2: скачайте Inkling 2 Mini

Одна команда:

ollama pull inkling-2-mini

Загрузка весит 20 188 097 271 байт, чуть больше 20 ГБ. Вот сколько примерно это займёт на полной скорости; в реальности загрузки обычно идут медленнее:

Ваше подключение Время загрузки
50 Мбит/с около 54 минут
100 Мбит/с около 27 минут
250 Мбит/с около 11 минут
500 Мбит/с около 5½ минут
1 Гбит/с около 3 минут

Если загрузка прервётся, запустите ту же команду снова — она продолжится с того места, где остановилась.

Несколько вещей, которые стоит знать о том, что вы только что скачали:

  • Версия только одна. Три тега на странице библиотеки Ollama, latest, 26b-a5b и 26b-a5b-nvfp4, — это один и тот же пакет на 20 ГБ. Меньшей версии Ollama для выбора нет.
  • Это оригинал, а не сжатая копия. Thinking Machines обучила большинство весов модели в 4-битном формате NVFP4, а последние четыре слоя — в 8-битном формате MXFP8. В таком виде они и поставляются. Пакет Ollama содержит именно эти веса, так что при конвертации ничего не потерялось.
  • Она видит. Пакет работает и с изображениями, и с текстом, а также умеет вызывать инструменты — именно это позволяет использовать его в агентах для кодинга.

Проверьте, что она на месте:

ollama ls

Вы должны увидеть inkling-2-mini:latest с размером 20 ГБ.


Часть 4 — Шаг 3: первый запуск Inkling 2 Mini в Ollama

Запустите чат в Terminal:

ollama run inkling-2-mini --verbose

Первый запуск занимает некоторое время, потому что Ollama загружает 20 ГБ с диска в память. Затем вы увидите >>> приглашение. Попробуйте что-нибудь вроде:

Объясните в трёх предложениях, что такое looped transformer.

Inkling 2 Mini думает перед ответом, поэтому сначала появится его рассуждение, а затем ответ. Если не хотите смотреть, как он думает, запустите его с --hidethinking вместо этого.

Прочитайте цифры

Поскольку вы добавили --verbose, Ollama выводит статистику после каждого ответа. Важны две строки:

Line Что это значит
скорость оценки промпта Как быстро модель чтение обрабатывает ваше сообщение, в токенах в секунду
eval rate Как быстро она написала ответ, в токенах в секунду. Один токен — это примерно три четверти английского слова

Для справки: единственный опубликованный тест Ollama на Mac с 32 ГБ, M2 Max, показал около 24 токенов в секунду. Остальные измерения — в части 8.

Несколько вещей, которые можно сделать дальше

  • Выйти из чата: type /bye или нажмите Ctrl-D. Модель остаётся в памяти пять минут на случай, если вы вернётесь.
  • Освободить память сейчас: ollama stop inkling-2-mini.
  • Спросить об изображении: введите свой вопрос, затем перетащите файл изображения из Finder в окно Terminal — его полный путь вставится. Нажмите Return.
  • Вместо этого используйте приложение: откройте приложение Ollama, выберите inkling-2-mini в меню моделей и общайтесь там. Изображения тоже можно перетаскивать в окно.

Проверьте, что Inkling 2 Mini работает правильно

Пока модель загружена, откройте второе окно Terminal и выполните:

ollama ps
Столбец Что вы должны увидеть
NAME inkling-2-mini:latest
Сколько памяти занимает модель SIZE
PROCESSOR 100% GPU. На Apple silicon это значит, что она работает на графическом процессоре в общей памяти
CONTEXT Сколько токенов диалога он может удерживать. На большинстве Mac с 32 ГБ здесь указано 4096 пока вы не измените это в части 5
RUNNER mlx, движок Ollama для Apple silicon
UNTIL Когда Ollama выгрузит её, если вы не будете её использовать

Ещё можно спросить Ollama, что она обнаружила при запуске:

grep "vram-based default context" ~/.ollama/logs/server.log | tail -1

На Mac с 32 ГБ вы увидите total_vram около 21 GiB и default_num_ctx=4096. Эта одна строка объясняет большую часть части 5.


Чат работает без всяких изменений. С агентами для кодинга и длинными документами так не выйдет — из-за того, как Mac с 32 ГБ делит свою память. Все значения памяти в этой части указаны в GiB, двоичных гигабайтах, которые показывают macOS и Ollama; у Mac "32 GB" на самом деле 32 GiB.

Вот бюджет. Веса Inkling 2 Mini занимают 18,8 GiB. На Mac с 32 ГБ macOS разрешает графическому процессору использовать около двух третей памяти, около 21,3 GiB, если вы это не измените. VisualInference измерил эти же исходные веса в другом приложении MLX, mlx-vlm, на M4 Pro с 48 ГБ. Пик памяти составил 20.3 GiB с коротким промптом, 21.4 GiB при 4 000 токенах и 22.1 GiB при 16 000 токенах. Иными словами, как только промпт становится длинным, одна только модель подходит к пределу стандартного бюджета GPU. И это ещё до того, как свою долю заберут macOS и другие приложения.

Память Inkling 2 Mini на Mac с 32GB: 18,8 GiB весов и измеренные пики от 20,3 до 22,1 GiB против стандартного бюджета GPU 21,3 GiB и повышенного бюджета 24 GiB
Куда уходят 32 GiB. Пики измерялись с mlx-vlm на M4 Pro с 48 ГБ на тех же исходных весах, которые поставляет Ollama; собственные цифры Ollama будут немного отличаться. Бюджеты GPU — это значения macOS по умолчанию и необязательный повышенный лимит.

Всё решают четыре настройки.

Настройка 1: длина контекста (самая важная)

Этот длина контекста — это сколько текста модель может держать одновременно. Сюда входят ваши сообщения и её ответы, а для агента — системный промпт, определения инструментов и каждый прочитанный им файл. Слишком мало — и агент молча теряет свои инструкции и начинает делать странные ошибки. Слишком много — и вы резервируете память, которую никогда не используете.

Ollama выбирает значение по умолчанию по обнаруженной памяти GPU:

Память GPU, которую обнаруживает Ollama Контекст по умолчанию
Менее 23 GiB (большинство Mac с 32 ГБ: около 21,3 GiB) 4K токенов
23–47 GiB 32K токенов
47 GiB и более 256K токенов

В документации Ollama диапазоны указаны как менее 24, 24–48 и 48 GiB и более. Код в 0.40.17 использует 23 и 47 GiB, чтобы учесть небольшие различия в том, что сообщает каждый Mac.

Сколько памяти стоит увеличение контекста для Inkling 2 Mini — расчёт по конфигурации модели:

Контекст Дополнительная память на контекст
4K 0,28 GiB
8K 0,41 GiB
16K 0,66 GiB
32K 1,16 GiB
64K 2,16 GiB
128K 4,16 GiB

Inkling 2 Mini требует меньше памяти на токен контекста, чем большинство моделей своего размера. Только четыре из его 24 слоёв просматривают весь разговор назад. Рабочая память, затрачиваемая при чтении промпта, добавляется сверху; измеренные выше пики её учитывают.

Что задать

Что вы делаете Контекст Почему
Переписка и короткие вопросы 4K–8K (подойдёт значение по умолчанию) Требует минимум памяти
Вставка длинных документов или файлов кода 16K Примерно 12 000 слов английского текста
Агент Pi 16K (8K на чипах без режима экономии памяти при чтении промпта из части 6) Собственные инструкции Pi совсем небольшие (часть 7)
OpenCode 32K, на M2 Pro Максимум, который можно комфортно выделить на 32 ГБ. Ollama рекомендует для агентов 64K или больше, что этот Mac вряд ли может себе позволить рядом с моделью на 20 ГБ. На других чипах сначала прочитайте часть 6
Claude Code 64K или больше, по рекомендации Ollama На 32 ГБ это нереально; см. часть 7

Как это задать

Проще всего изменить длину контекста Ollama через приложение: откройте Настройки → Длина контекста и передвиньте ползунок, у которого есть деления 4k, 8k, 16k, 32k, 64k, 128k и 256k. Ollama перезапускает свой сервер, чтобы применить это, а настройка сохраняется после перезапуска Mac.

Есть три других способа, которые пригодятся позже:

# Только для одной сессии чата, внутри `ollama run`:
/set parameter num_ctx 16384

# Для приложения Ollama, до перезапуска Mac (затем выйдите и снова откройте Ollama):
launchctl setenv OLLAMA_CONTEXT_LENGTH 32768

Если вы уже двигали ползунок в приложении, ползунок важнее launchctl параметра.

Или создайте копию модели со своим встроенным контекстом, что удобно, когда для чата нужно 8K, а для агента — 32K. Вставьте это в Terminal: будет создан небольшой текстовый файл с именем Modelfile а затем новую модель:

cat > Modelfile <<'EOF'
FROM inkling-2-mini
PARAMETER num_ctx 32768
EOF
ollama create inkling-2-mini-32k -f Modelfile

Копия не скачивает и не дублирует 20 ГБ весов. Затем вы используете inkling-2-mini-32k там, где вы бы использовали inkling-2-mini. Какой бы способ вы ни выбрали, проверьте его в CONTEXT столбце раздела ollama ps.

Настройка 2: Дайте GPU больше места (необязательно)

macOS ограничивает объём памяти, который GPU может держать для себя, и Ollama считает этот лимит вашим "VRAM". На Mac с 32 ГБ это около 21,3 GiB. Отсюда следуют три вещи. Ollama задаёт из него контекст по умолчанию (настройка 1). Движок MLX в Ollama держит загруженную модель в памяти в пределах этого лимита. Если модель больше, он пишет предупреждение, что производительность может упасть. А когда для одного шага работы нужно больше памяти GPU, чем доступно, macOS останавливает его. Это и есть Insufficient Memory из части 6. В документации Apple сказано, что это значит, что GPU не хватило памяти для выполнения командного буфера.

Вы можете поднять лимит до следующей перезагрузки; в документации Apple по MLX приведена команда именно для этого. Сначала проверьте текущее значение; 0 означает значение по умолчанию в macOS:

sysctl iogpu.wired_limit_mb

Поднимите его до 24 GiB — тогда 8 GiB останется для macOS и ваших приложений:

sudo sysctl iogpu.wired_limit_mb=24576

Затем закройте Ollama через строку меню и откройте снова, потому что Ollama читает лимит только при запуске. Выполните grep команду из части 4 ещё раз, и total_vram теперь должно показывать около 24 GiB.

Четыре вещи, которые нужно знать

  • Он также меняет контекст по умолчанию. Если обнаружено 24 GiB, значение Ollama по умолчанию прыгает с 4K до 32K (таблица выше), так что настройка 1 может вообще не понадобиться.
  • Он даёт GPU больше места, а не больше памяти. Он сдвигает границу между GPU и macOS, а не добавляет памяти. Если другим вашим приложениям её потом не хватит, macOS начнёт использовать подкачку.
  • Он сбрасывается при перезагрузке Mac. Это страховка, а не ошибка. Чтобы отменить это раньше: sudo sysctl iogpu.wired_limit_mb=0.
  • Это не официальная настройка macOS. Его широко используют для локального ИИ, но если ваш Mac сильно уходит в подкачку, зависает или неожиданно перезагружается во время сеанса, верните его на 0. Не поднимайте сильно выше 24 GiB на Mac с 32 ГБ.

Настройка 3: Уровень рассуждений

Inkling 2 Mini решает, насколько усердно думать, исходя из настройки «уровень рассуждений» . По умолчанию в Ollama — высокий. Вот как Ollama 0.40.17 переводит эти названия в значение, которое фактически получает модель:

Настройка Ollama Усилие, которое получает модель Хорошо подходит для
none или false 0 (размышления скрыты) Простые справки
minimal 0.1 Быстрые факты
низкий 0.2 Короткие ответы, резюме, переформулировки
medium 0.7 Повседневные вопросы
высокий или true (стандартной) 0.9 Кодинг и работа агентов
xhigh или максимум 0.99 Трудные задачи, когда можно подождать

Из рендерера Inkling 2 Mini в Ollama 0.40.17. Thinking Machines отмечает, что даже минимальный уровень не отключает рассуждения полностью.

Усилие рассуждений Inkling 2 Mini в Ollama: значения think none, minimal, low, medium, high и max сопоставлены с числами усилия, которые получает модель, а по умолчанию стоит high
передают одно и то же значение. Значение по умолчанию, high, — правильная настройка для кодинга. xhigh и максимум передают то же значение. Значение по умолчанию, high, — правильный выбор для кодинга.

Чтобы задать его для чата:

ollama run inkling-2-mini --think=low

В чате, /set nothink понижает его до самого низкого уровня и скрывает рассуждения, а /set think снова включает их. В API Ollama те же названия передаются в think поле.

Моя рекомендация: оставьте его на уровне высокий для кодинга и агентов, где рассуждения себя оправдывают. Используйте низкий или medium для быстрых вопросов, чтобы не ждать долгих рассуждений ради ответа в одну строку.

Настройка 4: держите модель загруженной и выгрузите её, когда закончите

Ollama выгружает модель через пять минут бездействия, а повторная загрузка 20 ГБ занимает время. Во время сессии агента с паузами это раздражает. Чтобы держать её загруженной 30 минут после каждого использования:

launchctl setenv OLLAMA_KEEP_ALIVE 30m

Затем закройте и снова откройте Ollama. Для одного чата ollama run inkling-2-mini --keepalive 30m делает то же самое. Обратная сторона: когда закончите, верните память командой ollama stop inkling-2-mini.

Ещё две настройки для любопытных

  • Встроенный драфтер. Thinking Machines поставляет Inkling 2 Mini с небольшой вспомогательной сетью DSpark, которая угадывает несколько слов вперёд. Затем основная модель проверяет их за один проход. Ollama поддерживает её и по умолчанию включает драфтинг для любой модели, в которую входит драфтер. В опубликованных тестах MLX вне Ollama DSpark поднял скорость письма Inkling с 43,6 до 70,9 токена в секунду на M5 Max. На M4 Pro он снизил скорость с 31,1 до 18,7. Так что проверьте на своём Mac: в чате /set parameter draft_num_predict 0 отключает его; сравните eval rate с ним и без него.
  • Параллельные запросы. Начиная с 0.40.17 Ollama на Apple silicon может отвечать на несколько запросов одновременно, и каждому нужна собственная память контекста. Ollama выбирает осторожное значение по умолчанию исходя из вашей свободной памяти. Если агент, запускающий помощников параллельно, всё же загоняет ваш Mac в swap, ограничьте его одним запросом с помощью launchctl setenv OLLAMA_NUM_PARALLEL 1. Затем закройте и снова откройте Ollama.

Настройки, которые здесь не помогут

Руководства для других моделей часто советуют OLLAMA_KV_CACHE_TYPE=q8_0 чтобы вдвое сократить память, которую занимает контекст, вместе с flash attention. В Ollama 0.40.17 эти настройки относятся к его llama.cpp движку; Inkling 2 Mini работает на MLX движке, и ничто в коде этого движка их не читает. То же касается настроек слоёв GPU, таких как num_gpu. И оставьте temperature сама по себе: пакет Ollama использует значение Thinking Machines по умолчанию — 1.0, которое рекомендует и Unsloth.

Перед долгой сессией: освободите память

Открыть Мониторинг системы (в разделе «Программы» → «Утилиты») и нажмите на Память вкладку. Внизу вы увидите график «Давление на память» и «Использование подкачки». Зелёный — хорошо, жёлтый означает, что macOS сжимает память, а красный — что она сбрасывает данные на диск, из-за чего всё становится медленным. Перед сессией с агентом закройте главных потребителей памяти: браузеры с множеством вкладок, Docker Desktop, симуляторы iPhone, видеоредакторы и редакторы фото. На ноутбуке для долгих запусков подключите зарядное устройство.


Часть 6 — Проверка реальности с 32 ГБ: всё решает чип

Эта часть важна, если у вашего Mac чип, отличный от M2 Pro (или 36 ГБ M5 Max), — а это большинство Mac с 32 ГБ. Ещё это та часть, о которой не упоминают примечания к выпуску Ollama.

Что происходит, когда Inkling 2 Mini читает длинный промпт

Прежде чем что-то написать, модель читает весь ваш промпт. Движок MLX в Ollama делает это по 2 048 токена за раз. Для каждого фрагмента Inkling 2 Mini вычисляет, как каждый новый токен связан с каждым предыдущим, используя выученную меру расстояния между ними. Этот шаг требует временной таблицы, которая растёт вместе со всем, что модель прочитала в диалоге к этому моменту.

В Ollama 0.40.17 есть экономящий память способ сделать это, который обрабатывает промпт небольшими плитками, чтобы таблица никогда не разрасталась. В исходном коде он включается только для этих чипов: M2 Pro, M2 Ultra, M3 Ultra, M4 Pro, а также M5 Pro, Max и Ultra. Все остальные чипы переходят на общий метод, расход памяти которого растёт вместе с промптом. Это касается M1 Pro и Max, M2 Max, базовых M4 и M5.

Как это выглядело на M2 Max с 32 ГБ

Единственный опубликованный тест Ollama 0.40.17 на Mac с 32 ГБ принадлежит разработчикам Genex. Они попробовали Inkling 2 Mini на M2 Max с 32 ГБ:

  • Загрузка прошла, и короткий запрос с вызовом инструмента вернул верный ответ примерно на 24 токена в секунду.
  • Запрос на 18 003 токена упал после 12 288 токенов с ошибкой mlx: [METAL] Command buffer execution failed: Insufficient Memory. Установка контекста в 32 768 и размера пакета в 512 не помогла.
  • Их настоящий промпт на 15 089 токенов упал так же.
  • Цикл работы с компьютером, управляемый реальными скриншотами, работал.

Они заключили, что модель подходит для Mac с 32 ГБ при коротких промптах, но не при длинных, какие бывают в их приложении. Поэтому они изменили своё приложение: Inkling 2 Mini рекомендуется там только начиная с 48 ГБ.

Что с этим делать

Ваш чип Чего ожидать сегодня Что делать
M2 Pro (32 ГБ) или M5 Max (36 ГБ) Длинные промпты используют ограниченную память Агенты с контекстом 16K–32K и увеличенным лимитом для GPU (часть 5)
M1 Pro, M1 Max, M2 Max, M4, M5 (32 ГБ) Сессия, которая вырастает заметно больше примерно 10 000 токенов, рискует упасть с ошибкой "Insufficient Memory" Используйте его для чата и коротких документов; для агентов берите Pi с контекстом 8K и начинайте новую сессию для каждой задачи; увеличьте лимит для GPU; обновляйте Ollama при выходе новой версии
M3 Pro, M3 Max, M4 Max (36 ГБ) Тот же запасной вариант, но примерно на 4 ГБ больше свободного места Как выше, с небольшим запасом

Два момента, которые стоит учитывать. Во-первых, это программное ограничение, а не аппаратное. Код экономии памяти существует; просто он пока включён не для каждого чипа, а Ollama выпускает новые версии почти каждую неделю. Проверяйте примечания к выпуску при обновлении. Во-вторых, важно, сколько текста модель должна обработать за одну сессию, а не число на ползунке контекста. Каждый новый фрагмент сравнивается со всем предыдущим, поэтому долгий разговор вредит так же, как один длинный промпт, а агенты для кодинга быстро накапливают долгие разговоры. Небольшое контекстное окно делает сессии короткими; новые сессии — ещё короче.


Часть 7 — Шаг 5: используйте Inkling 2 Mini как локальный бэкенд для агента-кодера

Агент для кодинга — это программа, которая даёт модели инструменты: чтение файлов, их правку и выполнение команд. Она позволяет модели пройти задачу шаг за шагом. Обычно модель находится в дата-центре. Здесь Inkling 2 Mini на вашем Mac становится локальным бэкендом: агент вместо этого отправляет свои запросы в Ollama.

Ollama как локальный бэкенд для агентов кодинга: Pi, OpenCode и Claude Code отправляют свои запросы к модели в Inkling 2 Mini на localhost:11434, на том же Mac
Как всё связано. По умолчанию Ollama слушает только на вашем Mac и говорит на тех форматах API, которые агенты уже понимают.

Как это работает

Когда Ollama запущена, она слушает по адресу http://localhost:11434, адресу, доступному только программам на вашем Mac. Она говорит на форматах API, которые агенты уже знают: совместимый с OpenAI вариант по адресу http://localhost:11434/v1, совместимый с Anthropic вариант для Claude Code, и свой собственный. Агент отправляет свой промпт и определения инструментов, а Inkling 2 Mini решает, какой инструмент вызвать. Агент выполняет этот инструмент на вашем Mac и отправляет результат обратно. Цикл повторяется, пока задача не будет выполнена.

Вам не нужно ничего из этого настраивать вручную. Команда ollama launch устанавливает поддерживаемых агентов, если их нет, направляет их на Ollama и запускает.

Прежде чем запускать любого агента

  1. Сначала задайте контекст (Часть 5). Это важнее, чем кажется: когда вы запускаете OpenCode через ollama launch, Ollama читает контекст, с которым модель фактически загрузилась, и сообщает OpenCode это число. Если Ollama всё ещё на 4K, OpenCode этому верит.
  2. Работайте в тестовой папке под Git, чтобы вы могли видеть и отменять каждое изменение:
mkdir -p ~/Projects/inkling-test
cd ~/Projects/inkling-test
git init

При первом использовании git, macOS может предложить установить инструменты разработчика командной строки Apple. Согласитесь; это займёт несколько минут.

  1. Закройте приложения, пожирающие память (Часть 5).

Какого агента использовать на 32 ГБ?

Pi OpenCode Claude Code
Установка одной командой ollama launch pi --model inkling-2-mini ollama launch opencode --model inkling-2-mini ollama launch claude --model inkling-2-mini
Сначала установить нужно вам Node.js Ничего; Ollama предлагает установить его Ничего; Ollama предлагает установить его
Инструкции и инструменты, отправляемые до вашего первого слова Менее 1 000 токенов Около 6 900 токенов Около 32 800 токенов
Спрашивает перед выполнением команд Нет, так задумано По умолчанию — нет; включается одним изменением конфигурации Да, для большинства действий
Контекст, который нужно задать на 32 ГБ 16K (8K на чипах без энергосберегающего чтения промпта) 32K на M2 Pro Ollama рекомендует 64K или больше
Лучше всего на Любом Mac с 32 ГБ, во временной папке M2 Pro с 32 ГБ или от 48 ГБ 48 ГБ и больше

Цифра для Pi взята у его автора. Данные по OpenCode и Claude Code — из измерения Systima в июле 2026 года, по первому запросу каждого агента. Systima использовала пустой проект без MCP-серверов, OpenCode 1.17 и Claude Code 2.1 с моделью Claude. С тех пор оба агента обновились, так что воспринимайте эти цифры как порядок величины. Общий совет Ollama для агентов — контекст не менее 64K.

Pi против OpenCode и Claude Code с Inkling 2 Mini на Mac с 32GB: команда настройки, инструкции на каждый запрос, запросы разрешений и что лучше подходит каждому
На Mac с 32 ГБ приходится выбирать между памятью и защитными ограничениями: Pi отправляет меньше всех, но ничего не спрашивает; Claude Code спрашивает больше всех, но и отправляет больше всех.

Вариант A: Pi, самый лёгкий

Pi — намеренно минималистичный агент для кодинга с четырьмя инструментами: read, write, edit и bash. По словам автора, его системный промпт и определения инструментов вместе занимают меньше 1 000 токенов. Поэтому он лучше всего подходит для Mac с 32 ГБ, и именно его Ollama предложила в своём анонсе Inkling 2 Mini.

  1. Установите Node.js: скачайте установщик LTS с nodejs.org и запустите его. ollama launch pi требует npm для установки Pi.
  2. Перейдите в тестовую папку и запустите:
cd ~/Projects/inkling-test
ollama launch pi --model inkling-2-mini

Ollama устанавливает Pi, настраивает его на вашу локальную модель и открывает сессию.

⚠️ Pi ничего не спрашивает. Автор описывает его работу как "полный режим YOLO": никаких запросов разрешения для операций с файлами или команд и неограниченный доступ к вашим файлам. Thinking Machines также предупреждает, что Inkling 2 Mini может удалять или перезаписывать файлы без подтверждения. Вместе это означает: запускайте Pi только во временной папке, никогда в домашней папке или проекте без резервной копии. Автор советует запускать его в контейнере, если нужна настоящая граница; моё руководство по контейнерам Apple показывает, как настроить его на Mac.

Ещё одна деталь: когда Pi запускается через Ollama, его инструмент веб-поиска использует облачный веб-поиск Ollama. Для этого нужен аккаунт Ollama и включённая настройка Cloud. Всё остальное остаётся на вашем Mac.

Вариант B: OpenCode, отточенная золотая середина

OpenCode — популярный агент для кодинга с открытым исходным кодом: полноэкранный интерфейс в терминале, снимки после каждого шага и система разрешений, которую можно ужесточить.

cd ~/Projects/inkling-test
ollama launch opencode --model inkling-2-mini

Если OpenCode не установлен, Ollama спросит, устанавливать ли его; ответьте «да». Затем Ollama передаёт OpenCode свои настройки для этой сессии, не перезаписывая ваши собственные ~/.config/opencode/opencode.json. Она подгоняет лимиты OpenCode под контекст, с которым загрузилась модель, и оставляет четверть его, до 8K токенов, на ответ. Начиная с 0.40.17 она также передаёт параметры мышления Inkling 2 Mini.

Первый запрос OpenCode умеренный — около 6 900 токенов по июльскому замеру Systima. Но каждый прочитанный файл и каждый возвращённый вывод команды добавляются к разговору. На Mac с 32 ГБ без режима экономии памяти при чтении промптов из части 6 именно за этим числом и стоит следить. Достаточно нескольких файлов, чтобы перевалить за 12 000 токенов, на которых упал M2 Max.

OpenCode v2 также сам находит модели Ollama при запуске, так что достаточно просто выполнить opencode и выбрать модель с помощью /models. Запуск через Ollama на 32 ГБ всё равно остаётся лучшим путём, потому что он сообщает OpenCode тот контекст, который у вас на самом деле есть.

Заставьте его спрашивать и ограничьте число шагов

Из коробки OpenCode v2 позволяет модели выполнять команды оболочки и править файлы без вопросов; его правила по умолчанию спрашивают только перед чтением .env файлов. С моделью, чей создатель предупреждает о разрушительных действиях, это стоит изменить. Thinking Machines также рекомендует ограничивать число ходов агента, потому что модель иногда застревает в долгих циклах рассуждений, особенно при отладке, а steps в OpenCode делает как раз это. Внесите обе настройки в ~/.config/opencode/opencode.json (создайте файл, если его ещё нет):

{
  "$schema": "https://opencode.ai/config.json",
  "permissions": [
    { "action": "shell", "resource": "*", "effect": "ask" },
    { "action": "edit", "resource": "*", "effect": "ask" }
  ],
  "agents": {
    "build": { "steps": 40 }
  }
}

Этот permissions правила заставляют OpenCode спрашивать перед каждой командой оболочки и каждой правкой. build Этот агент используется в OpenCode по умолчанию; на последнем разрешённом шаге OpenCode убирает инструменты и просит модель подвести итог. Проверить, что это сработало, можно, попросив OpenCode создать файл: теперь он должен сначала спросить вас. Если не спросит, в документации OpenCode по разрешениям объясняется, как агенты могут добавлять собственные правила. Обо всём остальном в OpenCode, от планов до серверов MCP, читайте в моём руководство по OpenCode.

Вариант C: Claude Code — самый тяжёлый

Claude Code работает с Ollama через совместимый с Anthropic API Ollama, поэтому его запросы идут на ваш Mac, а не на серверы Anthropic. По умолчанию он спрашивает разрешение перед большинством действий, что делает его самым осторожным из трёх.

cd ~/Projects/inkling-test
ollama launch claude --model inkling-2-mini

Ollama предложит установить Claude Code, если его нет. Если вы предпочитаете запускать его сами позже, вот настройки, ollama launch которые он берёт на себя:

export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model inkling-2-mini

Ollama 0.40.17 также позволяет Claude Code загружать инструменты MCP только тогда, когда они нужны, а не все сразу, что делает промпты короче. Но встроенных инструментов Claude Code он не касается, а именно они делают его тяжёлым. В июльском замере Systima без серверов MCP самый первый запрос Claude Code составил около 32 800 токенов, в основном на определения инструментов. Это больше, чем вмещает контекст в 32K, и заметно превышает 12 000 токенов, на которых упал M2 Max. Ollama рекомендует для него контекст от 64K. На Mac с 32 ГБ попробуйте, если любопытно; рассчитывайте на него от 48 ГБ.

Другие агенты и приложения

На странице библиотеки Ollama перечислены запуски одной командой ещё для двух агентов, и тот же приём работает для Codex:

ollama launch hermes --model inkling-2-mini     # Hermes Agent
ollama launch openclaw --model inkling-2-mini   # OpenClaw
ollama launch codex --model inkling-2-mini      # OpenAI's Codex CLI

Любой другой инструмент, работающий через API OpenAI, тоже может использовать Inkling 2 Mini. Укажите ему базовый URL http://localhost:11434/v1, имя модели inkling-2-mini и любой текст в качестве ключа API. Ollama не проверяет ключ, но многие инструменты не принимают пустой.

Ваша первая задача для агента

Начните с чего-нибудь небольшого и наглядного в тестовой папке:

Создайте одностраничную веб-страницу со списком задач под названием index.html, которая сохраняет задачи
в браузере. Сделайте её простой и объясните, как её открыть, когда закончите.

Смотрите, что он делает: какие файлы читает, что записывает, какие команды запускает. Когда он закончит, откройте страницу с помощью open index.html, и проверьте изменения через Git:

git status      # какие файлы изменились или появились
git diff        # что изменилось в файлах, о которых Git уже знал

Если результат не понравится, удалите папку и начните заново. В этом и смысл тестовой папки.

Пять правил безопасного запуска локального агента

Карточка модели от Thinking Machines необычно откровенно описывает режимы отказа Inkling 2 Mini. Она может застрять в долгих циклах рассуждений. Она может удалить или перезаписать файлы без подтверждения и может неточно сообщить о результате своей работы. Она также чаще крупных моделей уверенно называет неверные факты. Ничего необычного для модели такого размера в этом нет. Это значит только одно:

  1. Git или копия — всегда. Никогда не отпускайте агента к файлам, которые вы не сможете восстановить.
  2. Включите запросы разрешений там, где агент их поддерживает (в OpenCode для этого нужно указанное выше изменение конфигурации), и читайте то, что одобряете.
  3. Ограничьте число шагов и объём вывода. Используйте настройку OpenCode steps; в чате Ollama, /set parameter num_predict 4096 ограничивает длину одного ответа.
  4. Проверяйте его утверждения. Запустите тесты сами, прежде чем поверите, что "все тесты прошли".
  5. Никогда не направляйте агента на свою домашнюю папку. А для Pi используйте одноразовую папку или контейнер.

Если хотите пойти дальше, в моём руководство по навыкам агентов и MCP-серверам рассказано, как ограничить, до чего могут дотянуться инструменты агента. Сравнение всех harness для ИИ-кодинга подробно разбирает самих агентов.


Часть 8 — Насколько быстр Inkling 2 Mini на Mac с 32 ГБ?

Скорость состоит из двух частей: как быстро модель читает ваш промпт и как быстро она пишет свой ответ. Вот соответствующие измерения, опубликованные к 21 ноября, с указанием среды выполнения, которая использовалась в каждом случае:

Mac Среда выполнения Скорость генерации Скорость чтения Примечания
M2 Max, 32 ГБ Ollama 0.40.17 Около 24 ток/с Не публикуется Короткий запрос с вызовом инструментов
M4 Pro, 48 ГБ Ollama 0.40.17 Около 32 ток/с 279 ток/с Промпт на 12 000 токенов, контекст 64K; всего 65 секунд
M4 Pro, 48 ГБ mlx-vlm, те же исходные веса 25,9 ток/с Не публикуется VisualInference
M5 Pro, 48 ГБ MLX-VLM, сборка сообщества 4/8-бит Около 27 ток/с Около 123–144 ток/с на очень коротких промптах ModelFit; очень короткие промпты читаются медленно, поэтому это не сравнимо с 279 выше

Third-party measurements, collected on 21 November 2026. No published Ollama runs yet for the M1 Pro, M1 Max, M2 Pro, base M4 or base M5.

Скорость Inkling 2 Mini на Mac с Ollama и MLX: измеренные токены в секунду на M2 Max с 32GB, M4 Pro с 48GB и M5 Pro с 48GB
Опубликованные скорости генерации с указанием среды выполнения. Только два результата для Ollama 0.40.17 получены на конфигурации, которую использует это руководство.

Что эти числа значат на практике

  • Для чата, около 24 токенов в секунду — быстрее, чем вы читаете. Ответ на 300 слов после тысячи токенов размышлений, всего около 1 400 токенов, при такой скорости занимает примерно минуту. Снизьте уровень рассуждений для быстрых вопросов, и он станет гораздо короче.
  • Для агентов, скорость чтения важна не меньше скорости записи, потому что агент отправляет длинный промпт на каждом шаге. На M4 Pro с 48 ГБ чтение промпта из 12 000 токенов заняло около 43 секунд. Ollama повторно использует кэш общей начальной части разговора между шагами, поэтому на поздних шагах в основном читается только новое.
  • Для сравнения, на том же M4 Pro Qwen3.8-27B потратил 122 секунды на задачу с 12 000 токенов, которую Inkling 2 Mini выполнил за 65. Qwen читал на скорости 107 и писал на скорости 27 токенов в секунду. Моё сравнение двух моделей разбирает, почему так, и одну оговорку: Inkling 2 Mini обычно пишет больше токенов на задачу.

Чего ждать на других Mac с 32 ГБ

Для базовых M4 и M5 цифры по Ollama пока никто не публиковал. Их пропускная способность памяти — 120 и 153,6 ГБ/с против 409,6 ГБ/с у M2 Max, который выдал около 24 токенов в секунду. Ожидайте, что они будут заметно медленнее. Насколько — заранее сказать трудно, потому что на текущем ПО Inkling 2 Mini не ускоряется пропорционально пропускной способности. Если у вас такой Mac, запустите --verbose тест из части 4, и через минуту вы всё узнаете.


Часть 9 — Устранение неполадок Inkling 2 Mini в Ollama

Найдите свою проблему ниже. Если её нет в списке, в журнале Ollama обычно написано, что пошло не так; последний раздел этой части показывает, как его читать.

Решение проблем с Inkling 2 Mini в Ollama: что делать с ошибкой 412, падениями Insufficient Memory, контекстом 4K, сильным свопингом и зацикливанием агента на Mac с 32GB
Большинство проблем на Mac с 32 ГБ сводятся к двум вещам: настройке контекста и нехватке памяти.

Если Inkling 2 Mini не скачивается или не запускается

Симптом Вероятная причина Решение
ollama pull inkling-2-mini выдаёт ошибку 412 и "requires a newer version" Ollama старше 0.40.17 Обновите (часть 2), затем снова выполните pull
ollama: command not found Ссылка для командной строки не создана Откройте приложение Ollama и примите предложение установить команду или переустановите приложение
PROCESSOR в ollama ps не показывает 100% GPU Что-то не так с настройкой GPU Завершите Ollama и откройте снова; проверьте, что у вас Apple silicon и macOS 14 или новее
Вы работаете в Windows или Linux Ollama 0.40.17 поддерживает Inkling 2 Mini только на Apple silicon; модели Ollama только для Mac отказывались скачиваться в других системах с ошибкой 412: this model requires macOS Дождитесь более позднего релиза или используйте llama.cpp либо vLLM

Если Inkling 2 Mini падает, забывает или замедляет ваш Mac

Симптом Вероятная причина Решение
Модель останавливается на середине ответа с ошибкой Insufficient Memory или Command buffer execution failed в журнале Промпт оказался слишком длинным для памяти вашего чипа на сегодня (часть 6), или память заняли другие приложения Закройте приложения, сократите промпт или вставляемые документы, используйте Pi вместо более тяжёлого агента, поднимите лимит памяти для GPU (часть 5) и обновите Ollama
Агент забывает инструкции, вызовы инструментов не срабатывают, правки обрываются на середине Контекст слишком мал: вероятно, значение по умолчанию 4K Установите 16K–32K (часть 5) и проверьте столбец CONTEXT в ollama ps. Затем перезапустите агента
Ваш Mac еле ползёт, вентиляторы шумят, растёт файл подкачки «Давление памяти» Проверьте Монитор активности; закройте приложения; уменьшите контекст; ollama stop любую другую загруженную модель
Первый ответ после паузы приходит медленно Ollama выгрузила модель после пяти минут простоя Задайте OLLAMA_KEEP_ALIVE (Часть 5)

Если агент для кодинга ведёт себя странно

Симптом Вероятная причина Решение
Модель думает бесконечно или повторяется Длинные циклы рассуждений, о которых предупреждает Thinking Machines Давайте задачи поменьше, ограничивайте число шагов и выходных токенов, снижайте усилие для простых вопросов
Агент говорит, что модели не существует Опечатка в имени модели Укажите точно inkling-2-mini; ollama ls показывает, что у вас есть
Веб-поиск Pi не работает Он использует облачный веб-поиск Ollama Войдите в Ollama и включите Cloud или работайте без веб-поиска
OpenCode редактирует файлы, не спрашивая OpenCode v2 по умолчанию разрешает правки и команды оболочки Добавьте permissions правила из части 7

Проверьте журнал Ollama

Журналы Ollama находятся в ~/.ollama/logs/server.log. Чтобы увидеть последние строки после сбоя:

tail -n 40 ~/.ollama/logs/server.log

Часть 10 — Когда 32 ГБ не хватает

Вы поймёте, что упёрлись в потолок, когда длинные промпты падают, когда агенты то и дело сжимают свой диалог или когда ваш Mac уходит в swap каждый раз при загрузке модели. Первые три варианта ничего не стоят; последние три стоят денег, конфиденциальности или того и другого.

На Mac, который у вас есть

  • Оставьте его и используйте для того, что подходит. Чат, короткие документы, вопросы по изображениям и Pi на небольших задачах хорошо работают на любом Mac с 32 ГБ. Следите за примечаниями к выпускам Ollama: если экономящее память чтение промптов из части 6 доберётся до большего числа чипов, картина изменится за одну ночь.
  • Файл поменьше в другом рантайме. 4-битная версия от Unsloth весит 17,6 ГБ — примерно на 2,6 ГБ меньше пакета Ollama — и работает на собственной сборке llama.cpp от Unsloth. Она техничнее, и поддержка в первый день там была грубее; мой сравнительная статья рассказывает об этом.
  • Другая локальная модель. Qwen3.8-27B набирает столько же, сколько Inkling 2 Mini, в индексе Artificial Analysis, работает везде и лучше отвечает на вопросы о знаниях, но на том же Mac он медленнее. Та же статья.

За пределами вашего Mac

  • Больше памяти. Начиная с 48 ГБ Inkling 2 Mini комфортно запускает агентов, а с 64 ГБ вы можете держать её загруженной рядом с другой моделью. Если вы решаете, что купить, мои руководства по стоит ли брать MacBook для локальных LLM и MacBook Pro M5 Pro с 64 ГБ разбирают компромиссы.
  • Старший брат, в облаке. Inkling 2 Small — модель Thinking Machines на 594 миллиарда параметров — доступна в облаке Ollama как inkling-2-small:cloud. Он работает с теми же командами запуска, например ollama launch opencode --model inkling-2-small:cloud. Для него нужен аккаунт Ollama, и тогда ваши промпты покидают ваш Mac.
  • Тариф для кодинга для самых сложных 10 %. Многие запускают локальную модель для приватной и повседневной работы, а самое сложное планирование и отладку направляют большой облачной модели. Один из доступных вариантов — GLM Coding Plan от Z.ai, который работает в OpenCode, Claude Code и других агентах. Вы можете получить скидку 10% на GLM Coding Plan по моей партнёрской ссылке. (Партнёрская ссылка — см. раскрытие информации в начале статьи.)

Часто задаваемые вопросы

Можно ли запустить Inkling 2 Mini на Mac с 32 ГБ памяти?

Да. И Thinking Machines, и Ollama поддерживают Inkling 2 Mini на Mac с Apple silicon и 32 ГБ памяти или больше, через Ollama 0.40.17 или новее. Модель занимает около 20 ГБ, поэтому чат и короткие документы работают хорошо. Ограничение — длинные промпты. На большинстве чипов с 32 ГБ Ollama 0.40.17 пока не использует экономное чтение промптов. Один тест на M2 Max упал после примерно 12 000 токенов.

Какая версия Ollama нужна для Inkling 2 Mini?

Ollama 0.40.17 или новее. Ollama объявила о поддержке Inkling 2 Mini в 0.40.17 20 ноября 2026 года как о предварительном релизе, а финальная версия 0.40.17 вышла в течение суток. Проверьте командой ollama --version. Старые версии отказываются скачивать модель с ошибкой 412. В 0.40.17 Inkling 2 Mini поддерживается только на Apple silicon.

Сколько занимает загрузка Inkling 2 Mini в Ollama?

20 188 097 271 байт, около 20,2 ГБ или 18,8 ГиБ. Все три тега, latest, 26b-a5b и 26b-a5b-nvfp4, — это один и тот же пакет: оригинальные веса NVFP4 и MXFP8 от Thinking Machines с поддержкой изображений. Меньшей версии для Ollama нет. При 100 Мбит/с загрузка занимает около 27 минут.

Почему Ollama даёт Inkling 2 Mini на моём Mac только контекст 4K?

Ollama задаёт контекст по умолчанию исходя из обнаруженной памяти GPU: 4K ниже примерно 23 ГиБ, 32K до примерно 47 ГиБ и 256K выше. На Mac эта величина — тот бюджет GPU, который разрешает macOS, а на Mac с 32 ГБ это около 21,3 ГиБ, поэтому вы получаете 4K. Измените его ползунком Context length в настройках Ollama или подняв бюджет GPU до 24 ГиБ.

Какую длину контекста выбрать для агента-кодера на 32 ГБ?

16K для Pi и 32K для OpenCode на M2 Pro — это максимум, который Mac с 32 ГБ может комфортно дать рядом с моделью на 20 ГБ. На чипах без экономного чтения промптов в Ollama используйте 8K и короткие сессии. Для агентов кодинга Ollama рекомендует 64K или больше, что работает начиная с 48 ГБ. Задайте это до запуска агента, потому что ollama launch opencode передаёт загруженный контекст в OpenCode.

Стоит ли повышать лимит памяти GPU через iogpu.wired_limit_mb?

На Mac с 32 ГБ это помогает. Команда sudo sysctl iogpu.wired_limit_mb=24576 поднимает бюджет GPU с примерно 21,3 ГиБ до 24 ГиБ и оставляет 8 ГиБ для macOS. Тогда Ollama по умолчанию берёт контекст 32K. После этого закройте и снова откройте Ollama. Настройка сбрасывается при перезагрузке Mac; sudo sysctl iogpu.wired_limit_mb=0 быстрее возвращает значение по умолчанию. Это не официальная настройка macOS, поэтому отмените её, если ваш Mac активно уходит в swap или начинает работать нестабильно.

Как изменить уровень рассуждений Inkling 2 Mini в Ollama?

Используйте --think флаг: ollama run inkling-2-mini --think=low. Ollama принимает none, minimal, низкий, medium, высокий (по умолчанию), xhigh и максимум, который передаёт модели как значения усилия от 0 до 0,99. Внутри чата /set nothink задаёт самый низкий уровень и скрывает рассуждения. Даже минимум не отключает рассуждения полностью.

Какой агент-кодер лучше всего работает с Inkling 2 Mini на Mac с 32 ГБ?

Pi, потому что его системный промпт и инструменты занимают меньше 1 000 токенов, что сохраняет промпты короткими: ollama launch pi --model inkling-2-mini. Но Pi выполняет команды без вопросов, поэтому используйте его только в одноразовой папке. OpenCode открывается с примерно 6 900 токенами и работает с контекстом 32K, лучше всего на M2 Pro. Он спрашивает перед действием, как только вы добавите два правила разрешений в его конфиг. Claude Code спрашивает по умолчанию, но его первый запрос по замерам составил около 32 800 токенов — больше, чем вмещает контекст 32K, поэтому он лучше начиная с 48 ГБ.

Почему Ollama упала с ошибкой "Insufficient Memory"?

Скорее всего, промпт или беседа оказались слишком длинными для памяти GPU вашего Mac. Ollama 0.40.17 читает длинные промпты экономным методом только на M2 Pro, M2 Ultra, M3 Ultra, M4 Pro и M5 Pro, Max и Ultra. На других чипах память растёт со всем, что прочитала модель, и один M2 Max с 32 ГБ упал после 12 288 токенов. Закройте другие приложения, держите сессии короткими, используйте Pi, поднимите бюджет GPU и обновляйте Ollama.

Насколько быстро Inkling 2 Mini работает на Mac с 32 ГБ?

В единственном опубликованном тесте Ollama на Mac с 32 ГБ, на M2 Max, короткий запрос выполнялся со скоростью около 24 токенов в секунду. На M4 Pro с 48 ГБ и Ollama 0.40.17 модель писала со скоростью около 32 токенов в секунду и читала промпт на 12 000 токенов со скоростью 279 токенов в секунду. У базовых Mac на M4 и M5 пропускная способность памяти гораздо ниже, поэтому они должны работать медленнее; замеров пока не публиковалось.

Можно ли запустить Inkling 2 Mini с Ollama на Mac с 16 или 24 ГБ?

Нет, с пакетом Ollama — это единственная версия на 20 ГБ, а Thinking Machines указывает 32 ГБ как минимум. Unsloth публикует 2-битные и 3-битные файлы примерно на 9–14 ГБ, которые работают со своей сборкой llama.cpp на меньших Mac. Они стоят некоторой потери качества и требуют больше настройки.

Отправляет ли Inkling 2 Mini мой код или промпты куда-нибудь?

Нет, когда он работает локально. Ollama запускает модель на вашем Mac, и в её FAQ сказано, что при локальном запуске она не видит ваши промпты и данные. Агенты кодинга, запущенные с помощью ollama launch обращаются к Ollama по адресу localhost:11434, на вашей собственной машине. Облачные модели и веб-поиск — другое дело: они отправляют данные на серверы Ollama, и их можно отключить настройкой Cloud. Агенты — отдельные программы со своими сетевыми инструментами, например веб-загрузкой OpenCode, поэтому проверьте их настройки, если вам нужно работать полностью офлайн.

Можно ли запустить Inkling 2 Mini с Ollama на Windows или Linux?

Нет, в Ollama 0.40.17 — в примечаниях к релизу сказано, что Inkling 2 Mini в этой версии поддерживается только на Apple silicon. На оборудовании NVIDIA Thinking Machines поддерживает vLLM и SGLang, а сборка llama.cpp от Unsloth запускает его файлы GGUF. Более поздний релиз Ollama может добавить другие платформы.

Как удалить Inkling 2 Mini и освободить место?

Запуск ollama rm inkling-2-mini. Удалите любые копии, созданные с помощью ollama create, например inkling-2-mini-32k, тем же способом: 20 ГБ весов освобождаются, как только их не использует ни одна модель. Чтобы удалить сам Ollama, закройте его, удалите из Applications и удалите папку .ollama в вашей домашней папке; документация Ollama для macOS перечисляет все файлы.

Итог

Inkling 2 Mini — способная открытая модель, которую её создатель поддерживает на Mac с 32 ГБ, а Ollama действительно упрощает основы: установить, скачать, запустить. Для чата, документов и вопросов по изображениям вам хватит Mac с 32 ГБ.

Агенты — это то место, где 32 ГБ становится тесно, и на то есть две причины. Ollama запускает большинство 32-гигабайтных Mac с контекстом 4K, что незаметно ломает агентов, пока вы это не измените. И на большинстве чипов с 32 ГБ длинные промпты всё ещё могут исчерпать память, потому что экономящее память чтение промптов в Ollama’s охватывает только некоторые чипы. Поэтому задайте контекст, увеличьте бюджет GPU и закройте браузер. Начните с Pi в одноразовой папке и обновляйте Ollama почаще.

Если у вас M2 Pro, вы в лучшем положении, какое только может быть у 32-гигабайтного Mac сегодня. Если у вас 48 ГБ или больше, большинство здешних оговорок отпадает. И какой бы Mac у вас ни был, ollama run inkling-2-mini --verbose за пять минут расскажет о вашей машине больше, чем любая таблица в этом руководстве.


Запускаете Inkling 2 Mini на 32-гигабайтном Mac? Поделитесь своим чипом, версией Ollama, настройкой контекста и --verbose цифрами в комментариях, особенно с M1, M4 или M5. Самые полезные результаты я добавлю в часть 8 с указанием автора. Исправления тоже приветствуются: при такой новой поддержке часть сегодняшних деталей быстро изменится.

Раскрытие информации: Это руководство содержит одну партнёрскую ссылку — на тариф GLM Coding Plan от Z.ai (в части 10). Подписка через неё даёт вам скидку 10% и может принести мне комиссию без дополнительных затрат для вас. Никакие другие продукты или компании в этом руководстве не спонсировали его, и никто из них не проверял материал перед публикацией.

Факты проверены: 21 ноября 2026.

Добавьте свой сигнал.

Ваш адрес email не будет опубликован. Обязательные поля помечены *

ru_RUРусский