Lewati ke konten
MINGGU, NOVEMBER 22, 2026BERITA TEKNOLOGI INDEPENDEN, ULASAN & PANDUAN PRAKTIS
TENTANG
TERBARU /

Jalankan Inkling 2 Mini di Mac dengan Ollama (32 GB)

BACA PANDUAN
AGEN AIGM / 053

Jalankan Inkling 2 Mini di Mac dengan Ollama (32 GB)

Jalankan Inkling 2 Mini dengan Ollama di Mac 32GB, langkah demi langkah: pasang, unduh model 20 GB, atur jendela konteks dan memori, lalu hubungkan agen coding lokal.

Run Inkling 2 Mini with Ollama on a 32GB Mac: three Terminal commands, Ollama 0.40.17, a 16K–32K context and an optional 24 GiB GPU budget

Thinking Machines Lab merilis Inkling 2 Mini pada 20 November dengan janji yang tidak biasa untuk model terbuka sekemampuan ini: model itu berjalan di laptop. Perusahaan mendukungnya di Mac mana pun dengan memori 32 GB atau lebih, melalui Ollama. Para penelitinya bahkan menjalankannya secara offline di MacBook Pro selama penerbangan, dan model itu membangun simulator penerbangan yang bisa dimainkan. Panduan ini menunjukkan, langkah demi langkah, cara menjalankan Inkling 2 Mini dengan Ollama di Mac 32 GB. Mulai dari instalasi baru dan berakhir dengan agen coding lokal yang berfungsi.

Versi singkatnya adalah tiga perintah. Versi panjangnya adalah alasan panduan ini ada. Di Mac 32 GB, model memakan sekitar 20 GB. Secara bawaan, macOS juga menyisihkan kira-kira sepertiga memorimu dari prosesor grafis. Ollama menanggapinya dengan memberi model konteks 4.000 token: cukup untuk obrolan, jauh terlalu kecil untuk agen coding. Dan di sebagian besar Mac 32 GB, prompt yang sangat panjang masih bisa kehabisan memori saat ini. Semua itu bukan alasan untuk melewatinya. Justru itu alasan untuk mengaturnya dengan benar.

Kamu tidak perlu tahu cara menulis kode. Kamu akan menyalin beberapa perintah ke Terminal, aplikasi baris perintah Mac (tekan Cmd-Space, ketik Terminal lalu tekan Return). Setiap perintah dijelaskan. Dukungan Ollama untuk Inkling 2 Mini baru berumur beberapa hari dan bergerak cepat, jadi setiap fakta di bawah diperiksa pada 21 November 2026.

Keterbukaan soal independensi dan afiliasi: Tidak ada perusahaan yang disebut di sini yang mensponsori, meninjau, atau menyetujui panduan ini. Panduan ini berisi satu tautan afiliasi, ke GLM Coding Plan milik Z.ai (di Bagian 10). Berlangganan melaluinya memberimu diskon 10% dan mungkin menghasilkan komisi untukku tanpa biaya tambahan bagimu.


TL;DR — versi 60 detik

  • Yang kamu butuhkan: Mac Apple silicon dengan memori 32 GB atau lebih, macOS 14 atau lebih baru, sekitar 25 GB ruang disk kosong dan Ollama 0.40.17 atau lebih baru.
  • Tiga perintah: ollama --version (0.40.17 atau lebih tinggi), ollama pull inkling-2-mini (unduhan 20,2 GB), ollama run inkling-2-mini.
  • Jebakan 32 GB: bobotnya memakan 18,8 GiB, dan secara bawaan macOS hanya membiarkan GPU memakai sekitar 21,3 GiB. Jadi Ollama menetapkan konteks 4K, terlalu kecil untuk agen.
  • Pengaturan yang penting: atur konteks ke 16K–32K di Pengaturan Ollama untuk agen. Secara opsional, naikkan anggaran GPU ke 24 GiB dengan sudo sysctl iogpu.wired_limit_mb=24576 (nilainya kembali setelah mulai ulang). Biarkan reasoning effort di tinggi untuk coding, rendah untuk pertanyaan cepat. Tutup dulu aplikasi yang rakus memori.
  • Chip kamu berpengaruh saat ini: Ollama 0.40.17 mengaktifkan pembacaan prompt hemat memorinya hanya untuk M2 Pro, M2 Ultra, M3 Ultra, M4 Pro, dan M5 Pro, Max serta Ultra. Dalam satu-satunya uji 32 GB yang diterbitkan, sebuah M2 Max crash dengan "Insufficient Memory" setelah sekitar 12.000 token.
  • Agen: Pi paling cocok untuk 32 GB, karena instruksi dan tool-nya tidak sampai 1.000 token (ollama launch pi --model inkling-2-mini). Ia menjalankan perintah tanpa bertanya, jadi simpan di folder sekali pakai. OpenCode terbuka dengan sekitar 6.900 token dan bertanya lebih dulu setelah satu perubahan konfigurasi. Claude Code bertanya secara default, tetapi permintaan pertamanya terukur sekitar 32.800 token: lebih baik dari 48 GB.
  • Kecepatan: sekitar 24 token per detik pada M2 Max 32 GB, dan sekitar 32 pada M4 Pro 48 GB.
  • Keamanan: Thinking Machines memperingatkan bahwa model bisa berulang, menghapus atau menimpa berkas tanpa bertanya, dan salah melaporkan hasilnya. Bekerjalah di Git atau dalam salinan, biarkan prompt izin tetap aktif dan batasi langkah agen.

Sekilas

Model Inkling 2 Mini dari Thinking Machines Lab, dirilis 20 November 2026, lisensi Apache 2.0
Ukuran 26,4B parameter, 3,4B aktif per token; 5,4B aktivasi bobot dengan menghitung lapisan berulangnya
Tag Ollama inkling-2-mini (juga 26b-a5b dan 26b-a5b-nvfp4: paket 20 GB yang sama)
Unduhan 20.188.097.271 byte (20,2 GB, atau 18,8 GiB)
Waktu yang dibutuhkan Sekitar setengah jam, ditambah 3 sampai 60 menit untuk unduhan
Versi Ollama 0.40.17 atau lebih baru; hanya Apple silicon pada rilis itu
Mesin Runner MLX Ollama, dibangun di atas framework machine learning Apple
Kemampuan Input teks dan gambar, pemanggilan tool, thinking
Konteks Hingga 1 juta token pada model; default Ollama di sebagian besar Mac 32 GB: 4K
Minimum yang didukung Mac Apple silicon dengan 32 GB (Thinking Machines dan Ollama)
macOS 14 Sonoma atau lebih baru (syarat Ollama)
Reasoning effort none, minimal, rendah, medium, tinggi (bawaan), xhigh, maks
Agen satu perintah Pi, OpenCode, Claude Code, Hermes Agent dan OpenClaw, melalui ollama launch
Kecepatan terukur M2 Max 32 GB: sekitar 24 tok/s; M4 Pro 48 GB: sekitar 32 tok/s menulis, 279 tok/s membaca

Measured speeds are third-party results.


Daftar isi

Lima langkah menjalankan Inkling 2 Mini dengan Ollama di Mac: pasang Ollama 0.40.17, tarik model 20 GB, jalankan, atur konteks, dan luncurkan agen coding
Seluruh panduan dalam satu gambar. Langkah 1 sampai 3 butuh beberapa menit plus unduhan; langkah 4 adalah bagian di mana Mac 32 GB perlu kehati-hatian.

Bagian 1 — Sebelum Mulai: Apakah Mac Kamu Siap?

Empat hal menentukan apakah kamu bisa menjalankan Inkling 2 Mini dengan Ollama: chip, memori, versi macOS, dan ruang disk kosongmu. Tiga yang pertama ada di satu layar: buka menu Apple dan pilih Tentang Mac Ini. Untuk ruang disk, buka Pengaturan Sistem → Umum → Penyimpanan.

Persyaratan Minimum Mengapa
Chip Apple silicon (chip seri M apa pun) Ollama 0.40.17 hanya menjalankan Inkling 2 Mini di Apple silicon. Di Mac Intel, Ollama hanya bisa memakai prosesor, bukan GPU
Memori 32 GB Minimum yang didukung Thinking Machines’ dan Ollama; modelnya saja butuh sekitar 20 GB
macOS 14 Sonoma atau lebih baru Persyaratan Ollama sendiri
Ruang disk kosong Sekitar 25 GB 20,2 GB untuk model, plus ruang agar macOS bisa bernapas
Ollama 0.40.17 atau lebih baru Rilis pertama yang mengenal model ini (Bagian 2)

Bagaimana dengan Mac 16 GB dan 24 GB? Tidak dengan paket Ollama, yang berupa satu berkas 20 GB tanpa versi lebih kecil. Salinan terkompresi memang ada: Unsloth menerbitkan berkas 2-bit dan 3-bit berukuran sekitar 9 sampai 14 GB yang berjalan dengan build llama.cpp miliknya sendiri. Itu rute lain yang lebih teknis, yang saya bahas di Inkling 2 Mini vs Qwen3.8-27B, beserta apa yang kamu korbankan dalam hal kualitas.

Mac 32 GB mana yang kamu punya?

Chip kamu berpengaruh karena dua alasan. Yang pertama adalah kecepatan. Model seperti ini menulis setiap kata dengan membaca bobot aktifnya dari memori. Jadi kecepatan menulis sangat bergantung pada bandwidth memori: seberapa cepat chip bisa membaca memori. M1 Max dan M2 Max punya bandwidth dua kali lipat M1 Pro dan M2 Pro, dan sekitar tiga kali lipat M4 dan M5 dasar.

Alasan kedua baru dan khusus untuk Ollama 0.40.17 (Bagian 6 menjelaskannya). Ollama punya cara hemat memori untuk membaca prompt panjang untuk model ini, tetapi itu hanya diaktifkan untuk sebagian chip. Di antara Mac yang hadir dengan tepat 32 GB, hanya M2 Pro yang memilikinya saat ini.

Chip Hadir dengan 32 GB? Bandwidth memori Pembacaan prompt hemat memori di Ollama 0.40.17
M1 Pro Ya 204,8 GB/s Tidak
M1 Max Ya 409,6 GB/s Tidak
M2 Pro Ya 204,8 GB/s Ya
M2 Max Ya 409,6 GB/s Tidak
M4 Ya 120 GB/s Tidak
M5 Ya 153.6 GB/s Tidak
M3 Pro, M3 Max, M4 Max versi 36 GB 153.6 / 307.2 / 409.6 GB/s Tidak
M5 Max versi 36 GB 460.8 GB/s Ya

Opsi bandwidth dan memori dari spesifikasi Apple sebagaimana dikumpulkan oleh Wikipedia. Dukungan pembacaan prompt dari kode sumber Ollama 0.40.17, yang mengaktifkannya untuk M2 Pro, M2 Ultra, M3 Ultra, M4 Pro dan M5 Pro, Max dan Ultra. M4 Pro dan M5 Pro tidak dijual dengan 32 GB.

Mesin dengan 36 GB mendapat ruang sekitar 4 GB lebih banyak daripada yang diasumsikan seluruh panduan ini, jadi langkah yang sama berfungsi dengan sedikit lebih longgar.

Mac 32GB mana yang paling cocok menjalankan Inkling 2 Mini di Ollama: bandwidth memori dan pembacaan prompt hemat memori menurut chip Apple, dari M1 Pro dan M2 Max sampai M4 dan M5
Bandwidth menentukan kecepatan menulis; pembacaan prompt hemat memori dari Ollama, yang saat ini hanya ada di sebagian chip, menentukan seberapa panjang prompt yang bisa dibaca Mac kamu dengan aman.

Bagian 2 — Langkah 1: Pasang atau Perbarui Ollama

Ollama adalah aplikasi gratis yang mengunduh model terbuka dan menjalankannya di Mac kamu sendiri. Ollama juga menjalankan server kecil di latar belakang, yang nanti dihubungi agen coding.

Jika kamu belum punya Ollama

  1. Pergi ke ollama.com/download dan unduh versi Mac, Ollama.dmg.
  2. Buka berkasnya dan seret Ollama ke Applications tersebut.
  3. Buka Ollama dari Applications. Saat pertama kali dijalankan, Ollama memeriksa apakah ollama perintahnya tersedia di Terminal. Jika belum, Ollama meminta izin untuk menambahkannya ke /usr/local/bin. Pilih ya dan masukkan kata sandi Mac kamu jika diminta. Ikon llama kecil muncul di bilah menu selama Ollama berjalan.
  4. Buka Terminal dan ketik:
ollama --version

Kamu ingin 0.40.17 atau lebih baru.

Jika kamu sudah punya Ollama

Jalankan ollama --version. Jika versinya lebih lama dari 0.40.17, perbarui:

  • Aplikasinya: Ollama mengunduh pembaruan sendiri. Klik ikon llama di bilah menu dan pilih Mulai ulang untuk memperbarui jika ditawarkan. Jika tidak, unduh Ollama lagi dari ollama.com/download dan ganti aplikasinya. Model yang sudah kamu unduh tetap di tempatnya.
  • Homebrew: run brew upgrade ollama. Paket Ollama Homebrew sudah di 0.40.17 pada 21 November.

Pemeriksaan versi, 21 November 2026: Ollama mengumumkan dukungan Inkling 2 Mini di 0.40.17 pada 20 November, sebagai pra-rilis. Versi final 0.40.17 ditandai di GitHub dalam sehari, dan Homebrew sudah menyediakannya. Jika halaman unduhan masih memberimu 0.40.16, dapatkan 0.40.17 atau lebih baru dari halaman rilis GitHub. Ollama versi lama menolak unduhan itu dengan pull model manifest: 412: The model you are attempting to pull requires a newer version of Ollama.

Dua pengaturan yang layak dicek (opsional)

Buka Ollama’s Pengaturan dari ikon llama atau jendela aplikasi.

  • Cloud. Tombol ini mengaktifkan model cloud dan pencarian web Ollama’s. Inkling 2 Mini berjalan sepenuhnya di Mac kamu dengan cara apa pun; FAQ resmi Ollama’s menyebut bahwa saat kamu menjalankan secara lokal, ia tidak melihat prompt atau datamu. Matikan Cloud jika kamu ingin memastikan tidak ada yang bisa beralih ke model cloud. Namun catat, alat pencarian web di sebagian agen memakai cloud Ollama.
  • Lokasi model. Jika drive internalmu kurang ruang, arahkan ini ke SSD eksternal sebelum kamu mengunduh 20 GB.

Bagian 3 — Langkah 2: Unduh Inkling 2 Mini

Satu perintah:

ollama pull inkling-2-mini

Ukuran unduhannya 20.188.097.271 bytes, sedikit di atas 20 GB. Berikut perkiraan berapa lama prosesnya pada kecepatan penuh; unduhan nyata biasanya lebih lambat:

Koneksimu Waktu unduh
50 Mbit/s sekitar 54 menit
100 Mbit/s sekitar 27 menit
250 Mbit/s sekitar 11 menit
500 Mbit/s sekitar 5½ menit
1 Gbit/s sekitar 3 menit

Jika unduhan berhenti, jalankan perintah yang sama lagi dan unduhan melanjutkan dari titik terakhir.

Beberapa hal yang perlu diketahui tentang yang baru saja kamu unduh:

  • Hanya ada satu versi. Ketiga tag di halaman pustaka Ollama’s, latest, 26b-a5b dan 26b-a5b-nvfp4, adalah paket 20 GB yang sama. Tidak ada versi Ollama yang lebih kecil untuk dipilih.
  • Ini yang asli, bukan salinan terkompresi. Thinking Machines melatih sebagian besar bobot model’s dalam format 4-bit bernama NVFP4, dan empat lapisan terakhirnya dalam format 8-bit, MXFP8. Model dikirim dengan cara itu. Paket Ollama’s memuat bobot tersebut, jadi tidak ada yang hilang dalam konversi.
  • Bisa melihat. Paket ini menangani gambar maupun teks, dan bisa memanggil alat, yang memungkinkan agen coding memakainya.

Pastikan sudah masuk:

ollama ls

Kamu akan melihat inkling-2-mini:latest dengan ukuran 20 GB.


Bagian 4 — Langkah 3: Jalankan Inkling 2 Mini di Ollama untuk Pertama Kali

Mulai chat di Terminal:

ollama run inkling-2-mini --verbose

Start pertama butuh waktu sebentar, karena Ollama memuat 20 GB dari drive ke memori. Lalu kamu akan mendapat >>> prompt. Coba sesuatu seperti:

Jelaskan dalam tiga kalimat apa itu looped transformer.

Inkling 2 Mini berpikir sebelum menjawab, jadi kamu akan melihat penalarannya muncul lebih dulu, lalu jawabannya. Kalau kamu lebih suka tidak menontonnya berpikir, jalankan dengan --hidethinking sebagai gantinya.

Baca angkanya

Karena kamu menambahkan --verbose, Ollama mencetak statistik setelah setiap jawaban. Dua baris yang penting:

Garis Artinya
laju evaluasi prompt Seberapa cepat model baca pesanmu, dalam token per detik
eval rate Seberapa cepat ia menulis balasannya, dalam token per detik. Satu token kira-kira tiga perempat kata bahasa Inggris

Sebagai acuan, satu-satunya uji Ollama yang diterbitkan pada Mac 32 GB, yaitu M2 Max, mengukur sekitar 24 token per detik. Bagian 8 memuat pengukuran lainnya.

Beberapa hal yang bisa kamu lakukan selanjutnya

  • Keluar dari chat: type /bye atau tekan Ctrl-D. Model tetap di memori selama lima menit kalau kamu kembali.
  • Bebaskan memori sekarang: ollama stop inkling-2-mini.
  • Tanya tentang gambar: ketik pertanyaanmu, lalu seret berkas gambar dari Finder ke jendela Terminal, yang akan menempelkan path lengkapnya. Tekan Return.
  • Pakai aplikasinya saja: buka aplikasi Ollama, pilih inkling-2-mini dari menu model dan chat di sana. Kamu juga bisa menjatuhkan gambar ke jendelanya.

Pastikan Inkling 2 Mini berjalan dengan benar

Saat model termuat, buka jendela Terminal kedua dan jalankan:

ollama ps
Kolom Yang ingin kamu lihat
NAME inkling-2-mini:latest
SIZE Berapa banyak memori yang dipakai model
PROCESSOR 100% GPU. Di Apple silicon, itu berarti model berjalan di prosesor grafis dalam memori terpadu
KONTEKS Berapa banyak token percakapan yang bisa ditampungnya. Di sebagian besar Mac 32 GB, ini menunjukkan 4096 sampai kamu mengubahnya di Bagian 5
RUNNER mlx, mesin Ollama untuk Apple silicon
HINGGA Kapan Ollama akan membongkarnya jika kamu tidak memakainya

Kamu juga bisa menanyakan ke Ollama apa yang terdeteksi saat ia mulai:

grep "vram-based default context" ~/.ollama/logs/server.log | tail -1

Di Mac 32 GB kamu seharusnya melihat total_vram sekitar 21 GiB dan default_num_ctx=4096. Satu baris itu menjelaskan sebagian besar Bagian 5.


Mengobrol berfungsi tanpa perubahan sama sekali. Agen coding dan dokumen panjang tidak, karena cara Mac 32 GB membagi memorinya. Semua angka memori di bagian ini dalam GiB, gigabita biner yang dilaporkan macOS dan Ollama; Mac "32 GB" memiliki 32 GiB.

Inilah anggarannya. Bobot Inkling 2 Mini memakan 18,8 GiB. Di Mac 32 GB, macOS membiarkan prosesor grafis memakai sekitar dua pertiga memori, sekitar 21,3 GiB, kecuali kamu mengubahnya. VisualInference mengukur bobot asli yang sama ini di aplikasi MLX lain, mlx-vlm, pada M4 Pro 48 GB. Memori memuncak di 20,3 GiB dengan prompt pendek, 21,4 GiB pada 4.000 token dan 22,1 GiB pada 16.000 token. Dengan kata lain, begitu prompt menjadi panjang, modelnya sendiri mencapai batas anggaran GPU bawaan. Dan itu sebelum macOS dan aplikasi lainmu mengambil bagiannya.

Memori Inkling 2 Mini di Mac 32GB: 18,8 GiB bobot dan puncak terukur 20,3 sampai 22,1 GiB terhadap anggaran GPU bawaan 21,3 GiB dan anggaran yang dinaikkan 24 GiB
Ke mana 32 GiB pergi. Puncak diukur dengan mlx-vlm pada M4 Pro 48 GB memakai bobot asli yang sama dengan yang dikirim Ollama; angka Ollama sendiri akan sedikit berbeda. Anggaran GPU adalah bawaan macOS dan batas naik opsional.

Empat pengaturan membuat perbedaan.

Pengaturan 1: Panjang konteks (yang paling penting)

The panjang konteks adalah berapa banyak teks yang bisa ditampung model sekaligus. Itu mencakup pesan-pesanmu dan balasannya dan, untuk agen, prompt sistem, definisi tool, dan setiap berkas yang telah dibacanya. Terlalu kecil, dan agen diam-diam kehilangan instruksinya lalu mulai membuat kesalahan aneh. Terlalu besar, dan kamu memesan memori yang tak akan pernah dipakai.

Ollama memilih nilai bawaan dari memori GPU yang dideteksinya:

Memori GPU yang dideteksi Ollama Konteks bawaan
Di bawah 23 GiB (sebagian besar Mac 32 GB: sekitar 21,3 GiB) 4K token
23 sampai 47 GiB 32K token
47 GiB atau lebih 256K token

Dokumentasi Ollama menyebut tingkatannya sebagai di bawah 24, 24–48, dan 48 GiB atau lebih. Kode di 0.40.17 memakai 23 dan 47 GiB, untuk memberi ruang bagi perbedaan kecil dalam apa yang dilaporkan tiap Mac.

Berapa besar memori yang dikorbankan Inkling 2 Mini untuk konteks yang lebih besar, dihitung dari konfigurasinya:

Konteks Memori tambahan untuk konteks
4K 0.28 GiB
8K 0.41 GiB
16K 0.66 GiB
32K 1.16 GiB
64K 2.16 GiB
128K 4.16 GiB

Inkling 2 Mini membutuhkan lebih sedikit memori per token konteks daripada sebagian besar model seukurannya. Hanya empat dari 24 lapisannya yang meninjau ulang seluruh percakapan. Memori kerja yang dipakai saat membaca prompt ditambahkan di atasnya; puncak terukur di atas sudah mencakupnya.

Yang perlu disetel

Yang kamu lakukan Konteks Mengapa
Mengobrol dan pertanyaan singkat 4K–8K (bawaan sudah cukup) Memakai memori paling sedikit
Menempelkan dokumen panjang atau berkas kode 16K Sekitar 12.000 kata bahasa Inggris
Agen Pi 16K (8K pada chip tanpa pembacaan prompt hemat memori di Bagian 6) Instruksi Pi sendiri sangat kecil (Bagian 7)
OpenCode 32K, pada M2 Pro Jumlah terbanyak yang bisa kamu berikan dengan nyaman pada 32 GB. Ollama merekomendasikan 64K atau lebih untuk agen, yang sebenarnya tidak sanggup ditanggung Mac ini di samping model 20 GB. Pada chip lain, baca Bagian 6 dulu
Claude Code 64K atau lebih, menurut Ollama Tidak realistis pada 32 GB; lihat Bagian 7

Cara menyetelnya

Cara termudah mengubah panjang konteks Ollama adalah lewat aplikasinya: buka Pengaturan → Panjang konteks lalu geser penggesernya, yang punya titik henti di 4k, 8k, 16k, 32k, 64k, 128k dan 256k. Ollama memulai ulang servernya untuk menerapkannya, dan pengaturan itu bertahan setelah Mac kamu dimulai ulang.

Ada tiga cara lain, berguna nanti:

# Hanya untuk satu sesi obrolan, di dalam `ollama run`:
/set parameter num_ctx 16384

# Untuk aplikasi Ollama, sampai kamu memulai ulang Mac (lalu keluar dan buka lagi Ollama):
launchctl setenv OLLAMA_CONTEXT_LENGTH 32768

Jika kamu sudah menggeser penggeser aplikasinya, penggeser itu menang atas launchctl pengaturan.

Atau buat salinan model dengan konteksnya sendiri yang sudah tertanam di dalamnya, yang berguna saat kamu ingin 8K untuk obrolan tetapi 32K untuk agen. Tempelkan ini ke Terminal; perintah ini membuat berkas teks kecil bernama Modelfile lalu model barunya:

cat > Modelfile <<'EOF'
FROM inkling-2-mini
PARAMETER num_ctx 32768
EOF
ollama create inkling-2-mini-32k -f Modelfile

Salinan itu tidak mengunduh atau menggandakan 20 GB bobot. Kamu lalu memakai inkling-2-mini-32k di mana pun kamu biasanya memakai inkling-2-mini. Metode mana pun yang kamu pilih, pastikan di KONTEKS kolom ollama ps.

Pengaturan 2: Beri GPU lebih banyak ruang (opsional)

macOS membatasi berapa banyak memori yang boleh disimpan GPU untuk dirinya sendiri, dan Ollama menganggap batas itu sebagai "VRAM"-mu. Pada Mac 32 GB batasnya sekitar 21,3 GiB. Ada tiga konsekuensinya. Ollama menetapkan konteks bawaannya dari batas itu (Pengaturan 1). Mesin MLX Ollama menjaga model yang dimuat tetap tinggal di memori sampai batas tersebut. Kalau modelnya lebih besar, ia mencatat peringatan bahwa performa bisa menurun. Dan ketika satu langkah kerja membutuhkan memori GPU lebih banyak daripada yang tersedia, macOS menghentikannya. Itulah Insufficient Memory crash di Bagian 6. Dokumentasi Apple menyebutnya berarti GPU tidak punya cukup memori untuk menjalankan command buffer.

Kamu bisa menaikkan batasnya sampai Mac dinyalakan ulang; dokumentasi MLX Apple memberikan perintah untuk persis hal ini. Periksa nilai saat ini dulu; 0 berarti bawaan macOS:

sysctl iogpu.wired_limit_mb

Naikkan ke 24 GiB, yang menyisakan 8 GiB untuk macOS dan aplikasimu:

sudo sysctl iogpu.wired_limit_mb=24576

Lalu keluar dari Ollama lewat menu bar dan buka lagi, karena Ollama hanya membaca batas itu saat mulai. Jalankan grep perintah dari Bagian 4 lagi dan total_vram kini seharusnya menampilkan sekitar 24 GiB.

Empat hal yang perlu diketahui

  • Ini juga mengubah konteks bawaannya. Dengan 24 GiB terdeteksi, bawaan Ollama melompat dari 4K ke 32K (tabel di atas), jadi kamu mungkin tidak perlu Pengaturan 1 sama sekali.
  • Ini memberi GPU lebih banyak ruang, bukan lebih banyak memori. Ini menggeser batas antara GPU dan macOS; tidak menambah memori. Kalau aplikasi lainmu jadi kekurangan memori, macOS akan memakai swap.
  • Nilai ini kembali normal saat kamu menyalakan ulang Mac. Itu jaring pengaman, bukan bug. Untuk membatalkannya lebih cepat: sudo sysctl iogpu.wired_limit_mb=0.
  • Ini bukan pengaturan resmi macOS. Ini banyak dipakai untuk AI lokal, tapi kalau Mac kamu sering swap, membeku, atau tiba-tiba restart selama sesi, kembalikan ke 0. Jangan jauh di atas 24 GiB pada Mac 32 GB.

Pengaturan 3: Tingkat upaya penalaran

Inkling 2 Mini menentukan seberapa keras ia berpikir berdasarkan pengaturan reasoning effort . Bawaan Ollama adalah tinggi. Begini cara Ollama 0.40.17 menerjemahkan nama-nama itu menjadi nilai yang benar-benar diterima model:

Pengaturan Ollama Tingkat upaya yang diterima model Cocok untuk
none atau false 0 (penalaran disembunyikan) Pencarian sederhana
minimal 0.1 Fakta singkat
rendah 0.2 Jawaban singkat, ringkasan, penulisan ulang
medium 0.7 Pertanyaan sehari-hari
tinggi atau true (default) 0.9 Pekerjaan coding dan agen
xhigh atau maks 0.99 Masalah sulit, saat kamu bisa menunggu

Dari renderer Inkling 2 Mini di Ollama 0.40.17. Thinking Machines mencatat bahwa bahkan level minimum tidak mematikan penalaran sepenuhnya.

Tingkat usaha penalaran Inkling 2 Mini di Ollama: nilai think none, minimal, low, medium, high, dan max yang dipetakan ke angka usaha yang diterima model, dengan high sebagai bawaan
Tujuh nama, enam tingkat upaya: xhigh dan maks kirim nilai yang sama. Nilai bawaan, high, adalah pengaturan yang tepat untuk coding.

Untuk mengaturnya bagi percakapan:

ollama run inkling-2-mini --think=low

Di dalam percakapan, /set nothink menurunkannya ke tingkat terendah dan menyembunyikan proses berpikir, dan /set think menyalakannya kembali. Di API Ollama, nama yang sama dimasukkan ke think kolom.

Rekomendasi saya: biarkan pada tinggi untuk coding dan agen, di mana proses berpikir terbayar dengan sendirinya. Gunakan rendah atau medium untuk pertanyaan cepat, supaya kamu tidak menunggu penalaran panjang hanya demi jawaban satu baris.

Pengaturan 4: Biarkan tetap termuat, dan lepaskan saat kamu sudah selesai

Ollama melepaskan sebuah model setelah lima menit tanpa digunakan, dan memuat lagi 20 GB butuh waktu. Selama sesi agen yang diselingi jeda, itu jadi menjengkelkan. Untuk membiarkannya tetap termuat selama 30 menit setelah setiap penggunaan:

launchctl setenv OLLAMA_KEEP_ALIVE 30m

Lalu keluar dan buka lagi Ollama. Untuk satu percakapan, ollama run inkling-2-mini --keepalive 30m melakukan hal yang sama. Sisi sebaliknya: saat sudah selesai, kembalikan memorinya dengan ollama stop inkling-2-mini.

Dua tombol lagi, untuk yang penasaran

  • Penyusun draf bawaan. Thinking Machines menyertakan Inkling 2 Mini bersama jaringan pembantu kecil bernama DSpark, yang menebak beberapa kata ke depan. Model utama lalu memeriksanya dalam satu langkah. Ollama mendukungnya dan mengaktifkan penyusunan draf secara bawaan untuk model apa pun yang menyertakan penyusun draf. Dalam uji MLX terpublikasi di luar Ollama, DSpark menaikkan kecepatan menulis Inkling dari 43,6 menjadi 70,9 token per detik di M5 Max. Di M4 Pro, kecepatannya justru turun dari 31,1 menjadi 18,7. Jadi ujilah di Mac kamu: dalam sebuah percakapan, /set parameter draft_num_predict 0 mematikannya; bandingkan eval rate dengan dan tanpanya.
  • Permintaan paralel. Sejak 0.40.17, Ollama di Apple silicon dapat menjawab beberapa permintaan sekaligus, dan masing-masing butuh memori konteks sendiri. Ollama memilih nilai bawaan yang hati-hati berdasarkan memori bebas kamu. Jika agen yang menjalankan pembantu secara paralel masih membuat Mac kamu memakai swap, batasi menjadi satu dengan launchctl setenv OLLAMA_NUM_PARALLEL 1. Lalu keluar dan buka lagi Ollama.

Pengaturan yang tidak akan membantu di sini

Panduan untuk model lain sering menyarankan OLLAMA_KV_CACHE_TYPE=q8_0 untuk memangkas separuh memori yang dipakai konteks, bersama dengan flash attention. Di Ollama 0.40.17 pengaturan itu milik llama.cpp mesinnya; Inkling 2 Mini berjalan di MLX mesin tersebut, dan tidak ada apa pun dalam kode mesin itu yang membacanya. Hal yang sama berlaku untuk pengaturan lapisan GPU seperti num_gpu. Dan biarkan temperature sendiri: paket Ollama memakai nilai bawaan Thinking Machines sebesar 1.0, yang juga direkomendasikan Unsloth.

Sebelum sesi panjang: bebaskan memori

Buka Activity Monitor (di Applications → Utilities) lalu klik tab Memori tab. Di bagian bawah kamu akan melihat Memory Pressure grafik dan Swap Used. Hijau berarti aman, kuning berarti macOS sedang memampatkan memori, dan merah berarti sistem sedang melakukan swap ke drive, yang membuat semuanya lambat. Sebelum sesi agen, tutup aplikasi yang paling banyak memakan memori: peramban dengan Banyak tab, Docker Desktop, simulator iPhone, editor video dan foto. Di laptop, sambungkan pengisi daya untuk sesi panjang.


Bagian 6 — Kenyataan 32 GB: Chip Kamu Berpengaruh

Bagian ini penting jika Mac kamu memakai chip selain M2 Pro (atau M5 Max 36 GB), yang berlaku untuk sebagian besar Mac 32 GB. Ini juga bagian yang tidak disebutkan di catatan rilis Ollama.

Apa yang terjadi saat Inkling 2 Mini membaca prompt panjang

Sebelum menulis apa pun, model membaca seluruh prompt kamu. Mesin MLX Ollama melakukannya 2.048 token sekaligus. Untuk setiap potongan, Inkling 2 Mini menghitung hubungan setiap token baru dengan semua token sebelumnya, memakai ukuran jarak yang dipelajarinya. Langkah itu butuh tabel sementara yang tumbuh seiring semua yang sudah dibaca model dalam percakapan.

Ollama 0.40.17 punya cara hemat memori untuk melakukan ini, yang memproses prompt dalam ubin kecil sehingga tabelnya tidak pernah membesar. Kode sumbernya hanya mengaktifkannya untuk chip berikut: M2 Pro, M2 Ultra, M3 Ultra, M4 Pro, serta M5 Pro, Max, dan Ultra. Chip lain memakai metode umum yang pemakaian memorinya tumbuh mengikuti panjang prompt. Itu termasuk M1 Pro dan Max, M2 Max, M4 dasar, dan M5 dasar.

Seperti apa jadinya di M2 Max 32 GB

Satu-satunya uji Ollama 0.40.17 di Mac 32 GB yang diterbitkan berasal dari pengembang Genex. Mereka mencoba Inkling 2 Mini di M2 Max 32 GB:

  • Unduhan berhasil, dan permintaan pemanggilan tool yang singkat menghasilkan jawaban benar pada sekitar 24 token per detik.
  • Permintaan 18.003 token mogok setelah 12.288 token dengan error mlx: [METAL] Command buffer execution failed: Insufficient Memory. Menyetel konteks ke 32.768 dan ukuran batch ke 512 tidak membantu.
  • Prompt asli mereka yang berisi 15.089 token juga mogok dengan cara yang sama.
  • Loop penggunaan komputer yang digerakkan tangkapan layar asli berhasil.

Kesimpulan mereka, model ini muat di Mac 32 GB untuk prompt pendek, tapi tidak untuk prompt panjang aplikasi mereka. Jadi mereka mengubah aplikasinya agar merekomendasikan Inkling 2 Mini hanya mulai 48 GB.

Apa yang harus dilakukan

Chip kamu Yang bisa kamu harapkan saat ini Apa yang harus dilakukan
M2 Pro (32 GB) atau M5 Max (36 GB) Prompt panjang memakai memori terbatas Agen pada konteks 16K–32K, dengan jatah GPU dinaikkan (Bagian 5)
M1 Pro, M1 Max, M2 Max, M4, M5 (32 GB) Sesi yang tumbuh jauh melewati sekitar 10.000 token berisiko crash "Insufficient Memory" Pakai untuk chat dan dokumen pendek; untuk agen, pakai Pi dengan konteks 8K dan mulai sesi baru untuk tiap tugas; naikkan jatah GPU; perbarui Ollama setiap ada versi baru
M3 Pro, M3 Max, M4 Max (36 GB) Fallback yang sama, dengan ruang sekitar 4 GB lebih banyak Seperti di atas, dengan sedikit lebih lega

Ada dua hal yang perlu diingat. Pertama, ini adalah batas perangkat lunak, bukan batas perangkat keras. Kode penghemat memori itu sudah ada; hanya saja belum diaktifkan untuk setiap chip, dan Ollama merilis versi baru hampir setiap minggu. Periksa catatan rilis saat kamu memperbarui. Kedua, yang penting adalah seberapa banyak teks yang harus diproses model dalam satu sesi, bukan angka pada penggeser konteks. Setiap potongan baru dibandingkan dengan semua yang sebelumnya, jadi percakapan panjang sama beratnya dengan satu prompt panjang, dan agen coding membangun percakapan panjang dengan cepat. Konteks kecil membuat sesi tetap pendek; memulai sesi baru membuatnya lebih pendek lagi.


Bagian 7 — Langkah 5: Gunakan Inkling 2 Mini sebagai Backend Lokal untuk Agen Coding

Agen coding adalah program yang memberi model alat, seperti membaca berkas, mengeditnya, dan menjalankan perintah. Program ini memungkinkan model mengerjakan tugas langkah demi langkah. Biasanya model berada di pusat data. Di sini, Inkling 2 Mini di Mac kamu menjadi backend lokal: agen mengirim permintaannya ke Ollama.

Ollama sebagai backend lokal untuk agen coding: Pi, OpenCode, dan Claude Code mengirim permintaan model ke Inkling 2 Mini di localhost:11434, pada Mac yang sama
Cara semua bagian ini bekerja. Secara bawaan Ollama hanya mendengarkan di Mac kamu sendiri, dan berbicara dalam format API yang sudah dipahami agen.

Cara kerjanya

Saat Ollama berjalan, ia mendengarkan di http://localhost:11434, alamat yang hanya bisa dijangkau program di Mac kamu. Ia berbicara dalam format API yang sudah dikenal agen: format yang kompatibel dengan OpenAI satu di http://localhost:11434/v1, satu yang kompatibel Anthropic untuk Claude Code, dan format miliknya sendiri. Agen mengirim prompt dan definisi alatnya, lalu Inkling 2 Mini memutuskan alat mana yang dipanggil. Agen menjalankan alat itu di Mac kamu dan mengirim balik hasilnya. Siklus ini berulang sampai tugas selesai.

Kamu tidak perlu mengatur semua itu secara manual. Perintah ollama launch akan memasang agen yang didukung jika belum ada, mengarahkannya ke Ollama, lalu menjalankannya.

Sebelum menjalankan agen apa pun

  1. Atur konteksnya dulu (Bagian 5). Ini lebih penting dari kedengarannya: saat kamu menjalankan OpenCode melalui ollama launch, Ollama membaca konteks yang benar-benar dimuat model dan memberi tahu OpenCode angka itu. Jika Ollama masih 4K, OpenCode akan percaya.
  2. Kerjakan di folder uji di dalam Git, sehingga kamu bisa melihat dan membatalkan setiap perubahan:
mkdir -p ~/Projects/inkling-test
cd ~/Projects/inkling-test
git init

Saat pertama kali kamu memakai git, macOS mungkin menawarkan untuk memasang alat pengembang command line milik Apple. Terima saja; prosesnya butuh beberapa menit.

  1. Tutup aplikasi yang rakus memori (Bagian 5).

Agen mana yang sebaiknya kamu pakai di 32 GB?

Pi OpenCode Claude Code
Penyiapan dengan satu perintah ollama launch pi --model inkling-2-mini ollama launch opencode --model inkling-2-mini ollama launch claude --model inkling-2-mini
Kamu pasang sendiri dulu Node.js Tidak ada; Ollama menawarkan untuk memasangnya Tidak ada; Ollama menawarkan untuk memasangnya
Instruksi dan alat yang dikirim sebelum kata pertamamu Di bawah 1.000 token Sekitar 6.900 token Sekitar 32.800 token
Bertanya sebelum menjalankan perintah Tidak, memang dirancang begitu Tidak secara bawaan; satu perubahan konfigurasi menyalakannya Ya, untuk sebagian besar tindakan
Konteks yang perlu disetel pada 32 GB 16K (8K pada chip tanpa pembacaan prompt hemat memori) 32K pada M2 Pro Ollama merekomendasikan 64K atau lebih
Terbaik di Mac 32 GB apa pun, di folder sekali pakai M2 Pro dengan 32 GB, atau 48 GB ke atas 48 GB ke atas

Angka Pi berasal dari penulisnya. Angka OpenCode dan Claude Code berasal dari pengukuran Systima pada Juli 2026 atas permintaan pertama tiap agen. Systima memakai proyek kosong tanpa server MCP, OpenCode 1.17 dan Claude Code 2.1 dengan model Claude. Kedua agen sudah diperbarui sejak itu, jadi baca angka-angka itu sebagai perkiraan besaran. Saran umum Ollama untuk agen adalah konteks minimal 64K.

Pi vs OpenCode vs Claude Code dengan Inkling 2 Mini di Mac 32GB: perintah penyiapan, instruksi per permintaan, prompt izin, dan kecocokan terbaik untuk masing-masing
Di Mac 32 GB, yang dipertukarkan adalah memori dengan pengaman: Pi mengirim paling sedikit tetapi tidak meminta konfirmasi apa pun; Claude Code paling banyak bertanya tetapi juga mengirim paling banyak.

Opsi A: Pi, yang paling ringan

Pi adalah agen coding yang sengaja dibuat minimal dengan empat alat: read, write, edit dan bash. Penulisnya mengatakan system prompt dan definisi alatnya secara bersama berjumlah di bawah 1.000 token. Itu membuatnya paling cocok untuk Mac 32 GB, dan inilah agen yang disarankan Ollama dalam pengumuman Inkling 2 Mini mereka sendiri.

  1. Pasang Node.js: unduh pemasang LTS dari nodejs.org lalu jalankan. ollama launch pi membutuhkan npm dari Node untuk memasang Pi.
  2. Masuk ke folder uji kamu dan jalankan:
cd ~/Projects/inkling-test
ollama launch pi --model inkling-2-mini

Ollama memasang Pi, mengonfigurasinya agar memakai model lokal kamu, lalu membuka sesi.

⚠️ Pi tidak meminta konfirmasi apa pun. Penulisnya menyebutnya berjalan dalam "mode YOLO penuh": tidak ada permintaan izin untuk operasi berkas atau perintah, dan akses tanpa batas ke berkas-berkasmu. Thinking Machines juga memperingatkan bahwa Inkling 2 Mini dapat menghapus atau menimpa berkas tanpa konfirmasi. Gabungan keduanya berarti: jalankan Pi hanya di folder sekali pakai, jangan pernah di folder home kamu atau proyek tanpa cadangan. Penulisnya menyarankan menjalankannya di dalam kontainer kalau kamu ingin batas yang sungguh nyata; panduan kontainer Apple milik saya menunjukkan cara menyiapkannya di Mac.

Satu detail lagi: saat Pi dijalankan lewat Ollama, alat pencarian webnya memakai pencarian web cloud Ollama. Itu membutuhkan akun Ollama dan pengaturan Cloud yang diaktifkan. Sisanya tetap di Mac kamu.

Opsi B: OpenCode, jalan tengah yang rapi

OpenCode adalah agen coding sumber terbuka yang populer dengan antarmuka terminal layar penuh, snapshot per langkah, dan sistem izin yang bisa kamu perketat.

cd ~/Projects/inkling-test
ollama launch opencode --model inkling-2-mini

Jika OpenCode belum terpasang, Ollama menanyakan apakah akan memasangnya; jawab ya. Ollama lalu memberikan pengaturannya untuk sesi ini kepada OpenCode, tanpa menimpa pengaturanmu sendiri ~/.config/opencode/opencode.json. Ollama menyesuaikan batas OpenCode dengan konteks yang dimuat model, dan menyisakan seperempatnya, maksimal 8K token, untuk balasan. Sejak 0.40.17, Ollama juga meneruskan opsi thinking Inkling 2 Mini.

Permintaan pembuka OpenCode tergolong sedang, sekitar 6.900 token dalam pengukuran Systima bulan Juli. Tapi setiap berkas yang dibacanya dan setiap keluaran perintah yang diterimanya menambah percakapan. Di Mac 32 GB tanpa pembacaan prompt hemat memori dari Bagian 6, angka itulah yang perlu kamu perhatikan. Tidak butuh banyak berkas untuk melewati 12.000 token, titik ketika M2 Max mogok.

OpenCode v2 juga menemukan model Ollama sendiri saat mulai, jadi kamu cukup menjalankan opencode lalu pilih model dengan /models. Meluncurkan lewat Ollama tetap jalur yang lebih baik di 32 GB, karena ia memberi tahu OpenCode konteks yang benar-benar kamu punya.

Buat ia bertanya dulu, dan batasi langkahnya

Secara bawaan, OpenCode v2 membiarkan model menjalankan perintah shell dan menyunting berkas tanpa bertanya; aturan bawaannya hanya bertanya sebelum membaca .env berkas. Dengan model yang pembuatnya memperingatkan soal tindakan merusak, ubahlah itu. Thinking Machines juga menyarankan membatasi giliran agen, karena model kadang tersangkut dalam putaran penalaran panjang, terutama saat menelusuri bug, dan opsi steps OpenCode melakukan itu. Taruh keduanya di ~/.config/opencode/opencode.json (buat berkasnya kalau belum ada):

{
  "$schema": "https://opencode.ai/config.json",
  "permissions": [
    { "action": "shell", "resource": "*", "effect": "ask" },
    { "action": "edit", "resource": "*", "effect": "ask" }
  ],
  "agents": {
    "build": { "steps": 40 }
  }
}

The permissions aturan itu membuat OpenCode bertanya sebelum setiap perintah shell dan setiap penyuntingan. build Agen tersebut adalah bawaan OpenCode; pada langkah terakhir yang diizinkan, OpenCode mencabut alat dan meminta model merangkum. Periksa apakah itu berlaku dengan meminta OpenCode membuat sebuah berkas: sekarang ia harus bertanya dulu. Kalau tidak, dokumentasi permissions OpenCode menjelaskan bagaimana agen bisa menambahkan aturannya sendiri. Untuk hal lain tentang OpenCode, dari paket hingga server MCP, lihat OpenCode saya.

Opsi C: Claude Code, yang paling berat

Claude Code bekerja dengan Ollama lewat API Ollama yang kompatibel dengan Anthropic, jadi permintaannya pergi ke Mac kamu, bukan ke server Anthropic. Secara bawaan ia meminta izin sebelum sebagian besar tindakan, sehingga ia paling hati-hati di antara ketiganya.

cd ~/Projects/inkling-test
ollama launch claude --model inkling-2-mini

Ollama menawarkan memasang Claude Code kalau belum ada. Kalau kamu lebih suka menjalankannya sendiri nanti, ini pengaturan yang ollama launch sudah diurusnya:

export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model inkling-2-mini

Ollama 0.40.17 juga memungkinkan Claude Code memuat alat MCP hanya saat dibutuhkan, bukan sekaligus, sehingga prompt tetap lebih pendek. Namun ia tidak menyentuh alat bawaan Claude Code, dan itulah yang membuatnya berat. Dalam pengukuran Systima bulan Juli tanpa server MCP, permintaan pertama Claude Code sekitar 32.800 token, sebagian besar definisi alat. Itu lebih banyak daripada yang bisa ditampung konteks 32K, dan jauh melewati 12.000 token tempat M2 Max mogok. Ollama menyarankan konteks 64K atau lebih untuknya. Di Mac 32 GB, cobalah kalau kamu penasaran; rencanakan itu dari 48 GB.

Agen dan aplikasi lain

Halaman pustaka Ollama mencantumkan peluncuran satu perintah untuk dua agen lagi, dan pola yang sama berlaku untuk Codex:

ollama launch hermes --model inkling-2-mini     # Hermes Agent
ollama launch openclaw --model inkling-2-mini   # OpenClaw
ollama launch codex --model inkling-2-mini      # OpenAI's Codex CLI

Alat lain apa pun yang berbicara API OpenAI juga bisa memakai Inkling 2 Mini. Beri ia base URL http://localhost:11434/v1, nama model inkling-2-mini dan teks apa pun sebagai kunci API. Ollama tidak memeriksa kunci itu, tapi banyak alat menolak kunci kosong.

Tugas agen pertamamu

Mulai dengan sesuatu yang kecil dan terlihat, di folder ujimu:

Buat halaman web daftar tugas satu berkas bernama index.html yang menyimpan tugas
di browser. Buat sesederhana mungkin dan jelaskan cara membukanya setelah selesai.

Perhatikan apa yang dilakukannya: berkas mana yang dibaca, apa yang ditulis, perintah mana yang dijalankan. Setelah selesai, buka halamannya dengan open index.html, lalu periksa perubahannya dengan Git:

git status      # berkas mana yang berubah atau muncul
git diff        # apa yang berubah di berkas yang sudah dikenal Git

Kalau hasilnya tidak kamu suka, hapus foldernya dan mulai lagi. Itulah gunanya folder uji.

Lima aturan menjalankan agen lokal dengan aman

Kartu model Thinking Machines luar biasa terus terang soal mode kegagalan Inkling 2 Mini. Ia bisa tersangkut dalam putaran penalaran panjang. Ia mungkin menghapus atau menimpa berkas tanpa konfirmasi, dan mungkin tidak melaporkan hasil kerjanya dengan akurat. Ia juga lebih mungkin daripada model yang lebih besar untuk menyatakan fakta yang salah dengan yakin. Semua itu bukan hal aneh untuk model sebesar ini. Artinya cuma:

  1. Git atau salinan, selalu. Jangan pernah melepas agen pada berkas yang tidak bisa kamu pulihkan.
  2. Nyalakan prompt izin di mana agen memilikinya (OpenCode butuh perubahan konfigurasi di atas), dan baca apa yang kamu setujui.
  3. Batasi langkah dan keluaran. Gunakan pengaturan OpenCode’s steps; di obrolan Ollama, /set parameter num_predict 4096 membatasi satu balasan.
  4. Periksa klaimnya. Jalankan sendiri tesnya sebelum kamu percaya "semua tes lulus".
  5. Jangan pernah mengarahkan agen ke folder home kamu. Dan untuk Pi, gunakan folder sekali pakai atau kontainer.

Kalau kamu ingin melangkah lebih jauh, saya punya saya tentang agent skills dan server MCP yang membahas cara membatasi apa yang bisa dijangkau alat agen. Perbandingan semua harness coding AI membahas agen-agen itu sendiri secara mendalam.


Bagian 8 — Seberapa Cepat Inkling 2 Mini di Mac 32 GB?

Kecepatan punya dua bagian: seberapa cepat model membaca prompt kamu dan seberapa cepat ia menulis balasannya. Berikut pengukuran relevan yang diterbitkan per 21 November, beserta runtime yang dipakai masing-masing:

Mac Runtime Kecepatan menulis Kecepatan membaca Catatan
M2 Max, 32 GB Ollama 0.40.17 Sekitar 24 tok/s Tidak dipublikasikan Permintaan pemanggilan alat yang singkat
M4 Pro, 48 GB Ollama 0.40.17 Sekitar 32 tok/s 279 tok/s Prompt 12.000 token, konteks 64K; total 65 detik
M4 Pro, 48 GB mlx-vlm, bobot asli yang sama 25,9 tok/s Tidak dipublikasikan VisualInference
M5 Pro, 48 GB MLX-VLM, build 4/8-bit komunitas Sekitar 27 tok/s Sekitar 123–144 tok/s pada prompt yang sangat pendek ModelFit; prompt yang sangat pendek dibaca lambat, jadi ini tidak bisa dibandingkan dengan 279 di atas

Third-party measurements, collected on 21 November 2026. No published Ollama runs yet for the M1 Pro, M1 Max, M2 Pro, base M4 or base M5.

Kecepatan Inkling 2 Mini di Mac dengan Ollama dan MLX: token per detik terukur pada M2 Max 32GB, M4 Pro 48GB, dan M5 Pro 48GB
Kecepatan menulis yang diterbitkan, diberi label menurut runtime. Hanya dua hasil Ollama 0.40.17 yang berasal dari penyiapan yang dipakai panduan ini.

Apa arti angka-angka itu dalam praktik

  • Untuk obrolan, sekitar 24 token per detik lebih cepat daripada kecepatan membacamu. Jawaban 300 kata setelah seribu token berpikir, totalnya sekitar 1.400 token, butuh sekitar satu menit pada kecepatan itu. Turunkan upaya penalaran untuk pertanyaan cepat dan hasilnya jauh lebih singkat.
  • Untuk agen, kecepatan membaca sama pentingnya dengan kecepatan menulis, karena agen mengirim prompt panjang di setiap giliran. Di M4 Pro 48 GB, prompt 12.000 token butuh sekitar 43 detik untuk dibaca. Ollama memakai ulang cache bagian awal percakapan yang sama antar-giliran, jadi giliran berikutnya kebanyakan hanya membaca yang baru.
  • Sebagai perbandingan, di M4 Pro yang sama, Qwen3.8-27B butuh 122 detik untuk tugas 12.000 token yang diselesaikan Inkling 2 Mini dalam 65 detik. Qwen membaca 107 dan menulis 27 token per detik. Perbandingan saya atas kedua model membahas mengapa, dan satu catatan penting: Inkling 2 Mini cenderung menulis lebih banyak token per tugas.

Yang bisa diharapkan di Mac 32 GB lain

Belum ada yang menerbitkan angka Ollama untuk M4 dan M5 dasar. Bandwidth memorinya 120 dan 153,6 GB/s, dibandingkan 409,6 GB/s pada M2 Max yang mampu sekitar 24 token per detik. Perkirakan keduanya jauh lebih lambat. Seberapa lambatnya sulit dikatakan sebelumnya, karena pada perangkat lunak saat ini Inkling 2 Mini tidak melaju sebanding dengan bandwidth. Kalau kamu punya salah satunya, jalankan --verbose tes dari Bagian 4 dan kamu akan tahu dalam satu menit.


Bagian 9 — Mengatasi Masalah Inkling 2 Mini di Ollama

Temukan gejalamu di bawah. Kalau tidak tercantum, log Ollama biasanya menyebut apa yang salah; bagian terakhir dari bagian ini menunjukkan cara membacanya.

Mengatasi masalah Inkling 2 Mini di Ollama: perbaikan untuk error 412, crash Insufficient Memory, konteks 4K, swapping berat, dan loop agen di Mac 32GB
Sebagian besar masalah di Mac 32 GB kembali ke dua hal: pengaturan konteks dan tekanan memori.

Kalau Inkling 2 Mini tidak mau diunduh atau dijalankan

Gejala Kemungkinan penyebab Perbaikan
ollama pull inkling-2-mini gagal dengan 412 dan "memerlukan versi yang lebih baru" Ollama lebih lama dari 0.40.17 Perbarui (Bagian 2), lalu pull lagi
ollama: command not found Tautan baris perintah belum dibuat Buka aplikasi Ollama dan terima tawarannya untuk memasang perintah, atau pasang ulang aplikasinya
PROCESSOR di ollama ps tidak menyebut 100% GPU Ada yang salah dengan penyiapan GPU Keluar dan buka lagi Ollama; pastikan kamu memakai Apple silicon dan macOS 14 atau lebih baru
Kamu memakai Windows atau Linux Ollama 0.40.17 hanya mendukung Inkling 2 Mini di Apple silicon; model khusus Mac dari Ollama menolak diunduh di tempat lain dengan 412: this model requires macOS Tunggu rilis berikutnya, atau pakai llama.cpp atau vLLM

Kalau Inkling 2 Mini mogok, lupa, atau memperlambat Mac-mu

Gejala Kemungkinan penyebab Perbaikan
Model berhenti di tengah jawaban, dengan Insufficient Memory atau Command buffer execution failed di log Prompt terlalu panjang untuk memori chipmu saat ini (Bagian 6), atau aplikasi lain mengambil memorinya Tutup aplikasi, perpendek prompt atau dokumen yang kamu tempel, pakai Pi daripada agen yang lebih berat, naikkan anggaran GPU (Bagian 5), dan perbarui Ollama
Agen lupa instruksi, panggilan tool gagal, suntingan berhenti di tengah Konteksnya terlalu kecil: mungkin bawaan 4K Atur 16K–32K (Bagian 5) dan periksa kolom CONTEXT di ollama ps. Lalu jalankan ulang agennya
Mac-mu melambat parah, kipas berputar, swap bertambah Tekanan Memori Periksa Activity Monitor; tutup aplikasi; turunkan konteks; ollama stop model lain yang sedang dimuat
Jawaban pertama setelah jeda lambat Ollama membongkar model setelah lima menit menganggur Atur OLLAMA_KEEP_ALIVE (Bagian 5)

Jika agen coding berulah

Gejala Kemungkinan penyebab Perbaikan
Model berpikir lama sekali atau mengulang-ulang jawabannya Lingkaran penalaran panjang, yang diperingatkan Thinking Machines Beri tugas lebih kecil, batasi langkah dan token keluaran, pakai usaha penalaran lebih rendah untuk pertanyaan sederhana
Agen bilang model itu tidak ada Salah ketik nama model Gunakan persis inkling-2-mini; ollama ls menampilkan daftar yang kamu punya
Pencarian web Pi tidak berfungsi Fitur ini memakai pencarian web cloud Ollama Masuk ke Ollama lalu aktifkan Cloud, atau bekerja tanpa pencarian web
OpenCode mengedit berkas tanpa bertanya OpenCode v2 mengizinkan pengeditan dan perintah shell secara default Tambahkan permissions aturan dari Bagian 7

Periksa log Ollama

Log Ollama ada di ~/.ollama/logs/server.log. Untuk melihat baris terakhir setelah ada masalah:

tail -n 40 ~/.ollama/logs/server.log

Bagian 10 — Saat 32 GB Tidak Cukup

Kamu akan tahu sudah mencapai batas ketika prompt panjang membuat crash, ketika agen terus memadatkan percakapannya, atau ketika Mac kamu melakukan swap setiap kali model dimuat. Tiga opsi pertama gratis; tiga opsi terakhir butuh uang, privasi, atau keduanya.

Di Mac yang kamu punya

  • Pertahankan, dan pakai untuk hal yang cocok. Chat, dokumen pendek, pertanyaan gambar dan Pi untuk tugas kecil berjalan baik di semua Mac 32 GB. Pantau catatan rilis Ollama: pembacaan prompt hemat memori dari Bagian 6 yang menjangkau lebih banyak chip akan mengubah situasi dalam semalam.
  • Berkas lebih kecil di runtime lain. Versi 4-bit Unsloth berukuran 17,6 GB, sekitar 2,6 GB lebih kecil daripada paket Ollama, dan berjalan dengan build llama.cpp milik Unsloth sendiri. Ini lebih teknis, dan dukungan hari pertamanya lebih kasar; artikel perbandingan saya membahasnya.
  • Model lokal yang berbeda. Qwen3.8-27B mendapat skor sama dengan Inkling 2 Mini pada indeks Artificial Analysis, berjalan di mana saja dan lebih baik dalam pertanyaan pengetahuan, tetapi lebih lambat di Mac yang sama. Artikel yang sama.

Di luar Mac kamu

  • Memori lebih besar. Dari 48 GB, Inkling 2 Mini menjalankan agen dengan nyaman, dan dari 64 GB kamu bisa membiarkannya tetap dimuat bersama model lain. Jika kamu sedang memutuskan apa yang akan dibeli, panduan saya tentang apakah MacBook untuk LLM lokal layak dibeli dan MacBook Pro M5 Pro dengan 64 GB membahas pro dan kontranya.
  • Saudara besarnya, di cloud. Inkling 2 Small, model 594 miliar parameter dari Thinking Machines, ada di cloud Ollama sebagai inkling-2-small:cloud. Ini bekerja dengan perintah peluncuran yang sama, misalnya ollama launch opencode --model inkling-2-small:cloud. Ini membutuhkan akun Ollama, dan prompt kamu lalu meninggalkan Mac kamu.
  • Rencana coding untuk 10% tersulit. Banyak orang menjalankan model lokal untuk pekerjaan pribadi dan sehari-hari lalu mengarahkan perencanaan dan debugging tersulit ke model cloud besar. Salah satu opsi terjangkau adalah GLM Coding Plan milik Z.ai, yang berfungsi di OpenCode, Claude Code, dan agen lain. Kamu bisa dapatkan diskon 10% untuk GLM Coding Plan lewat tautan afiliasiku. (Tautan afiliasi — lihat pengungkapan di bagian atas.)

Pertanyaan yang sering diajukan

Bisakah saya menjalankan Inkling 2 Mini di Mac dengan memori 32 GB?

Ya. Thinking Machines dan Ollama sama-sama mendukung Inkling 2 Mini di Mac Apple silicon dengan 32 GB atau lebih, melalui Ollama 0.40.17 atau lebih baru. Model ini memakan sekitar 20 GB, jadi chat dan dokumen pendek berjalan lancar. Prompt panjang adalah batasnya. Di sebagian besar chip 32 GB, Ollama 0.40.17 belum memakai pembacaan prompt hemat memorinya. Satu pengujian di M2 Max macet setelah sekitar 12.000 token.

Versi Ollama mana yang saya perlukan untuk Inkling 2 Mini?

Ollama 0.40.17 atau lebih baru. Ollama mengumumkan dukungan Inkling 2 Mini di 0.40.17 pada 20 November 2026 sebagai pra-rilis, dan 0.40.17 final menyusul dalam sehari. Periksa dengan ollama --version. Versi lama menolak unduhan dengan error 412. Di 0.40.17, Inkling 2 Mini hanya didukung di Apple silicon.

Seberapa besar unduhan Inkling 2 Mini di Ollama?

20,188,097,271 byte, sekitar 20.2 GB atau 18.8 GiB. Ketiga tag, latest, 26b-a5b dan 26b-a5b-nvfp4, adalah paket yang sama: bobot NVFP4 dan MXFP8 asli Thinking Machines, dengan dukungan gambar. Tidak ada versi Ollama yang lebih kecil. Pada 100 Mbit/s, unduhan memakan waktu sekitar 27 menit.

Mengapa Ollama hanya memberi Inkling 2 Mini konteks 4K di Mac saya?

Ollama menetapkan konteks bawaannya dari memori GPU yang dideteksinya: 4K di bawah sekitar 23 GiB, 32K hingga sekitar 47 GiB, dan 256K di atasnya. Di Mac, angka itu adalah anggaran GPU yang diizinkan macOS, yang di Mac 32 GB sekitar 21.3 GiB, jadi kamu mendapat 4K. Ubah dengan slider Context length di Settings Ollama, atau dengan menaikkan anggaran GPU ke 24 GiB.

Panjang konteks berapa yang sebaiknya saya pakai untuk agen coding di 32 GB?

16K untuk Pi, dan 32K untuk OpenCode di M2 Pro, yang merupakan maksimum yang bisa diberikan Mac 32 GB dengan nyaman bersama model 20 GB. Di chip tanpa pembacaan prompt hemat memori Ollama, gunakan 8K dan sesi pendek. Ollama merekomendasikan 64K atau lebih untuk agen coding, yang berjalan mulai 48 GB. Atur sebelum meluncurkan agen, karena ollama launch opencode meneruskan konteks yang dimuat ke OpenCode.

Apakah saya perlu menaikkan batas memori GPU dengan iogpu.wired_limit_mb?

Di Mac 32 GB ini membantu. Menjalankan sudo sysctl iogpu.wired_limit_mb=24576 menaikkan anggaran GPU dari sekitar 21.3 GiB ke 24 GiB dan menyisakan 8 GiB untuk macOS. Ollama lalu default ke konteks 32K. Keluar dan buka lagi Ollama setelahnya. Pengaturan ini kembali normal saat kamu memulai ulang Mac; sudo sysctl iogpu.wired_limit_mb=0 memulihkan default lebih cepat. Ini bukan pengaturan resmi macOS, jadi batalkan jika Mac kamu banyak swap atau menjadi tidak stabil.

Bagaimana cara mengubah effort penalaran Inkling 2 Mini di Ollama?

Gunakan --think flag: ollama run inkling-2-mini --think=low. Ollama menerima none, minimal, rendah, medium, tinggi (default), xhigh dan maks, yang dikirimnya ke model sebagai nilai effort dari 0 hingga 0.99. Di dalam chat, /set nothink menetapkan tingkat terendah dan menyembunyikan proses berpikir. Bahkan minimum tidak mematikan penalaran sepenuhnya.

Agen coding mana yang paling cocok dengan Inkling 2 Mini di Mac 32 GB?

Pi, karena system prompt dan alatnya di bawah 1.000 token, yang menjaga prompt tetap pendek: ollama launch pi --model inkling-2-mini. Tapi Pi menjalankan perintah tanpa bertanya, jadi hanya pakai di folder sekali pakai. OpenCode terbuka dengan sekitar 6.900 token dan bekerja pada konteks 32K, paling baik di M2 Pro. Ia bertanya sebelum bertindak setelah kamu menambahkan dua aturan izin ke konfigurasinya. Claude Code bertanya secara default, tetapi permintaan pertamanya terukur sekitar 32.800 token, lebih dari yang bisa ditampung konteks 32K, jadi lebih baik dari 48 GB.

Mengapa Ollama macet dengan "Insufficient Memory"?

Kemungkinan besar, prompt atau percakapan terlalu panjang untuk memori GPU Mac kamu. Ollama 0.40.17 membaca prompt panjang dengan metode hemat memori hanya di M2 Pro, M2 Ultra, M3 Ultra, M4 Pro dan M5 Pro, Max dan Ultra. Di chip lain, penggunaan memori tumbuh seiring semua yang telah dibaca model, dan satu M2 Max 32 GB macet setelah 12.288 token. Tutup aplikasi lain, jaga sesi tetap pendek, pakai Pi, naikkan anggaran GPU, dan perbarui Ollama.

Seberapa cepat Inkling 2 Mini di Mac 32 GB?

Dalam satu-satunya pengujian Ollama yang dipublikasikan di Mac 32 GB, sebuah M2 Max, permintaan singkat berjalan sekitar 24 token per detik. Di M4 Pro 48 GB dengan Ollama 0.40.17, model ini menulis sekitar 32 token per detik dan membaca prompt 12.000 token pada 279 token per detik. Mac M4 dan M5 basis punya bandwidth memori jauh lebih kecil dan seharusnya lebih lambat; belum ada hasil uji yang dipublikasikan.

Bisakah saya menjalankan Inkling 2 Mini dengan Ollama di Mac 16 GB atau 24 GB?

Tidak dengan paket Ollama, yang merupakan satu versi 20 GB, dan Thinking Machines mendukung 32 GB sebagai minimum. Unsloth menerbitkan berkas 2-bit dan 3-bit berukuran sekitar 9 sampai 14 GB yang berjalan dengan build llama.cpp miliknya di Mac yang lebih kecil. Itu mengorbankan sebagian kualitas dan butuh lebih banyak penyiapan.

Apakah Inkling 2 Mini mengirim kode atau prompt saya ke suatu tempat?

Tidak saat berjalan lokal. Ollama menjalankan model di Mac kamu, dan FAQ-nya menyatakan ia tidak melihat prompt atau datamu saat kamu menjalankan lokal. Agen coding yang diluncurkan dengan ollama launch berbicara dengan Ollama di localhost:11434, di mesinmu sendiri. Model cloud dan pencarian web berbeda: keduanya mengirim data ke server Ollama, dan kamu bisa mematikannya dengan pengaturan Cloud. Agen-agen itu adalah program terpisah dengan alat jaringan mereka sendiri, seperti web fetch OpenCode, jadi periksa pengaturannya jika kamu perlu bekerja sepenuhnya offline.

Bisakah saya menjalankan Inkling 2 Mini dengan Ollama di Windows atau Linux?

Tidak di Ollama 0.40.17, yang catatan rilisnya menyatakan Inkling 2 Mini hanya didukung di Apple silicon pada rilis itu. Di perangkat keras NVIDIA, Thinking Machines mendukung vLLM dan SGLang, dan build llama.cpp Unsloth menjalankan berkas GGUF-nya. Rilis Ollama berikutnya mungkin menambah platform lain.

Bagaimana cara menghapus Inkling 2 Mini dan mengosongkan ruangnya?

Jalankan ollama rm inkling-2-mini. Hapus salinan apa pun yang kamu buat dengan ollama create, seperti inkling-2-mini-32k, dengan cara yang sama: 20 GB bobot dibebaskan begitu tidak ada model yang memakainya. Untuk menghapus Ollama itu sendiri, keluar dari aplikasi, hapus dari Applications, dan hapus .ollama folder di folder home kamu; dokumentasi macOS Ollama mencantumkan setiap berkas.

Kesimpulan

Inkling 2 Mini adalah model terbuka yang mumpuni yang didukung pembuatnya di Mac 32 GB, dan Ollama membuat dasarnya benar-benar mudah: pasang, pull, jalankan. Untuk chat, dokumen, dan pertanyaan gambar, Mac 32 GB sudah cukup.

Agen adalah bagian yang membuat 32 GB terasa sempit, karena dua alasan. Ollama memulai sebagian besar Mac 32 GB pada konteks 4K, yang diam-diam merusak agen sampai kamu mengubahnya. Dan pada sebagian besar chip 32 GB, prompt panjang masih bisa kehabisan memori, karena pembacaan prompt hemat memori dari Ollama hanya mencakup sebagian chip saja. Jadi atur konteksnya, naikkan anggaran GPU, dan tutup browsermu. Mulai dengan Pi di folder sekali pakai, dan perbarui Ollama sesering mungkin.

Jika kamu punya M2 Pro, kamu berada di posisi terbaik yang bisa dicapai Mac 32 GB saat ini. Jika kamu punya 48 GB atau lebih, sebagian besar catatan di sini tidak berlaku lagi. Dan Mac apa pun yang kamu punya, ollama run inkling-2-mini --verbose akan memberi tahu lebih banyak tentang mesinmu sendiri dalam lima menit daripada tabel mana pun di panduan ini.


Menjalankan Inkling 2 Mini di Mac 32 GB? Bagikan chip, versi Ollama, pengaturan konteks, dan --verbose angkanya di komentar, terutama dari M1, M4, atau M5. Saya akan menambahkan hasil yang paling berguna ke Bagian 8, dengan kredit. Koreksi juga diterima: karena dukungannya masih sangat baru, sebagian detail hari ini akan cepat berubah.

Pengungkapan: Panduan ini berisi satu tautan afiliasi, ke GLM Coding Plan milik Z.ai (di Bagian 10). Berlangganan melaluinya memberimu diskon 10% dan mungkin menghasilkan komisi untukku tanpa biaya tambahan bagimu. Tidak ada produk atau perusahaan lain dalam panduan ini yang disponsori, dan tidak ada yang meninjaunya sebelum terbit.

Fakta diperiksa: 21 November 2026.

Tambahkan sinyalmu.

Alamat email kamu tidak akan dipublikasikan. Ruas yang wajib ditandai *

id_IDBahasa Indonesia