Thinking Machines Lab merilis Inkling 2 Mini pada 20 November dengan janji yang tidak biasa untuk model terbuka sekemampuan ini: model itu berjalan di laptop. Perusahaan mendukungnya di Mac mana pun dengan memori 32 GB atau lebih, melalui Ollama. Para penelitinya bahkan menjalankannya secara offline di MacBook Pro selama penerbangan, dan model itu membangun simulator penerbangan yang bisa dimainkan. Panduan ini menunjukkan, langkah demi langkah, cara menjalankan Inkling 2 Mini dengan Ollama di Mac 32 GB. Mulai dari instalasi baru dan berakhir dengan agen coding lokal yang berfungsi.
Versi singkatnya adalah tiga perintah. Versi panjangnya adalah alasan panduan ini ada. Di Mac 32 GB, model memakan sekitar 20 GB. Secara bawaan, macOS juga menyisihkan kira-kira sepertiga memorimu dari prosesor grafis. Ollama menanggapinya dengan memberi model konteks 4.000 token: cukup untuk obrolan, jauh terlalu kecil untuk agen coding. Dan di sebagian besar Mac 32 GB, prompt yang sangat panjang masih bisa kehabisan memori saat ini. Semua itu bukan alasan untuk melewatinya. Justru itu alasan untuk mengaturnya dengan benar.
Kamu tidak perlu tahu cara menulis kode. Kamu akan menyalin beberapa perintah ke Terminal, aplikasi baris perintah Mac (tekan Cmd-Space, ketik Terminal lalu tekan Return). Setiap perintah dijelaskan. Dukungan Ollama untuk Inkling 2 Mini baru berumur beberapa hari dan bergerak cepat, jadi setiap fakta di bawah diperiksa pada 21 November 2026.
Keterbukaan soal independensi dan afiliasi: Tidak ada perusahaan yang disebut di sini yang mensponsori, meninjau, atau menyetujui panduan ini. Panduan ini berisi satu tautan afiliasi, ke GLM Coding Plan milik Z.ai (di Bagian 10). Berlangganan melaluinya memberimu diskon 10% dan mungkin menghasilkan komisi untukku tanpa biaya tambahan bagimu.
TL;DR — versi 60 detik
- Yang kamu butuhkan: Mac Apple silicon dengan memori 32 GB atau lebih, macOS 14 atau lebih baru, sekitar 25 GB ruang disk kosong dan Ollama 0.40.17 atau lebih baru.
- Tiga perintah:
ollama --version(0.40.17 atau lebih tinggi),ollama pull inkling-2-mini(unduhan 20,2 GB),ollama run inkling-2-mini. - Jebakan 32 GB: bobotnya memakan 18,8 GiB, dan secara bawaan macOS hanya membiarkan GPU memakai sekitar 21,3 GiB. Jadi Ollama menetapkan konteks 4K, terlalu kecil untuk agen.
- Pengaturan yang penting: atur konteks ke 16K–32K di Pengaturan Ollama untuk agen. Secara opsional, naikkan anggaran GPU ke 24 GiB dengan
sudo sysctl iogpu.wired_limit_mb=24576(nilainya kembali setelah mulai ulang). Biarkan reasoning effort di tinggi untuk coding, rendah untuk pertanyaan cepat. Tutup dulu aplikasi yang rakus memori. - Chip kamu berpengaruh saat ini: Ollama 0.40.17 mengaktifkan pembacaan prompt hemat memorinya hanya untuk M2 Pro, M2 Ultra, M3 Ultra, M4 Pro, dan M5 Pro, Max serta Ultra. Dalam satu-satunya uji 32 GB yang diterbitkan, sebuah M2 Max crash dengan "Insufficient Memory" setelah sekitar 12.000 token.
- Agen: Pi paling cocok untuk 32 GB, karena instruksi dan tool-nya tidak sampai 1.000 token (
ollama launch pi --model inkling-2-mini). Ia menjalankan perintah tanpa bertanya, jadi simpan di folder sekali pakai. OpenCode terbuka dengan sekitar 6.900 token dan bertanya lebih dulu setelah satu perubahan konfigurasi. Claude Code bertanya secara default, tetapi permintaan pertamanya terukur sekitar 32.800 token: lebih baik dari 48 GB. - Kecepatan: sekitar 24 token per detik pada M2 Max 32 GB, dan sekitar 32 pada M4 Pro 48 GB.
- Keamanan: Thinking Machines memperingatkan bahwa model bisa berulang, menghapus atau menimpa berkas tanpa bertanya, dan salah melaporkan hasilnya. Bekerjalah di Git atau dalam salinan, biarkan prompt izin tetap aktif dan batasi langkah agen.
Sekilas
| Model | Inkling 2 Mini dari Thinking Machines Lab, dirilis 20 November 2026, lisensi Apache 2.0 |
| Ukuran | 26,4B parameter, 3,4B aktif per token; 5,4B aktivasi bobot dengan menghitung lapisan berulangnya |
| Tag Ollama | inkling-2-mini (juga 26b-a5b dan 26b-a5b-nvfp4: paket 20 GB yang sama) |
| Unduhan | 20.188.097.271 byte (20,2 GB, atau 18,8 GiB) |
| Waktu yang dibutuhkan | Sekitar setengah jam, ditambah 3 sampai 60 menit untuk unduhan |
| Versi Ollama | 0.40.17 atau lebih baru; hanya Apple silicon pada rilis itu |
| Mesin | Runner MLX Ollama, dibangun di atas framework machine learning Apple |
| Kemampuan | Input teks dan gambar, pemanggilan tool, thinking |
| Konteks | Hingga 1 juta token pada model; default Ollama di sebagian besar Mac 32 GB: 4K |
| Minimum yang didukung | Mac Apple silicon dengan 32 GB (Thinking Machines dan Ollama) |
| macOS | 14 Sonoma atau lebih baru (syarat Ollama) |
| Reasoning effort | none, minimal, rendah, medium, tinggi (bawaan), xhigh, maks |
| Agen satu perintah | Pi, OpenCode, Claude Code, Hermes Agent dan OpenClaw, melalui ollama launch |
| Kecepatan terukur | M2 Max 32 GB: sekitar 24 tok/s; M4 Pro 48 GB: sekitar 32 tok/s menulis, 279 tok/s membaca |
Measured speeds are third-party results.
Daftar isi
- Bagian 1 — Sebelum Mulai: Apakah Mac Kamu Siap?
- Bagian 2 — Langkah 1: Pasang atau Perbarui Ollama
- Bagian 3 — Langkah 2: Unduh Inkling 2 Mini
- Bagian 4 — Langkah 3: Jalankan Inkling 2 Mini di Ollama untuk Pertama Kali
- Bagian 5 — Langkah 4: Pengaturan yang Disarankan untuk Mac 32 GB
- Bagian 6 — Kenyataan 32 GB: Chip Kamu Berpengaruh
- Bagian 7 — Langkah 5: Gunakan Inkling 2 Mini sebagai Backend Lokal untuk Agen Coding
- Bagian 8 — Seberapa Cepat Inkling 2 Mini di Mac 32 GB?
- Bagian 9 — Mengatasi Masalah Inkling 2 Mini di Ollama
- Bagian 10 — Saat 32 GB Tidak Cukup
- Pertanyaan yang sering diajukan
- Kesimpulan

Bagian 1 — Sebelum Mulai: Apakah Mac Kamu Siap?
Empat hal menentukan apakah kamu bisa menjalankan Inkling 2 Mini dengan Ollama: chip, memori, versi macOS, dan ruang disk kosongmu. Tiga yang pertama ada di satu layar: buka menu Apple dan pilih Tentang Mac Ini. Untuk ruang disk, buka Pengaturan Sistem → Umum → Penyimpanan.
| Persyaratan | Minimum | Mengapa |
|---|---|---|
| Chip | Apple silicon (chip seri M apa pun) | Ollama 0.40.17 hanya menjalankan Inkling 2 Mini di Apple silicon. Di Mac Intel, Ollama hanya bisa memakai prosesor, bukan GPU |
| Memori | 32 GB | Minimum yang didukung Thinking Machines’ dan Ollama; modelnya saja butuh sekitar 20 GB |
| macOS | 14 Sonoma atau lebih baru | Persyaratan Ollama sendiri |
| Ruang disk kosong | Sekitar 25 GB | 20,2 GB untuk model, plus ruang agar macOS bisa bernapas |
| Ollama | 0.40.17 atau lebih baru | Rilis pertama yang mengenal model ini (Bagian 2) |
Bagaimana dengan Mac 16 GB dan 24 GB? Tidak dengan paket Ollama, yang berupa satu berkas 20 GB tanpa versi lebih kecil. Salinan terkompresi memang ada: Unsloth menerbitkan berkas 2-bit dan 3-bit berukuran sekitar 9 sampai 14 GB yang berjalan dengan build llama.cpp miliknya sendiri. Itu rute lain yang lebih teknis, yang saya bahas di Inkling 2 Mini vs Qwen3.8-27B, beserta apa yang kamu korbankan dalam hal kualitas.
Mac 32 GB mana yang kamu punya?
Chip kamu berpengaruh karena dua alasan. Yang pertama adalah kecepatan. Model seperti ini menulis setiap kata dengan membaca bobot aktifnya dari memori. Jadi kecepatan menulis sangat bergantung pada bandwidth memori: seberapa cepat chip bisa membaca memori. M1 Max dan M2 Max punya bandwidth dua kali lipat M1 Pro dan M2 Pro, dan sekitar tiga kali lipat M4 dan M5 dasar.
Alasan kedua baru dan khusus untuk Ollama 0.40.17 (Bagian 6 menjelaskannya). Ollama punya cara hemat memori untuk membaca prompt panjang untuk model ini, tetapi itu hanya diaktifkan untuk sebagian chip. Di antara Mac yang hadir dengan tepat 32 GB, hanya M2 Pro yang memilikinya saat ini.
| Chip | Hadir dengan 32 GB? | Bandwidth memori | Pembacaan prompt hemat memori di Ollama 0.40.17 |
|---|---|---|---|
| M1 Pro | Ya | 204,8 GB/s | Tidak |
| M1 Max | Ya | 409,6 GB/s | Tidak |
| M2 Pro | Ya | 204,8 GB/s | Ya |
| M2 Max | Ya | 409,6 GB/s | Tidak |
| M4 | Ya | 120 GB/s | Tidak |
| M5 | Ya | 153.6 GB/s | Tidak |
| M3 Pro, M3 Max, M4 Max | versi 36 GB | 153.6 / 307.2 / 409.6 GB/s | Tidak |
| M5 Max | versi 36 GB | 460.8 GB/s | Ya |
Opsi bandwidth dan memori dari spesifikasi Apple sebagaimana dikumpulkan oleh Wikipedia. Dukungan pembacaan prompt dari kode sumber Ollama 0.40.17, yang mengaktifkannya untuk M2 Pro, M2 Ultra, M3 Ultra, M4 Pro dan M5 Pro, Max dan Ultra. M4 Pro dan M5 Pro tidak dijual dengan 32 GB.
Mesin dengan 36 GB mendapat ruang sekitar 4 GB lebih banyak daripada yang diasumsikan seluruh panduan ini, jadi langkah yang sama berfungsi dengan sedikit lebih longgar.

Bagian 2 — Langkah 1: Pasang atau Perbarui Ollama
Ollama adalah aplikasi gratis yang mengunduh model terbuka dan menjalankannya di Mac kamu sendiri. Ollama juga menjalankan server kecil di latar belakang, yang nanti dihubungi agen coding.
Jika kamu belum punya Ollama
- Pergi ke ollama.com/download dan unduh versi Mac,
Ollama.dmg. - Buka berkasnya dan seret Ollama ke Applications tersebut.
- Buka Ollama dari Applications. Saat pertama kali dijalankan, Ollama memeriksa apakah
ollamaperintahnya tersedia di Terminal. Jika belum, Ollama meminta izin untuk menambahkannya ke/usr/local/bin. Pilih ya dan masukkan kata sandi Mac kamu jika diminta. Ikon llama kecil muncul di bilah menu selama Ollama berjalan. - Buka Terminal dan ketik:
ollama --version
Kamu ingin 0.40.17 atau lebih baru.
Jika kamu sudah punya Ollama
Jalankan ollama --version. Jika versinya lebih lama dari 0.40.17, perbarui:
- Aplikasinya: Ollama mengunduh pembaruan sendiri. Klik ikon llama di bilah menu dan pilih Mulai ulang untuk memperbarui jika ditawarkan. Jika tidak, unduh Ollama lagi dari ollama.com/download dan ganti aplikasinya. Model yang sudah kamu unduh tetap di tempatnya.
- Homebrew: run
brew upgrade ollama. Paket Ollama Homebrew sudah di 0.40.17 pada 21 November.
Pemeriksaan versi, 21 November 2026: Ollama mengumumkan dukungan Inkling 2 Mini di 0.40.17 pada 20 November, sebagai pra-rilis. Versi final 0.40.17 ditandai di GitHub dalam sehari, dan Homebrew sudah menyediakannya. Jika halaman unduhan masih memberimu 0.40.16, dapatkan 0.40.17 atau lebih baru dari halaman rilis GitHub. Ollama versi lama menolak unduhan itu dengan
pull model manifest: 412: The model you are attempting to pull requires a newer version of Ollama.
Dua pengaturan yang layak dicek (opsional)
Buka Ollama’s Pengaturan dari ikon llama atau jendela aplikasi.
- Cloud. Tombol ini mengaktifkan model cloud dan pencarian web Ollama’s. Inkling 2 Mini berjalan sepenuhnya di Mac kamu dengan cara apa pun; FAQ resmi Ollama’s menyebut bahwa saat kamu menjalankan secara lokal, ia tidak melihat prompt atau datamu. Matikan Cloud jika kamu ingin memastikan tidak ada yang bisa beralih ke model cloud. Namun catat, alat pencarian web di sebagian agen memakai cloud Ollama.
- Lokasi model. Jika drive internalmu kurang ruang, arahkan ini ke SSD eksternal sebelum kamu mengunduh 20 GB.
Bagian 3 — Langkah 2: Unduh Inkling 2 Mini
Satu perintah:
ollama pull inkling-2-mini
Ukuran unduhannya 20.188.097.271 bytes, sedikit di atas 20 GB. Berikut perkiraan berapa lama prosesnya pada kecepatan penuh; unduhan nyata biasanya lebih lambat:
| Koneksimu | Waktu unduh |
|---|---|
| 50 Mbit/s | sekitar 54 menit |
| 100 Mbit/s | sekitar 27 menit |
| 250 Mbit/s | sekitar 11 menit |
| 500 Mbit/s | sekitar 5½ menit |
| 1 Gbit/s | sekitar 3 menit |
Jika unduhan berhenti, jalankan perintah yang sama lagi dan unduhan melanjutkan dari titik terakhir.
Beberapa hal yang perlu diketahui tentang yang baru saja kamu unduh:
- Hanya ada satu versi. Ketiga tag di halaman pustaka Ollama’s,
latest,26b-a5bdan26b-a5b-nvfp4, adalah paket 20 GB yang sama. Tidak ada versi Ollama yang lebih kecil untuk dipilih. - Ini yang asli, bukan salinan terkompresi. Thinking Machines melatih sebagian besar bobot model’s dalam format 4-bit bernama NVFP4, dan empat lapisan terakhirnya dalam format 8-bit, MXFP8. Model dikirim dengan cara itu. Paket Ollama’s memuat bobot tersebut, jadi tidak ada yang hilang dalam konversi.
- Bisa melihat. Paket ini menangani gambar maupun teks, dan bisa memanggil alat, yang memungkinkan agen coding memakainya.
Pastikan sudah masuk:
ollama ls
Kamu akan melihat inkling-2-mini:latest dengan ukuran 20 GB.
Bagian 4 — Langkah 3: Jalankan Inkling 2 Mini di Ollama untuk Pertama Kali
Mulai chat di Terminal:
ollama run inkling-2-mini --verbose
Start pertama butuh waktu sebentar, karena Ollama memuat 20 GB dari drive ke memori. Lalu kamu akan mendapat >>> prompt. Coba sesuatu seperti:
Jelaskan dalam tiga kalimat apa itu looped transformer.
Inkling 2 Mini berpikir sebelum menjawab, jadi kamu akan melihat penalarannya muncul lebih dulu, lalu jawabannya. Kalau kamu lebih suka tidak menontonnya berpikir, jalankan dengan --hidethinking sebagai gantinya.
Baca angkanya
Karena kamu menambahkan --verbose, Ollama mencetak statistik setelah setiap jawaban. Dua baris yang penting:
| Garis | Artinya |
|---|---|
| laju evaluasi prompt | Seberapa cepat model baca pesanmu, dalam token per detik |
| eval rate | Seberapa cepat ia menulis balasannya, dalam token per detik. Satu token kira-kira tiga perempat kata bahasa Inggris |
Sebagai acuan, satu-satunya uji Ollama yang diterbitkan pada Mac 32 GB, yaitu M2 Max, mengukur sekitar 24 token per detik. Bagian 8 memuat pengukuran lainnya.
Beberapa hal yang bisa kamu lakukan selanjutnya
- Keluar dari chat: type
/byeatau tekan Ctrl-D. Model tetap di memori selama lima menit kalau kamu kembali. - Bebaskan memori sekarang:
ollama stop inkling-2-mini. - Tanya tentang gambar: ketik pertanyaanmu, lalu seret berkas gambar dari Finder ke jendela Terminal, yang akan menempelkan path lengkapnya. Tekan Return.
- Pakai aplikasinya saja: buka aplikasi Ollama, pilih
inkling-2-minidari menu model dan chat di sana. Kamu juga bisa menjatuhkan gambar ke jendelanya.
Pastikan Inkling 2 Mini berjalan dengan benar
Saat model termuat, buka jendela Terminal kedua dan jalankan:
ollama ps
| Kolom | Yang ingin kamu lihat |
|---|---|
| NAME | inkling-2-mini:latest |
| SIZE | Berapa banyak memori yang dipakai model |
| PROCESSOR | 100% GPU. Di Apple silicon, itu berarti model berjalan di prosesor grafis dalam memori terpadu |
| KONTEKS | Berapa banyak token percakapan yang bisa ditampungnya. Di sebagian besar Mac 32 GB, ini menunjukkan 4096 sampai kamu mengubahnya di Bagian 5 |
| RUNNER | mlx, mesin Ollama untuk Apple silicon |
| HINGGA | Kapan Ollama akan membongkarnya jika kamu tidak memakainya |
Kamu juga bisa menanyakan ke Ollama apa yang terdeteksi saat ia mulai:
grep "vram-based default context" ~/.ollama/logs/server.log | tail -1
Di Mac 32 GB kamu seharusnya melihat total_vram sekitar 21 GiB dan default_num_ctx=4096. Satu baris itu menjelaskan sebagian besar Bagian 5.
Bagian 5 — Langkah 4: Pengaturan yang Disarankan untuk Mac 32 GB
Mengobrol berfungsi tanpa perubahan sama sekali. Agen coding dan dokumen panjang tidak, karena cara Mac 32 GB membagi memorinya. Semua angka memori di bagian ini dalam GiB, gigabita biner yang dilaporkan macOS dan Ollama; Mac "32 GB" memiliki 32 GiB.
Inilah anggarannya. Bobot Inkling 2 Mini memakan 18,8 GiB. Di Mac 32 GB, macOS membiarkan prosesor grafis memakai sekitar dua pertiga memori, sekitar 21,3 GiB, kecuali kamu mengubahnya. VisualInference mengukur bobot asli yang sama ini di aplikasi MLX lain, mlx-vlm, pada M4 Pro 48 GB. Memori memuncak di 20,3 GiB dengan prompt pendek, 21,4 GiB pada 4.000 token dan 22,1 GiB pada 16.000 token. Dengan kata lain, begitu prompt menjadi panjang, modelnya sendiri mencapai batas anggaran GPU bawaan. Dan itu sebelum macOS dan aplikasi lainmu mengambil bagiannya.

Empat pengaturan membuat perbedaan.
Pengaturan 1: Panjang konteks (yang paling penting)
The panjang konteks adalah berapa banyak teks yang bisa ditampung model sekaligus. Itu mencakup pesan-pesanmu dan balasannya dan, untuk agen, prompt sistem, definisi tool, dan setiap berkas yang telah dibacanya. Terlalu kecil, dan agen diam-diam kehilangan instruksinya lalu mulai membuat kesalahan aneh. Terlalu besar, dan kamu memesan memori yang tak akan pernah dipakai.
Ollama memilih nilai bawaan dari memori GPU yang dideteksinya:
| Memori GPU yang dideteksi Ollama | Konteks bawaan |
|---|---|
| Di bawah 23 GiB (sebagian besar Mac 32 GB: sekitar 21,3 GiB) | 4K token |
| 23 sampai 47 GiB | 32K token |
| 47 GiB atau lebih | 256K token |
Dokumentasi Ollama menyebut tingkatannya sebagai di bawah 24, 24–48, dan 48 GiB atau lebih. Kode di 0.40.17 memakai 23 dan 47 GiB, untuk memberi ruang bagi perbedaan kecil dalam apa yang dilaporkan tiap Mac.
Berapa besar memori yang dikorbankan Inkling 2 Mini untuk konteks yang lebih besar, dihitung dari konfigurasinya:
| Konteks | Memori tambahan untuk konteks |
|---|---|
| 4K | 0.28 GiB |
| 8K | 0.41 GiB |
| 16K | 0.66 GiB |
| 32K | 1.16 GiB |
| 64K | 2.16 GiB |
| 128K | 4.16 GiB |
Inkling 2 Mini membutuhkan lebih sedikit memori per token konteks daripada sebagian besar model seukurannya. Hanya empat dari 24 lapisannya yang meninjau ulang seluruh percakapan. Memori kerja yang dipakai saat membaca prompt ditambahkan di atasnya; puncak terukur di atas sudah mencakupnya.
Yang perlu disetel
| Yang kamu lakukan | Konteks | Mengapa |
|---|---|---|
| Mengobrol dan pertanyaan singkat | 4K–8K (bawaan sudah cukup) | Memakai memori paling sedikit |
| Menempelkan dokumen panjang atau berkas kode | 16K | Sekitar 12.000 kata bahasa Inggris |
| Agen Pi | 16K (8K pada chip tanpa pembacaan prompt hemat memori di Bagian 6) | Instruksi Pi sendiri sangat kecil (Bagian 7) |
| OpenCode | 32K, pada M2 Pro | Jumlah terbanyak yang bisa kamu berikan dengan nyaman pada 32 GB. Ollama merekomendasikan 64K atau lebih untuk agen, yang sebenarnya tidak sanggup ditanggung Mac ini di samping model 20 GB. Pada chip lain, baca Bagian 6 dulu |
| Claude Code | 64K atau lebih, menurut Ollama | Tidak realistis pada 32 GB; lihat Bagian 7 |
Cara menyetelnya
Cara termudah mengubah panjang konteks Ollama adalah lewat aplikasinya: buka Pengaturan → Panjang konteks lalu geser penggesernya, yang punya titik henti di 4k, 8k, 16k, 32k, 64k, 128k dan 256k. Ollama memulai ulang servernya untuk menerapkannya, dan pengaturan itu bertahan setelah Mac kamu dimulai ulang.
Ada tiga cara lain, berguna nanti:
# Hanya untuk satu sesi obrolan, di dalam `ollama run`:
/set parameter num_ctx 16384
# Untuk aplikasi Ollama, sampai kamu memulai ulang Mac (lalu keluar dan buka lagi Ollama):
launchctl setenv OLLAMA_CONTEXT_LENGTH 32768
Jika kamu sudah menggeser penggeser aplikasinya, penggeser itu menang atas launchctl pengaturan.
Atau buat salinan model dengan konteksnya sendiri yang sudah tertanam di dalamnya, yang berguna saat kamu ingin 8K untuk obrolan tetapi 32K untuk agen. Tempelkan ini ke Terminal; perintah ini membuat berkas teks kecil bernama Modelfile lalu model barunya:
cat > Modelfile <<'EOF'
FROM inkling-2-mini
PARAMETER num_ctx 32768
EOF
ollama create inkling-2-mini-32k -f Modelfile
Salinan itu tidak mengunduh atau menggandakan 20 GB bobot. Kamu lalu memakai inkling-2-mini-32k di mana pun kamu biasanya memakai inkling-2-mini. Metode mana pun yang kamu pilih, pastikan di KONTEKS kolom ollama ps.
Pengaturan 2: Beri GPU lebih banyak ruang (opsional)
macOS membatasi berapa banyak memori yang boleh disimpan GPU untuk dirinya sendiri, dan Ollama menganggap batas itu sebagai "VRAM"-mu. Pada Mac 32 GB batasnya sekitar 21,3 GiB. Ada tiga konsekuensinya. Ollama menetapkan konteks bawaannya dari batas itu (Pengaturan 1). Mesin MLX Ollama menjaga model yang dimuat tetap tinggal di memori sampai batas tersebut. Kalau modelnya lebih besar, ia mencatat peringatan bahwa performa bisa menurun. Dan ketika satu langkah kerja membutuhkan memori GPU lebih banyak daripada yang tersedia, macOS menghentikannya. Itulah Insufficient Memory crash di Bagian 6. Dokumentasi Apple menyebutnya berarti GPU tidak punya cukup memori untuk menjalankan command buffer.
Kamu bisa menaikkan batasnya sampai Mac dinyalakan ulang; dokumentasi MLX Apple memberikan perintah untuk persis hal ini. Periksa nilai saat ini dulu; 0 berarti bawaan macOS:
sysctl iogpu.wired_limit_mb
Naikkan ke 24 GiB, yang menyisakan 8 GiB untuk macOS dan aplikasimu:
sudo sysctl iogpu.wired_limit_mb=24576
Lalu keluar dari Ollama lewat menu bar dan buka lagi, karena Ollama hanya membaca batas itu saat mulai. Jalankan grep perintah dari Bagian 4 lagi dan total_vram kini seharusnya menampilkan sekitar 24 GiB.
Empat hal yang perlu diketahui
- Ini juga mengubah konteks bawaannya. Dengan 24 GiB terdeteksi, bawaan Ollama melompat dari 4K ke 32K (tabel di atas), jadi kamu mungkin tidak perlu Pengaturan 1 sama sekali.
- Ini memberi GPU lebih banyak ruang, bukan lebih banyak memori. Ini menggeser batas antara GPU dan macOS; tidak menambah memori. Kalau aplikasi lainmu jadi kekurangan memori, macOS akan memakai swap.
- Nilai ini kembali normal saat kamu menyalakan ulang Mac. Itu jaring pengaman, bukan bug. Untuk membatalkannya lebih cepat:
sudo sysctl iogpu.wired_limit_mb=0. - Ini bukan pengaturan resmi macOS. Ini banyak dipakai untuk AI lokal, tapi kalau Mac kamu sering swap, membeku, atau tiba-tiba restart selama sesi, kembalikan ke 0. Jangan jauh di atas 24 GiB pada Mac 32 GB.
Pengaturan 3: Tingkat upaya penalaran
Inkling 2 Mini menentukan seberapa keras ia berpikir berdasarkan pengaturan reasoning effort . Bawaan Ollama adalah tinggi. Begini cara Ollama 0.40.17 menerjemahkan nama-nama itu menjadi nilai yang benar-benar diterima model:
| Pengaturan Ollama | Tingkat upaya yang diterima model | Cocok untuk |
|---|---|---|
none atau false |
0 (penalaran disembunyikan) | Pencarian sederhana |
minimal |
0.1 | Fakta singkat |
rendah |
0.2 | Jawaban singkat, ringkasan, penulisan ulang |
medium |
0.7 | Pertanyaan sehari-hari |
tinggi atau true (default) |
0.9 | Pekerjaan coding dan agen |
xhigh atau maks |
0.99 | Masalah sulit, saat kamu bisa menunggu |
Dari renderer Inkling 2 Mini di Ollama 0.40.17. Thinking Machines mencatat bahwa bahkan level minimum tidak mematikan penalaran sepenuhnya.

xhigh dan maks kirim nilai yang sama. Nilai bawaan, high, adalah pengaturan yang tepat untuk coding.Untuk mengaturnya bagi percakapan:
ollama run inkling-2-mini --think=low
Di dalam percakapan, /set nothink menurunkannya ke tingkat terendah dan menyembunyikan proses berpikir, dan /set think menyalakannya kembali. Di API Ollama, nama yang sama dimasukkan ke think kolom.
Rekomendasi saya: biarkan pada tinggi untuk coding dan agen, di mana proses berpikir terbayar dengan sendirinya. Gunakan rendah atau medium untuk pertanyaan cepat, supaya kamu tidak menunggu penalaran panjang hanya demi jawaban satu baris.
Pengaturan 4: Biarkan tetap termuat, dan lepaskan saat kamu sudah selesai
Ollama melepaskan sebuah model setelah lima menit tanpa digunakan, dan memuat lagi 20 GB butuh waktu. Selama sesi agen yang diselingi jeda, itu jadi menjengkelkan. Untuk membiarkannya tetap termuat selama 30 menit setelah setiap penggunaan:
launchctl setenv OLLAMA_KEEP_ALIVE 30m
Lalu keluar dan buka lagi Ollama. Untuk satu percakapan, ollama run inkling-2-mini --keepalive 30m melakukan hal yang sama. Sisi sebaliknya: saat sudah selesai, kembalikan memorinya dengan ollama stop inkling-2-mini.
Dua tombol lagi, untuk yang penasaran
- Penyusun draf bawaan. Thinking Machines menyertakan Inkling 2 Mini bersama jaringan pembantu kecil bernama DSpark, yang menebak beberapa kata ke depan. Model utama lalu memeriksanya dalam satu langkah. Ollama mendukungnya dan mengaktifkan penyusunan draf secara bawaan untuk model apa pun yang menyertakan penyusun draf. Dalam uji MLX terpublikasi di luar Ollama, DSpark menaikkan kecepatan menulis Inkling dari 43,6 menjadi 70,9 token per detik di M5 Max. Di M4 Pro, kecepatannya justru turun dari 31,1 menjadi 18,7. Jadi ujilah di Mac kamu: dalam sebuah percakapan,
/set parameter draft_num_predict 0mematikannya; bandingkan eval rate dengan dan tanpanya. - Permintaan paralel. Sejak 0.40.17, Ollama di Apple silicon dapat menjawab beberapa permintaan sekaligus, dan masing-masing butuh memori konteks sendiri. Ollama memilih nilai bawaan yang hati-hati berdasarkan memori bebas kamu. Jika agen yang menjalankan pembantu secara paralel masih membuat Mac kamu memakai swap, batasi menjadi satu dengan
launchctl setenv OLLAMA_NUM_PARALLEL 1. Lalu keluar dan buka lagi Ollama.
Pengaturan yang tidak akan membantu di sini
Panduan untuk model lain sering menyarankan OLLAMA_KV_CACHE_TYPE=q8_0 untuk memangkas separuh memori yang dipakai konteks, bersama dengan flash attention. Di Ollama 0.40.17 pengaturan itu milik llama.cpp mesinnya; Inkling 2 Mini berjalan di MLX mesin tersebut, dan tidak ada apa pun dalam kode mesin itu yang membacanya. Hal yang sama berlaku untuk pengaturan lapisan GPU seperti num_gpu. Dan biarkan temperature sendiri: paket Ollama memakai nilai bawaan Thinking Machines sebesar 1.0, yang juga direkomendasikan Unsloth.
Sebelum sesi panjang: bebaskan memori
Buka Activity Monitor (di Applications → Utilities) lalu klik tab Memori tab. Di bagian bawah kamu akan melihat Memory Pressure grafik dan Swap Used. Hijau berarti aman, kuning berarti macOS sedang memampatkan memori, dan merah berarti sistem sedang melakukan swap ke drive, yang membuat semuanya lambat. Sebelum sesi agen, tutup aplikasi yang paling banyak memakan memori: peramban dengan Banyak tab, Docker Desktop, simulator iPhone, editor video dan foto. Di laptop, sambungkan pengisi daya untuk sesi panjang.
Bagian 6 — Kenyataan 32 GB: Chip Kamu Berpengaruh
Bagian ini penting jika Mac kamu memakai chip selain M2 Pro (atau M5 Max 36 GB), yang berlaku untuk sebagian besar Mac 32 GB. Ini juga bagian yang tidak disebutkan di catatan rilis Ollama.
Apa yang terjadi saat Inkling 2 Mini membaca prompt panjang
Sebelum menulis apa pun, model membaca seluruh prompt kamu. Mesin MLX Ollama melakukannya 2.048 token sekaligus. Untuk setiap potongan, Inkling 2 Mini menghitung hubungan setiap token baru dengan semua token sebelumnya, memakai ukuran jarak yang dipelajarinya. Langkah itu butuh tabel sementara yang tumbuh seiring semua yang sudah dibaca model dalam percakapan.
Ollama 0.40.17 punya cara hemat memori untuk melakukan ini, yang memproses prompt dalam ubin kecil sehingga tabelnya tidak pernah membesar. Kode sumbernya hanya mengaktifkannya untuk chip berikut: M2 Pro, M2 Ultra, M3 Ultra, M4 Pro, serta M5 Pro, Max, dan Ultra. Chip lain memakai metode umum yang pemakaian memorinya tumbuh mengikuti panjang prompt. Itu termasuk M1 Pro dan Max, M2 Max, M4 dasar, dan M5 dasar.
Seperti apa jadinya di M2 Max 32 GB
Satu-satunya uji Ollama 0.40.17 di Mac 32 GB yang diterbitkan berasal dari pengembang Genex. Mereka mencoba Inkling 2 Mini di M2 Max 32 GB:
- Unduhan berhasil, dan permintaan pemanggilan tool yang singkat menghasilkan jawaban benar pada sekitar 24 token per detik.
- Permintaan 18.003 token mogok setelah 12.288 token dengan error
mlx: [METAL] Command buffer execution failed: Insufficient Memory. Menyetel konteks ke 32.768 dan ukuran batch ke 512 tidak membantu. - Prompt asli mereka yang berisi 15.089 token juga mogok dengan cara yang sama.
- Loop penggunaan komputer yang digerakkan tangkapan layar asli berhasil.
Kesimpulan mereka, model ini muat di Mac 32 GB untuk prompt pendek, tapi tidak untuk prompt panjang aplikasi mereka. Jadi mereka mengubah aplikasinya agar merekomendasikan Inkling 2 Mini hanya mulai 48 GB.
Apa yang harus dilakukan
| Chip kamu | Yang bisa kamu harapkan saat ini | Apa yang harus dilakukan |
|---|---|---|
| M2 Pro (32 GB) atau M5 Max (36 GB) | Prompt panjang memakai memori terbatas | Agen pada konteks 16K–32K, dengan jatah GPU dinaikkan (Bagian 5) |
| M1 Pro, M1 Max, M2 Max, M4, M5 (32 GB) | Sesi yang tumbuh jauh melewati sekitar 10.000 token berisiko crash "Insufficient Memory" | Pakai untuk chat dan dokumen pendek; untuk agen, pakai Pi dengan konteks 8K dan mulai sesi baru untuk tiap tugas; naikkan jatah GPU; perbarui Ollama setiap ada versi baru |
| M3 Pro, M3 Max, M4 Max (36 GB) | Fallback yang sama, dengan ruang sekitar 4 GB lebih banyak | Seperti di atas, dengan sedikit lebih lega |
Ada dua hal yang perlu diingat. Pertama, ini adalah batas perangkat lunak, bukan batas perangkat keras. Kode penghemat memori itu sudah ada; hanya saja belum diaktifkan untuk setiap chip, dan Ollama merilis versi baru hampir setiap minggu. Periksa catatan rilis saat kamu memperbarui. Kedua, yang penting adalah seberapa banyak teks yang harus diproses model dalam satu sesi, bukan angka pada penggeser konteks. Setiap potongan baru dibandingkan dengan semua yang sebelumnya, jadi percakapan panjang sama beratnya dengan satu prompt panjang, dan agen coding membangun percakapan panjang dengan cepat. Konteks kecil membuat sesi tetap pendek; memulai sesi baru membuatnya lebih pendek lagi.
Bagian 7 — Langkah 5: Gunakan Inkling 2 Mini sebagai Backend Lokal untuk Agen Coding
Agen coding adalah program yang memberi model alat, seperti membaca berkas, mengeditnya, dan menjalankan perintah. Program ini memungkinkan model mengerjakan tugas langkah demi langkah. Biasanya model berada di pusat data. Di sini, Inkling 2 Mini di Mac kamu menjadi backend lokal: agen mengirim permintaannya ke Ollama.

Cara kerjanya
Saat Ollama berjalan, ia mendengarkan di http://localhost:11434, alamat yang hanya bisa dijangkau program di Mac kamu. Ia berbicara dalam format API yang sudah dikenal agen: format yang kompatibel dengan OpenAI satu di http://localhost:11434/v1, satu yang kompatibel Anthropic untuk Claude Code, dan format miliknya sendiri. Agen mengirim prompt dan definisi alatnya, lalu Inkling 2 Mini memutuskan alat mana yang dipanggil. Agen menjalankan alat itu di Mac kamu dan mengirim balik hasilnya. Siklus ini berulang sampai tugas selesai.
Kamu tidak perlu mengatur semua itu secara manual. Perintah ollama launch akan memasang agen yang didukung jika belum ada, mengarahkannya ke Ollama, lalu menjalankannya.
Sebelum menjalankan agen apa pun
- Atur konteksnya dulu (Bagian 5). Ini lebih penting dari kedengarannya: saat kamu menjalankan OpenCode melalui
ollama launch, Ollama membaca konteks yang benar-benar dimuat model dan memberi tahu OpenCode angka itu. Jika Ollama masih 4K, OpenCode akan percaya. - Kerjakan di folder uji di dalam Git, sehingga kamu bisa melihat dan membatalkan setiap perubahan:
mkdir -p ~/Projects/inkling-test
cd ~/Projects/inkling-test
git init
Saat pertama kali kamu memakai git, macOS mungkin menawarkan untuk memasang alat pengembang command line milik Apple. Terima saja; prosesnya butuh beberapa menit.
- Tutup aplikasi yang rakus memori (Bagian 5).
Agen mana yang sebaiknya kamu pakai di 32 GB?
| Pi | OpenCode | Claude Code | |
|---|---|---|---|
| Penyiapan dengan satu perintah | ollama launch pi --model inkling-2-mini |
ollama launch opencode --model inkling-2-mini |
ollama launch claude --model inkling-2-mini |
| Kamu pasang sendiri dulu | Node.js | Tidak ada; Ollama menawarkan untuk memasangnya | Tidak ada; Ollama menawarkan untuk memasangnya |
| Instruksi dan alat yang dikirim sebelum kata pertamamu | Di bawah 1.000 token | Sekitar 6.900 token | Sekitar 32.800 token |
| Bertanya sebelum menjalankan perintah | Tidak, memang dirancang begitu | Tidak secara bawaan; satu perubahan konfigurasi menyalakannya | Ya, untuk sebagian besar tindakan |
| Konteks yang perlu disetel pada 32 GB | 16K (8K pada chip tanpa pembacaan prompt hemat memori) | 32K pada M2 Pro | Ollama merekomendasikan 64K atau lebih |
| Terbaik di | Mac 32 GB apa pun, di folder sekali pakai | M2 Pro dengan 32 GB, atau 48 GB ke atas | 48 GB ke atas |
Angka Pi berasal dari penulisnya. Angka OpenCode dan Claude Code berasal dari pengukuran Systima pada Juli 2026 atas permintaan pertama tiap agen. Systima memakai proyek kosong tanpa server MCP, OpenCode 1.17 dan Claude Code 2.1 dengan model Claude. Kedua agen sudah diperbarui sejak itu, jadi baca angka-angka itu sebagai perkiraan besaran. Saran umum Ollama untuk agen adalah konteks minimal 64K.

Opsi A: Pi, yang paling ringan
Pi adalah agen coding yang sengaja dibuat minimal dengan empat alat: read, write, edit dan bash. Penulisnya mengatakan system prompt dan definisi alatnya secara bersama berjumlah di bawah 1.000 token. Itu membuatnya paling cocok untuk Mac 32 GB, dan inilah agen yang disarankan Ollama dalam pengumuman Inkling 2 Mini mereka sendiri.
- Pasang Node.js: unduh pemasang LTS dari nodejs.org lalu jalankan.
ollama launch pimembutuhkannpmdari Node untuk memasang Pi. - Masuk ke folder uji kamu dan jalankan:
cd ~/Projects/inkling-test
ollama launch pi --model inkling-2-mini
Ollama memasang Pi, mengonfigurasinya agar memakai model lokal kamu, lalu membuka sesi.
⚠️ Pi tidak meminta konfirmasi apa pun. Penulisnya menyebutnya berjalan dalam "mode YOLO penuh": tidak ada permintaan izin untuk operasi berkas atau perintah, dan akses tanpa batas ke berkas-berkasmu. Thinking Machines juga memperingatkan bahwa Inkling 2 Mini dapat menghapus atau menimpa berkas tanpa konfirmasi. Gabungan keduanya berarti: jalankan Pi hanya di folder sekali pakai, jangan pernah di folder home kamu atau proyek tanpa cadangan. Penulisnya menyarankan menjalankannya di dalam kontainer kalau kamu ingin batas yang sungguh nyata; panduan kontainer Apple milik saya menunjukkan cara menyiapkannya di Mac.
Satu detail lagi: saat Pi dijalankan lewat Ollama, alat pencarian webnya memakai pencarian web cloud Ollama. Itu membutuhkan akun Ollama dan pengaturan Cloud yang diaktifkan. Sisanya tetap di Mac kamu.
Opsi B: OpenCode, jalan tengah yang rapi
OpenCode adalah agen coding sumber terbuka yang populer dengan antarmuka terminal layar penuh, snapshot per langkah, dan sistem izin yang bisa kamu perketat.
cd ~/Projects/inkling-test
ollama launch opencode --model inkling-2-mini
Jika OpenCode belum terpasang, Ollama menanyakan apakah akan memasangnya; jawab ya. Ollama lalu memberikan pengaturannya untuk sesi ini kepada OpenCode, tanpa menimpa pengaturanmu sendiri ~/.config/opencode/opencode.json. Ollama menyesuaikan batas OpenCode dengan konteks yang dimuat model, dan menyisakan seperempatnya, maksimal 8K token, untuk balasan. Sejak 0.40.17, Ollama juga meneruskan opsi thinking Inkling 2 Mini.
Permintaan pembuka OpenCode tergolong sedang, sekitar 6.900 token dalam pengukuran Systima bulan Juli. Tapi setiap berkas yang dibacanya dan setiap keluaran perintah yang diterimanya menambah percakapan. Di Mac 32 GB tanpa pembacaan prompt hemat memori dari Bagian 6, angka itulah yang perlu kamu perhatikan. Tidak butuh banyak berkas untuk melewati 12.000 token, titik ketika M2 Max mogok.
OpenCode v2 juga menemukan model Ollama sendiri saat mulai, jadi kamu cukup menjalankan opencode lalu pilih model dengan /models. Meluncurkan lewat Ollama tetap jalur yang lebih baik di 32 GB, karena ia memberi tahu OpenCode konteks yang benar-benar kamu punya.
Buat ia bertanya dulu, dan batasi langkahnya
Secara bawaan, OpenCode v2 membiarkan model menjalankan perintah shell dan menyunting berkas tanpa bertanya; aturan bawaannya hanya bertanya sebelum membaca .env berkas. Dengan model yang pembuatnya memperingatkan soal tindakan merusak, ubahlah itu. Thinking Machines juga menyarankan membatasi giliran agen, karena model kadang tersangkut dalam putaran penalaran panjang, terutama saat menelusuri bug, dan opsi steps OpenCode melakukan itu. Taruh keduanya di ~/.config/opencode/opencode.json (buat berkasnya kalau belum ada):
{
"$schema": "https://opencode.ai/config.json",
"permissions": [
{ "action": "shell", "resource": "*", "effect": "ask" },
{ "action": "edit", "resource": "*", "effect": "ask" }
],
"agents": {
"build": { "steps": 40 }
}
}
The permissions aturan itu membuat OpenCode bertanya sebelum setiap perintah shell dan setiap penyuntingan. build Agen tersebut adalah bawaan OpenCode; pada langkah terakhir yang diizinkan, OpenCode mencabut alat dan meminta model merangkum. Periksa apakah itu berlaku dengan meminta OpenCode membuat sebuah berkas: sekarang ia harus bertanya dulu. Kalau tidak, dokumentasi permissions OpenCode menjelaskan bagaimana agen bisa menambahkan aturannya sendiri. Untuk hal lain tentang OpenCode, dari paket hingga server MCP, lihat OpenCode saya.
Opsi C: Claude Code, yang paling berat
Claude Code bekerja dengan Ollama lewat API Ollama yang kompatibel dengan Anthropic, jadi permintaannya pergi ke Mac kamu, bukan ke server Anthropic. Secara bawaan ia meminta izin sebelum sebagian besar tindakan, sehingga ia paling hati-hati di antara ketiganya.
cd ~/Projects/inkling-test
ollama launch claude --model inkling-2-mini
Ollama menawarkan memasang Claude Code kalau belum ada. Kalau kamu lebih suka menjalankannya sendiri nanti, ini pengaturan yang ollama launch sudah diurusnya:
export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model inkling-2-mini
Ollama 0.40.17 juga memungkinkan Claude Code memuat alat MCP hanya saat dibutuhkan, bukan sekaligus, sehingga prompt tetap lebih pendek. Namun ia tidak menyentuh alat bawaan Claude Code, dan itulah yang membuatnya berat. Dalam pengukuran Systima bulan Juli tanpa server MCP, permintaan pertama Claude Code sekitar 32.800 token, sebagian besar definisi alat. Itu lebih banyak daripada yang bisa ditampung konteks 32K, dan jauh melewati 12.000 token tempat M2 Max mogok. Ollama menyarankan konteks 64K atau lebih untuknya. Di Mac 32 GB, cobalah kalau kamu penasaran; rencanakan itu dari 48 GB.
Agen dan aplikasi lain
Halaman pustaka Ollama mencantumkan peluncuran satu perintah untuk dua agen lagi, dan pola yang sama berlaku untuk Codex:
ollama launch hermes --model inkling-2-mini # Hermes Agent
ollama launch openclaw --model inkling-2-mini # OpenClaw
ollama launch codex --model inkling-2-mini # OpenAI's Codex CLI
Alat lain apa pun yang berbicara API OpenAI juga bisa memakai Inkling 2 Mini. Beri ia base URL http://localhost:11434/v1, nama model inkling-2-mini dan teks apa pun sebagai kunci API. Ollama tidak memeriksa kunci itu, tapi banyak alat menolak kunci kosong.
Tugas agen pertamamu
Mulai dengan sesuatu yang kecil dan terlihat, di folder ujimu:
Buat halaman web daftar tugas satu berkas bernama index.html yang menyimpan tugas
di browser. Buat sesederhana mungkin dan jelaskan cara membukanya setelah selesai.
Perhatikan apa yang dilakukannya: berkas mana yang dibaca, apa yang ditulis, perintah mana yang dijalankan. Setelah selesai, buka halamannya dengan open index.html, lalu periksa perubahannya dengan Git:
git status # berkas mana yang berubah atau muncul
git diff # apa yang berubah di berkas yang sudah dikenal Git
Kalau hasilnya tidak kamu suka, hapus foldernya dan mulai lagi. Itulah gunanya folder uji.
Lima aturan menjalankan agen lokal dengan aman
Kartu model Thinking Machines luar biasa terus terang soal mode kegagalan Inkling 2 Mini. Ia bisa tersangkut dalam putaran penalaran panjang. Ia mungkin menghapus atau menimpa berkas tanpa konfirmasi, dan mungkin tidak melaporkan hasil kerjanya dengan akurat. Ia juga lebih mungkin daripada model yang lebih besar untuk menyatakan fakta yang salah dengan yakin. Semua itu bukan hal aneh untuk model sebesar ini. Artinya cuma:
- Git atau salinan, selalu. Jangan pernah melepas agen pada berkas yang tidak bisa kamu pulihkan.
- Nyalakan prompt izin di mana agen memilikinya (OpenCode butuh perubahan konfigurasi di atas), dan baca apa yang kamu setujui.
- Batasi langkah dan keluaran. Gunakan pengaturan OpenCode’s
steps; di obrolan Ollama,/set parameter num_predict 4096membatasi satu balasan. - Periksa klaimnya. Jalankan sendiri tesnya sebelum kamu percaya "semua tes lulus".
- Jangan pernah mengarahkan agen ke folder home kamu. Dan untuk Pi, gunakan folder sekali pakai atau kontainer.
Kalau kamu ingin melangkah lebih jauh, saya punya saya tentang agent skills dan server MCP yang membahas cara membatasi apa yang bisa dijangkau alat agen. Perbandingan semua harness coding AI membahas agen-agen itu sendiri secara mendalam.
Bagian 8 — Seberapa Cepat Inkling 2 Mini di Mac 32 GB?
Kecepatan punya dua bagian: seberapa cepat model membaca prompt kamu dan seberapa cepat ia menulis balasannya. Berikut pengukuran relevan yang diterbitkan per 21 November, beserta runtime yang dipakai masing-masing:
| Mac | Runtime | Kecepatan menulis | Kecepatan membaca | Catatan |
|---|---|---|---|---|
| M2 Max, 32 GB | Ollama 0.40.17 | Sekitar 24 tok/s | Tidak dipublikasikan | Permintaan pemanggilan alat yang singkat |
| M4 Pro, 48 GB | Ollama 0.40.17 | Sekitar 32 tok/s | 279 tok/s | Prompt 12.000 token, konteks 64K; total 65 detik |
| M4 Pro, 48 GB | mlx-vlm, bobot asli yang sama | 25,9 tok/s | Tidak dipublikasikan | VisualInference |
| M5 Pro, 48 GB | MLX-VLM, build 4/8-bit komunitas | Sekitar 27 tok/s | Sekitar 123–144 tok/s pada prompt yang sangat pendek | ModelFit; prompt yang sangat pendek dibaca lambat, jadi ini tidak bisa dibandingkan dengan 279 di atas |
Third-party measurements, collected on 21 November 2026. No published Ollama runs yet for the M1 Pro, M1 Max, M2 Pro, base M4 or base M5.

Apa arti angka-angka itu dalam praktik
- Untuk obrolan, sekitar 24 token per detik lebih cepat daripada kecepatan membacamu. Jawaban 300 kata setelah seribu token berpikir, totalnya sekitar 1.400 token, butuh sekitar satu menit pada kecepatan itu. Turunkan upaya penalaran untuk pertanyaan cepat dan hasilnya jauh lebih singkat.
- Untuk agen, kecepatan membaca sama pentingnya dengan kecepatan menulis, karena agen mengirim prompt panjang di setiap giliran. Di M4 Pro 48 GB, prompt 12.000 token butuh sekitar 43 detik untuk dibaca. Ollama memakai ulang cache bagian awal percakapan yang sama antar-giliran, jadi giliran berikutnya kebanyakan hanya membaca yang baru.
- Sebagai perbandingan, di M4 Pro yang sama, Qwen3.8-27B butuh 122 detik untuk tugas 12.000 token yang diselesaikan Inkling 2 Mini dalam 65 detik. Qwen membaca 107 dan menulis 27 token per detik. Perbandingan saya atas kedua model membahas mengapa, dan satu catatan penting: Inkling 2 Mini cenderung menulis lebih banyak token per tugas.
Yang bisa diharapkan di Mac 32 GB lain
Belum ada yang menerbitkan angka Ollama untuk M4 dan M5 dasar. Bandwidth memorinya 120 dan 153,6 GB/s, dibandingkan 409,6 GB/s pada M2 Max yang mampu sekitar 24 token per detik. Perkirakan keduanya jauh lebih lambat. Seberapa lambatnya sulit dikatakan sebelumnya, karena pada perangkat lunak saat ini Inkling 2 Mini tidak melaju sebanding dengan bandwidth. Kalau kamu punya salah satunya, jalankan --verbose tes dari Bagian 4 dan kamu akan tahu dalam satu menit.
Bagian 9 — Mengatasi Masalah Inkling 2 Mini di Ollama
Temukan gejalamu di bawah. Kalau tidak tercantum, log Ollama biasanya menyebut apa yang salah; bagian terakhir dari bagian ini menunjukkan cara membacanya.

Kalau Inkling 2 Mini tidak mau diunduh atau dijalankan
| Gejala | Kemungkinan penyebab | Perbaikan |
|---|---|---|
ollama pull inkling-2-mini gagal dengan 412 dan "memerlukan versi yang lebih baru" |
Ollama lebih lama dari 0.40.17 | Perbarui (Bagian 2), lalu pull lagi |
ollama: command not found |
Tautan baris perintah belum dibuat | Buka aplikasi Ollama dan terima tawarannya untuk memasang perintah, atau pasang ulang aplikasinya |
PROCESSOR di ollama ps tidak menyebut 100% GPU |
Ada yang salah dengan penyiapan GPU | Keluar dan buka lagi Ollama; pastikan kamu memakai Apple silicon dan macOS 14 atau lebih baru |
| Kamu memakai Windows atau Linux | Ollama 0.40.17 hanya mendukung Inkling 2 Mini di Apple silicon; model khusus Mac dari Ollama menolak diunduh di tempat lain dengan 412: this model requires macOS |
Tunggu rilis berikutnya, atau pakai llama.cpp atau vLLM |
Kalau Inkling 2 Mini mogok, lupa, atau memperlambat Mac-mu
| Gejala | Kemungkinan penyebab | Perbaikan |
|---|---|---|
Model berhenti di tengah jawaban, dengan Insufficient Memory atau Command buffer execution failed di log |
Prompt terlalu panjang untuk memori chipmu saat ini (Bagian 6), atau aplikasi lain mengambil memorinya | Tutup aplikasi, perpendek prompt atau dokumen yang kamu tempel, pakai Pi daripada agen yang lebih berat, naikkan anggaran GPU (Bagian 5), dan perbarui Ollama |
| Agen lupa instruksi, panggilan tool gagal, suntingan berhenti di tengah | Konteksnya terlalu kecil: mungkin bawaan 4K | Atur 16K–32K (Bagian 5) dan periksa kolom CONTEXT di ollama ps. Lalu jalankan ulang agennya |
| Mac-mu melambat parah, kipas berputar, swap bertambah | Tekanan Memori | Periksa Activity Monitor; tutup aplikasi; turunkan konteks; ollama stop model lain yang sedang dimuat |
| Jawaban pertama setelah jeda lambat | Ollama membongkar model setelah lima menit menganggur | Atur OLLAMA_KEEP_ALIVE (Bagian 5) |
Jika agen coding berulah
| Gejala | Kemungkinan penyebab | Perbaikan |
|---|---|---|
| Model berpikir lama sekali atau mengulang-ulang jawabannya | Lingkaran penalaran panjang, yang diperingatkan Thinking Machines | Beri tugas lebih kecil, batasi langkah dan token keluaran, pakai usaha penalaran lebih rendah untuk pertanyaan sederhana |
| Agen bilang model itu tidak ada | Salah ketik nama model | Gunakan persis inkling-2-mini; ollama ls menampilkan daftar yang kamu punya |
| Pencarian web Pi tidak berfungsi | Fitur ini memakai pencarian web cloud Ollama | Masuk ke Ollama lalu aktifkan Cloud, atau bekerja tanpa pencarian web |
| OpenCode mengedit berkas tanpa bertanya | OpenCode v2 mengizinkan pengeditan dan perintah shell secara default | Tambahkan permissions aturan dari Bagian 7 |
Periksa log Ollama
Log Ollama ada di ~/.ollama/logs/server.log. Untuk melihat baris terakhir setelah ada masalah:
tail -n 40 ~/.ollama/logs/server.log
Bagian 10 — Saat 32 GB Tidak Cukup
Kamu akan tahu sudah mencapai batas ketika prompt panjang membuat crash, ketika agen terus memadatkan percakapannya, atau ketika Mac kamu melakukan swap setiap kali model dimuat. Tiga opsi pertama gratis; tiga opsi terakhir butuh uang, privasi, atau keduanya.
Di Mac yang kamu punya
- Pertahankan, dan pakai untuk hal yang cocok. Chat, dokumen pendek, pertanyaan gambar dan Pi untuk tugas kecil berjalan baik di semua Mac 32 GB. Pantau catatan rilis Ollama: pembacaan prompt hemat memori dari Bagian 6 yang menjangkau lebih banyak chip akan mengubah situasi dalam semalam.
- Berkas lebih kecil di runtime lain. Versi 4-bit Unsloth berukuran 17,6 GB, sekitar 2,6 GB lebih kecil daripada paket Ollama, dan berjalan dengan build llama.cpp milik Unsloth sendiri. Ini lebih teknis, dan dukungan hari pertamanya lebih kasar; artikel perbandingan saya membahasnya.
- Model lokal yang berbeda. Qwen3.8-27B mendapat skor sama dengan Inkling 2 Mini pada indeks Artificial Analysis, berjalan di mana saja dan lebih baik dalam pertanyaan pengetahuan, tetapi lebih lambat di Mac yang sama. Artikel yang sama.
Di luar Mac kamu
- Memori lebih besar. Dari 48 GB, Inkling 2 Mini menjalankan agen dengan nyaman, dan dari 64 GB kamu bisa membiarkannya tetap dimuat bersama model lain. Jika kamu sedang memutuskan apa yang akan dibeli, panduan saya tentang apakah MacBook untuk LLM lokal layak dibeli dan MacBook Pro M5 Pro dengan 64 GB membahas pro dan kontranya.
- Saudara besarnya, di cloud. Inkling 2 Small, model 594 miliar parameter dari Thinking Machines, ada di cloud Ollama sebagai
inkling-2-small:cloud. Ini bekerja dengan perintah peluncuran yang sama, misalnyaollama launch opencode --model inkling-2-small:cloud. Ini membutuhkan akun Ollama, dan prompt kamu lalu meninggalkan Mac kamu. - Rencana coding untuk 10% tersulit. Banyak orang menjalankan model lokal untuk pekerjaan pribadi dan sehari-hari lalu mengarahkan perencanaan dan debugging tersulit ke model cloud besar. Salah satu opsi terjangkau adalah GLM Coding Plan milik Z.ai, yang berfungsi di OpenCode, Claude Code, dan agen lain. Kamu bisa dapatkan diskon 10% untuk GLM Coding Plan lewat tautan afiliasiku. (Tautan afiliasi — lihat pengungkapan di bagian atas.)
Pertanyaan yang sering diajukan
Ya. Thinking Machines dan Ollama sama-sama mendukung Inkling 2 Mini di Mac Apple silicon dengan 32 GB atau lebih, melalui Ollama 0.40.17 atau lebih baru. Model ini memakan sekitar 20 GB, jadi chat dan dokumen pendek berjalan lancar. Prompt panjang adalah batasnya. Di sebagian besar chip 32 GB, Ollama 0.40.17 belum memakai pembacaan prompt hemat memorinya. Satu pengujian di M2 Max macet setelah sekitar 12.000 token.
Ollama 0.40.17 atau lebih baru. Ollama mengumumkan dukungan Inkling 2 Mini di 0.40.17 pada 20 November 2026 sebagai pra-rilis, dan 0.40.17 final menyusul dalam sehari. Periksa dengan ollama --version. Versi lama menolak unduhan dengan error 412. Di 0.40.17, Inkling 2 Mini hanya didukung di Apple silicon.
20,188,097,271 byte, sekitar 20.2 GB atau 18.8 GiB. Ketiga tag, latest, 26b-a5b dan 26b-a5b-nvfp4, adalah paket yang sama: bobot NVFP4 dan MXFP8 asli Thinking Machines, dengan dukungan gambar. Tidak ada versi Ollama yang lebih kecil. Pada 100 Mbit/s, unduhan memakan waktu sekitar 27 menit.
Ollama menetapkan konteks bawaannya dari memori GPU yang dideteksinya: 4K di bawah sekitar 23 GiB, 32K hingga sekitar 47 GiB, dan 256K di atasnya. Di Mac, angka itu adalah anggaran GPU yang diizinkan macOS, yang di Mac 32 GB sekitar 21.3 GiB, jadi kamu mendapat 4K. Ubah dengan slider Context length di Settings Ollama, atau dengan menaikkan anggaran GPU ke 24 GiB.
16K untuk Pi, dan 32K untuk OpenCode di M2 Pro, yang merupakan maksimum yang bisa diberikan Mac 32 GB dengan nyaman bersama model 20 GB. Di chip tanpa pembacaan prompt hemat memori Ollama, gunakan 8K dan sesi pendek. Ollama merekomendasikan 64K atau lebih untuk agen coding, yang berjalan mulai 48 GB. Atur sebelum meluncurkan agen, karena ollama launch opencode meneruskan konteks yang dimuat ke OpenCode.
Di Mac 32 GB ini membantu. Menjalankan sudo sysctl iogpu.wired_limit_mb=24576 menaikkan anggaran GPU dari sekitar 21.3 GiB ke 24 GiB dan menyisakan 8 GiB untuk macOS. Ollama lalu default ke konteks 32K. Keluar dan buka lagi Ollama setelahnya. Pengaturan ini kembali normal saat kamu memulai ulang Mac; sudo sysctl iogpu.wired_limit_mb=0 memulihkan default lebih cepat. Ini bukan pengaturan resmi macOS, jadi batalkan jika Mac kamu banyak swap atau menjadi tidak stabil.
Gunakan --think flag: ollama run inkling-2-mini --think=low. Ollama menerima none, minimal, rendah, medium, tinggi (default), xhigh dan maks, yang dikirimnya ke model sebagai nilai effort dari 0 hingga 0.99. Di dalam chat, /set nothink menetapkan tingkat terendah dan menyembunyikan proses berpikir. Bahkan minimum tidak mematikan penalaran sepenuhnya.
Pi, karena system prompt dan alatnya di bawah 1.000 token, yang menjaga prompt tetap pendek: ollama launch pi --model inkling-2-mini. Tapi Pi menjalankan perintah tanpa bertanya, jadi hanya pakai di folder sekali pakai. OpenCode terbuka dengan sekitar 6.900 token dan bekerja pada konteks 32K, paling baik di M2 Pro. Ia bertanya sebelum bertindak setelah kamu menambahkan dua aturan izin ke konfigurasinya. Claude Code bertanya secara default, tetapi permintaan pertamanya terukur sekitar 32.800 token, lebih dari yang bisa ditampung konteks 32K, jadi lebih baik dari 48 GB.
Kemungkinan besar, prompt atau percakapan terlalu panjang untuk memori GPU Mac kamu. Ollama 0.40.17 membaca prompt panjang dengan metode hemat memori hanya di M2 Pro, M2 Ultra, M3 Ultra, M4 Pro dan M5 Pro, Max dan Ultra. Di chip lain, penggunaan memori tumbuh seiring semua yang telah dibaca model, dan satu M2 Max 32 GB macet setelah 12.288 token. Tutup aplikasi lain, jaga sesi tetap pendek, pakai Pi, naikkan anggaran GPU, dan perbarui Ollama.
Dalam satu-satunya pengujian Ollama yang dipublikasikan di Mac 32 GB, sebuah M2 Max, permintaan singkat berjalan sekitar 24 token per detik. Di M4 Pro 48 GB dengan Ollama 0.40.17, model ini menulis sekitar 32 token per detik dan membaca prompt 12.000 token pada 279 token per detik. Mac M4 dan M5 basis punya bandwidth memori jauh lebih kecil dan seharusnya lebih lambat; belum ada hasil uji yang dipublikasikan.
Tidak dengan paket Ollama, yang merupakan satu versi 20 GB, dan Thinking Machines mendukung 32 GB sebagai minimum. Unsloth menerbitkan berkas 2-bit dan 3-bit berukuran sekitar 9 sampai 14 GB yang berjalan dengan build llama.cpp miliknya di Mac yang lebih kecil. Itu mengorbankan sebagian kualitas dan butuh lebih banyak penyiapan.
Tidak saat berjalan lokal. Ollama menjalankan model di Mac kamu, dan FAQ-nya menyatakan ia tidak melihat prompt atau datamu saat kamu menjalankan lokal. Agen coding yang diluncurkan dengan ollama launch berbicara dengan Ollama di localhost:11434, di mesinmu sendiri. Model cloud dan pencarian web berbeda: keduanya mengirim data ke server Ollama, dan kamu bisa mematikannya dengan pengaturan Cloud. Agen-agen itu adalah program terpisah dengan alat jaringan mereka sendiri, seperti web fetch OpenCode, jadi periksa pengaturannya jika kamu perlu bekerja sepenuhnya offline.
Tidak di Ollama 0.40.17, yang catatan rilisnya menyatakan Inkling 2 Mini hanya didukung di Apple silicon pada rilis itu. Di perangkat keras NVIDIA, Thinking Machines mendukung vLLM dan SGLang, dan build llama.cpp Unsloth menjalankan berkas GGUF-nya. Rilis Ollama berikutnya mungkin menambah platform lain.
Jalankan ollama rm inkling-2-mini. Hapus salinan apa pun yang kamu buat dengan ollama create, seperti inkling-2-mini-32k, dengan cara yang sama: 20 GB bobot dibebaskan begitu tidak ada model yang memakainya. Untuk menghapus Ollama itu sendiri, keluar dari aplikasi, hapus dari Applications, dan hapus .ollama folder di folder home kamu; dokumentasi macOS Ollama mencantumkan setiap berkas.
Kesimpulan
Inkling 2 Mini adalah model terbuka yang mumpuni yang didukung pembuatnya di Mac 32 GB, dan Ollama membuat dasarnya benar-benar mudah: pasang, pull, jalankan. Untuk chat, dokumen, dan pertanyaan gambar, Mac 32 GB sudah cukup.
Agen adalah bagian yang membuat 32 GB terasa sempit, karena dua alasan. Ollama memulai sebagian besar Mac 32 GB pada konteks 4K, yang diam-diam merusak agen sampai kamu mengubahnya. Dan pada sebagian besar chip 32 GB, prompt panjang masih bisa kehabisan memori, karena pembacaan prompt hemat memori dari Ollama hanya mencakup sebagian chip saja. Jadi atur konteksnya, naikkan anggaran GPU, dan tutup browsermu. Mulai dengan Pi di folder sekali pakai, dan perbarui Ollama sesering mungkin.
Jika kamu punya M2 Pro, kamu berada di posisi terbaik yang bisa dicapai Mac 32 GB saat ini. Jika kamu punya 48 GB atau lebih, sebagian besar catatan di sini tidak berlaku lagi. Dan Mac apa pun yang kamu punya, ollama run inkling-2-mini --verbose akan memberi tahu lebih banyak tentang mesinmu sendiri dalam lima menit daripada tabel mana pun di panduan ini.
Menjalankan Inkling 2 Mini di Mac 32 GB? Bagikan chip, versi Ollama, pengaturan konteks, dan --verbose angkanya di komentar, terutama dari M1, M4, atau M5. Saya akan menambahkan hasil yang paling berguna ke Bagian 8, dengan kredit. Koreksi juga diterima: karena dukungannya masih sangat baru, sebagian detail hari ini akan cepat berubah.
Pengungkapan: Panduan ini berisi satu tautan afiliasi, ke GLM Coding Plan milik Z.ai (di Bagian 10). Berlangganan melaluinya memberimu diskon 10% dan mungkin menghasilkan komisi untukku tanpa biaya tambahan bagimu. Tidak ada produk atau perusahaan lain dalam panduan ini yang disponsori, dan tidak ada yang meninjaunya sebelum terbit.
Fakta diperiksa: 21 November 2026.



