Thinking Machines Lab ने 20 नवंबर को Inkling 2 Mini जारी किया, और इस काबिलियत वाले ओपन मॉडल के लिए यह एक असामान्य वादा है: यह लैपटॉप पर चलता है। कंपनी Ollama के ज़रिए इसे 32 GB या उससे ज़्यादा मेमोरी वाले किसी भी Mac पर सपोर्ट करती है। इसके शोधकर्ताओं ने तो उड़ान के दौरान MacBook Pro पर इसे ऑफ़लाइन चलाया, जहाँ इसने एक खेलने लायक फ़्लाइट सिम्युलेटर बनाया। यह गाइड आपको स्टेप बाय स्टेप दिखाती है कि 32 GB वाले Mac पर Ollama के साथ Inkling 2 Mini कैसे चलाएँ। यह नई इंस्टॉल से शुरू होकर एक चलते-फिरते लोकल कोडिंग एजेंट तक पहुँचती है।
छोटा जवाब तीन कमांड हैं। लंबा जवाब यही है कि यह गाइड क्यों मौजूद है। 32 GB वाले Mac पर मॉडल लगभग 20 GB लेता है। डिफ़ॉल्ट रूप से macOS आपकी मेमोरी का करीब एक-तिहाई हिस्सा ग्राफ़िक्स प्रोसेसर से दूर भी रखता है। Ollama इसका जवाब मॉडल को 4,000 टोकन का कॉन्टेक्स्ट देकर देता है: चैट के लिए ठीक, कोडिंग एजेंट के लिए बहुत ही छोटा। और ज़्यादातर 32 GB वाले Mac पर बहुत लंबे प्रॉम्प्ट आज भी मेमोरी खत्म कर सकते हैं। इनमें से कोई भी चीज़ इसे छोड़ने की वजह नहीं है। यह इसे ठीक से सेट करने की वजह है।
आपको कोड करना आना ज़रूरी नहीं है। आप कुछ कमांड Terminal में कॉपी करेंगे, जो Mac का कमांड-लाइन ऐप है (Cmd-Space दबाएँ, टाइप करें Terminal और Return दबाएँ)। हर एक को समझाया गया है। Inkling 2 Mini के लिए Ollama का सपोर्ट कुछ ही दिन पुराना है और तेज़ी से बदल रहा है, इसलिए नीचे दी गई हर बात जाँची गई 21 नवंबर 2026.
स्वतंत्रता और एफ़िलिएट खुलासा: यहाँ जिस भी कंपनी का ज़िक्र है, उसने इस गाइड को स्पॉन्सर, रिव्यू या अप्रूव नहीं किया। इसमें एक एफ़िलिएट लिंक, Z.ai’s GLM Coding Plan (भाग 10 में) के लिए। उसके ज़रिए सब्सक्रिप्शन लेने पर आपको 10% की छूट मिलती है और आपके लिए किसी अतिरिक्त खर्च के बिना मुझे कमीशन भी मिल सकता है।
TL;DR — 60 सेकंड में सार
- आपको चाहिए: Apple silicon वाला एक Mac, जिसमें 32 GB या उससे ज़्यादा मेमोरी, macOS 14 या उससे नया, लगभग 25 GB खाली डिस्क स्पेस और Ollama 0.40.17 या उससे नया.
- तीन कमांड:
ollama --version(0.40.17 या उससे ऊपर),ollama pull inkling-2-mini(20.2 GB का डाउनलोड),ollama run inkling-2-mini. - 32 GB वाली अड़चन: वेट्स का साइज़ 18.8 GiB, और डिफ़ॉल्ट रूप से macOS GPU को सिर्फ़ लगभग 21.3 GiB. इसलिए Ollama सेट करता है 4K कॉन्टेक्स्ट, जो एजेंट के लिए बहुत छोटा है।
- अहम सेटिंग्स: कॉन्टेक्स्ट सेट करें 16K–32K Ollama’s Settings में agents के लिए। वैकल्पिक रूप से, GPU बजट को 24 GiB तक बढ़ाएँ, इसके ज़रिए
sudo sysctl iogpu.wired_limit_mb=24576(यह रीस्टार्ट पर रीसेट हो जाता है)। reasoning effort को इस पर रखें उच्च कोडिंग के लिए, कम तेज़ सवालों के लिए। मेमोरी खाने वाले ऐप पहले बंद कर दें। - आज आपका चिप मायने रखता है: Ollama 0.40.17 अपनी मेमोरी बचाने वाली prompt reading सुविधा सिर्फ़ M2 Pro, M2 Ultra, M3 Ultra, M4 Pro और M5 Pro, Max तथा Ultra के लिए चालू करता है। प्रकाशित एकमात्र 32 GB टेस्ट में एक M2 Max लगभग 12,000 टोकन के बाद "Insufficient Memory" कहकर क्रैश हो गया।
- एजेंट: Pi 32 GB के लिए सबसे उपयुक्त है, क्योंकि इसके निर्देश और टूल्स 1,000 टोकन से कम में आ जाते हैं (
ollama launch pi --model inkling-2-mini)। यह बिना पूछे कमांड चलाता है, इसलिए इसे किसी फेंकने लायक फ़ोल्डर में रखें। OpenCode लगभग 6,900 टोकन के साथ खुलता है और एक कॉन्फ़िग बदलाव के बाद पहले पूछता है। Claude Code डिफ़ॉल्ट रूप से पूछता है, लेकिन इसका पहला अनुरोध लगभग 32,800 टोकन का रहा: 48 GB से बेहतर। - गति: के बारे में 24 टोकन प्रति सेकंड 32 GB M2 Max पर, और लगभग 32 48 GB M4 Pro पर।
- सुरक्षा: Thinking Machines चेतावनी देता है कि मॉडल बिना पूछे लूप में चल सकता है, फ़ाइलें मिटा या ओवरराइट कर सकता है, और अपने नतीजों को गलत बता सकता है। Git में या किसी कॉपी पर काम करें, permission prompts चालू रखें और एजेंट’s चरणों की सीमा तय करें।
एक नज़र में
| मॉडल | Thinking Machines Lab का Inkling 2 Mini, 20 नवंबर 2026 को जारी, Apache 2.0 लाइसेंस |
| साइज़ | 26.4B पैरामीटर, प्रति टोकन 3.4B सक्रिय; अपनी लूप्ड लेयरों को गिनते हुए 5.4B वेट एक्टिवेशन |
| Ollama टैग | inkling-2-mini (साथ ही 26b-a5b और 26b-a5b-nvfp4: वही 20 GB पैकेज) |
| डाउनलोड | 20,188,097,271 बाइट (20.2 GB, या 18.8 GiB) |
| लगने वाला समय | लगभग आधा घंटा, साथ में डाउनलोड के लिए 3 से 60 मिनट |
| Ollama वर्ज़न | 0.40.17 या नया; उस रिलीज़ में सिर्फ़ Apple silicon |
| इंजन | Ollama’s MLX रनर, जो Apple’s मशीन-लर्निंग फ़्रेमवर्क पर बना है |
| कर सकता है | टेक्स्ट और इमेज इनपुट, टूल कॉल, थिंकिंग |
| कॉन्टेक्स्ट | मॉडल में 1M टोकन तक; ज़्यादातर 32 GB Macs पर Ollama’s डिफ़ॉल्ट: 4K |
| समर्थित न्यूनतम | 32 GB वाला Apple silicon Mac (Thinking Machines और Ollama) |
| macOS | 14 Sonoma या बाद का (Ollama’s आवश्यकता) |
| रीज़निंग एफ़र्ट | none, minimal, कम, medium, उच्च (डिफ़ॉल्ट), xhigh, अधिकतम |
| एक-कमांड एजेंट | Pi, OpenCode, Claude Code, Hermes Agent और OpenClaw, इसके ज़रिए ollama launch |
| मापी गई गति | M2 Max 32 GB: लगभग 24 tok/s; M4 Pro 48 GB: लगभग 32 tok/s लिखने में, 279 tok/s पढ़ने में |
Measured speeds are third-party results.
विषय-सूची
- भाग 1 — शुरू करने से पहले: क्या आपका Mac तैयार है?
- भाग 2 — स्टेप 1: Ollama इंस्टॉल करें या अपडेट करें
- भाग 3 — स्टेप 2: Inkling 2 Mini डाउनलोड करें
- भाग 4 — स्टेप 3: Ollama में पहली बार Inkling 2 Mini चलाएँ
- भाग 5 — स्टेप 4: 32 GB Mac के लिए सुझाई गई सेटिंग
- भाग 6 — 32 GB की असली परख: आपका चिप मायने रखता है
- भाग 7 — स्टेप 5: कोडिंग एजेंट के लिए Inkling 2 Mini को लोकल बैकएंड की तरह इस्तेमाल करें
- भाग 8 — 32 GB Mac पर Inkling 2 Mini कितना तेज़ चलता है?
- भाग 9 — Ollama में Inkling 2 Mini की समस्याएँ सुलझाना
- भाग 10 — जब 32 GB काफ़ी न हो
- अक्सर पूछे जाने वाले प्रश्न
- मुख्य बात

भाग 1 — शुरू करने से पहले: क्या आपका Mac तैयार है?
चार चीज़ें तय करती हैं कि आप Ollama के साथ Inkling 2 Mini चला पाएँगे या नहीं: आपका चिप, आपकी मेमोरी, आपका macOS वर्ज़न और आपकी खाली डिस्क जगह। पहली तीन एक ही स्क्रीन पर हैं: Apple मेन्यू खोलें और चुनें इस Mac के बारे में. डिस्क जगह के लिए खोलें सिस्टम सेटिंग → सामान्य → स्टोरेज.
| ज़रूरत | न्यूनतम | क्यों |
|---|---|---|
| चिप | Apple silicon (कोई भी M सीरीज़ चिप) | Ollama 0.40.17, Inkling 2 Mini को सिर्फ़ Apple silicon पर चलाता है। Intel Mac पर Ollama सिर्फ़ प्रोसेसर इस्तेमाल कर सकता है, GPU नहीं |
| मेमोरी | 32 GB | Thinking Machines’ और Ollama’s द्वारा समर्थित न्यूनतम; अकेला मॉडल ही लगभग 20 GB लेता है |
| macOS | 14 Sonoma या उसके बाद | Ollama’s की अपनी ज़रूरत |
| खाली डिस्क जगह | लगभग 25 GB | मॉडल के लिए 20.2 GB, साथ में macOS के लिए थोड़ी साँस लेने की जगह |
| Ollama | 0.40.17 या नया | पहला रिलीज़ जो इस मॉडल को जानता है (भाग 2) |
16 GB और 24 GB वाले Mac का क्या? Ollama’s के पैकेज से नहीं, जो एक ही 20 GB की फ़ाइल है और उसका कोई छोटा वर्ज़न नहीं है। कंप्रेस्ड कॉपियाँ ज़रूर मौजूद हैं: Unsloth लगभग 9 से 14 GB की 2-bit और 3-bit फ़ाइलें पब्लिश करता है, जो उसके अपने llama.cpp बिल्ड के साथ चलती हैं। यह अलग और ज़्यादा तकनीकी रास्ता है, जिसे मैंने यहाँ समझाया है Inkling 2 Mini बनाम Qwen3.8-27B, साथ में यह भी कि क्वालिटी में आपको क्या छोड़ना पड़ता है।
आपके पास कौन-सा 32 GB Mac है?
आपका चिप दो वजहों से मायने रखता है। पहली है स्पीड। ऐसा मॉडल हर शब्द लिखते समय अपने सक्रिय वेट मेमोरी से पढ़कर लिखता है। इसलिए लिखने की स्पीड काफ़ी हद तक इस पर टिकी है मेमोरी बैंडविड्थ: चिप मेमोरी को कितनी तेज़ी से पढ़ सकता है। M1 Max और M2 Max की बैंडविड्थ M1 Pro और M2 Pro से दोगुनी है, और बेस M4 व M5 से लगभग तीन गुना।
दूसरी वजह नई है और ख़ास तौर पर Ollama 0.40.17 से जुड़ी है (भाग 6 इसे समझाता है)। Ollama के पास लंबे प्रॉम्प्ट पढ़ने का मेमोरी बचाने वाला तरीका इस मॉडल के लिए है, लेकिन यह सिर्फ़ कुछ चिप्स पर चालू होता है। ठीक 32 GB वाले Mac में आज सिर्फ़ M2 Pro में ही यह मिलता है।
| चिप | 32 GB के साथ आता है? | मेमोरी बैंडविड्थ | Ollama 0.40.17 में मेमोरी बचाने वाला प्रॉम्प्ट रीडिंग |
|---|---|---|---|
| M1 Pro | हाँ | 204.8 GB/s | नहीं |
| M1 Max | हाँ | 409.6 GB/s | नहीं |
| M2 Pro | हाँ | 204.8 GB/s | हाँ |
| M2 Max | हाँ | 409.6 GB/s | नहीं |
| M4 | हाँ | 120 GB/s | नहीं |
| M5 | हाँ | 153.6 GB/s | नहीं |
| M3 Pro, M3 Max, M4 Max | 36 GB वर्ज़न | 153.6 / 307.2 / 409.6 GB/s | नहीं |
| M5 Max | 36 GB वर्ज़न | 460.8 GB/s | हाँ |
बैंडविड्थ और मेमोरी विकल्प Apple के स्पेसिफिकेशन से, जैसा Wikipedia ने संग्रह किया। प्रॉम्प्ट-रीडिंग सपोर्ट Ollama 0.40.17 के सोर्स कोड से, जो इसे M2 Pro, M2 Ultra, M3 Ultra, M4 Pro और M5 Pro, Max और Ultra के लिए सक्षम करता है। M4 Pro और M5 Pro 32 GB के साथ नहीं बेचे जाते।
36 GB वाले मशीनों को इस गाइड की हर मान्यता से लगभग 4 GB ज़्यादा जगह मिलती है, इसलिए वही स्टेप थोड़ी ज़्यादा ढील के साथ काम करते हैं।

भाग 2 — स्टेप 1: Ollama इंस्टॉल करें या अपडेट करें
Ollama एक मुफ़्त ऐप है जो ओपन मॉडल डाउनलोड करता है और उन्हें आपके अपने Mac पर चलाता है। यह बैकग्राउंड में एक छोटा सर्वर भी चलाता है, जिससे कोडिंग एजेंट बाद में बात करते हैं।
अगर आपके पास अभी Ollama नहीं है
- यहाँ जाएँ: ollama.com/download और Mac वर्ज़न डाउनलोड करें,
Ollama.dmg. - फ़ाइल खोलें और इसे खींचकर Ollama अपने Applications फ़ोल्डर पर।
- Applications से Ollama खोलें। पहली बार शुरू होने पर यह जाँचता है कि उसका
ollamaकमांड Terminal में उपलब्ध है या नहीं। अगर नहीं, तो यह उसे इसमें जोड़ने की अनुमति माँगता है/usr/local/bin. हाँ कहें और अगर पूछा जाए तो अपना Mac पासवर्ड डालें। Ollama चलने के दौरान मेन्यू बार में एक छोटा llama आइकन दिखता है। - Terminal खोलें और टाइप करें:
ollama --version
आपको चाहिए 0.40.17 या नया.
अगर Ollama पहले से है
चलाएँ ollama --version. अगर यह 0.40.17 से पुराना है, तो अपडेट करें:
- ऐप: Ollama अपडेट खुद डाउनलोड करता है। मेन्यू बार में llama आइकन पर क्लिक करें और चुनें अपडेट के लिए रीस्टार्ट करें अगर यह विकल्प दिखे। अगर न दिखे, तो Ollama फिर से डाउनलोड करें यहाँ से ollama.com/download और ऐप बदल दें। आपके डाउनलोड किए मॉडल जहाँ हैं वहीं रहते हैं।
- Homebrew: चलाएँ
brew upgrade ollama. Homebrew का Ollama पैकेज 21 November को पहले से 0.40.17 पर था।
वर्ज़न जाँच, 21 November 2026: Ollama ने Inkling 2 Mini के सपोर्ट की घोषणा की 0.40.17 20 November को, एक प्री-रिलीज़ के रूप में। अंतिम 0.40.17 एक ही दिन में GitHub पर टैग हो गया, और Homebrew इसे पहले से ही देता है। अगर डाउनलोड पेज अब भी आपको 0.40.16 दे रहा है, तो 0.40.17 या नया यहाँ से लें GitHub रिलीज़ पेज. पुराना Ollama डाउनलोड को इस संदेश के साथ अस्वीकार कर देता है
मॉडल मैनिफ़ेस्ट खींचें: 412: जिस मॉडल को आप खींचने की कोशिश कर रहे हैं, उसके लिए Ollama का नया वर्ज़न ज़रूरी है.
दो सेटिंग जिन पर नज़र डालना बनता है (वैकल्पिक)
Ollama’s सेटिंग्स llama आइकन या ऐप विंडो से खोलें।
- क्लाउड। यह स्विच Ollama’s क्लाउड मॉडल और वेब सर्च चालू करता है। Inkling 2 Mini किसी भी हालत में पूरी तरह आपके Mac पर ही चलता है; Ollama’s अपने FAQ में कहता है कि जब आप लोकली चलाते हैं, तो उसे आपके प्रॉम्प्ट या डेटा नहीं दिखते। अगर आप पक्का करना चाहते हैं कि कुछ भी किसी क्लाउड मॉडल पर वापस न जाए, तो Cloud बंद कर दें। ध्यान रखें, फिर भी, कि कुछ एजेंट के वेब-सर्च टूल Ollama’s क्लाउड का इस्तेमाल करते हैं।
- मॉडल लोकेशन। अगर आपकी इंटरनल ड्राइव में जगह कम है, तो इसे किसी एक्सटर्नल SSD पर सेट करें इससे पहले कि इससे पहले कि आप 20 GB डाउनलोड करें।
भाग 3 — स्टेप 2: Inkling 2 Mini डाउनलोड करें
एक कमांड:
ollama pull inkling-2-mini
डाउनलोड है 20,188,097,271 बाइट, यानी 20 GB से थोड़ा ज़्यादा। पूरी स्पीड पर इसमें लगभग कितना समय लगता है, वह यह रहा; असली डाउनलोड आमतौर पर धीमे होते हैं:
| आपका कनेक्शन | डाउनलोड का समय |
|---|---|
| 50 Mbit/s | लगभग 54 मिनट |
| 100 Mbit/s | लगभग 27 मिनट |
| 250 Mbit/s | लगभग 11 मिनट |
| 500 Mbit/s | लगभग 5½ मिनट |
| 1 Gbit/s | लगभग 3 मिनट |
अगर डाउनलोड रुक जाए, तो वही कमांड फिर से चलाएँ और वह जहाँ रुका था वहीं से आगे बढ़ता रहेगा।
अभी आपने जो डाउनलोड किया है, उसके बारे में कुछ बातें जानने लायक हैं:
- इसका सिर्फ़ एक ही वर्ज़न है। Ollama’s लाइब्रेरी पेज पर तीनों टैग,
latest,26b-a5bऔर26b-a5b-nvfp4, वही 20 GB पैकेज हैं। चुनने के लिए कोई छोटा Ollama वर्ज़न नहीं है। - यह ओरिजिनल है, कोई कंप्रेस्ड कॉपी नहीं। Thinking Machines ने मॉडल के ज़्यादातर वेट 4-bit फ़ॉर्मैट NVFP4 में ट्रेन किए, और इसकी आख़िरी चार परतें 8-bit फ़ॉर्मैट MXFP8 में। यह उन्हें उसी रूप में भेजता है। Ollama’s पैकेज में वही वेट हैं, इसलिए किसी कन्वर्ज़न में कुछ नहीं खोया।
- यह देख भी सकता है। यह पैकेज टेक्स्ट के साथ-साथ इमेज भी संभालता है, और यह टूल कॉल कर सकता है, और इसी वजह से कोडिंग एजेंट इसे इस्तेमाल कर पाते हैं।
जाँचें कि यह आ गया है:
ollama ls
आपको दिखना चाहिए inkling-2-mini:latest 20 GB साइज़ के साथ।
भाग 4 — स्टेप 3: Ollama में पहली बार Inkling 2 Mini चलाएँ
Terminal में चैट शुरू करें:
ollama run inkling-2-mini --verbose
पहली बार शुरू होने में थोड़ा समय लगता है, क्योंकि Ollama आपकी ड्राइव से 20 GB मेमोरी में लोड करता है। फिर आपको एक >>> प्रॉम्प्ट मिलेगा। कुछ ऐसा आज़माएँ:
तीन वाक्यों में समझाएँ कि looped transformer क्या है।
Inkling 2 Mini जवाब देने से पहले सोचता है, इसलिए पहले उसकी सोच दिखाई देगी और फिर जवाब। अगर आप उसे सोचते हुए नहीं देखना चाहते, तो इसे शुरू करें --hidethinking के साथ।
आँकड़े पढ़ें
क्योंकि आपने जोड़ा --verbose, Ollama हर जवाब के बाद आँकड़े छापता है। दो लाइनें मायने रखती हैं:
| लाइन | इसका क्या मतलब है |
|---|---|
| प्रॉम्प्ट इवैल रेट | मॉडल कितनी तेज़ी से पढ़ें आपका संदेश पढ़ता है, प्रति सेकंड टोकन में |
| eval rate | यह कितनी तेज़ी से लिखा जवाब, प्रति सेकंड टोकन में। एक टोकन लगभग अंग्रेज़ी शब्द का तीन-चौथाई होता है |
संदर्भ के लिए, 32 GB वाले Mac पर प्रकाशित एकमात्र Ollama टेस्ट, एक M2 Max, में लगभग 24 टोकन प्रति सेकंड मापा गया। बाकी माप Part 8 में हैं।
आगे आप कुछ और चीज़ें कर सकते हैं
- चैट छोड़ें: type
/byeया Ctrl-D दबाएँ। मॉडल पाँच मिनट तक मेमोरी में बना रहता है, ताकि आप वापस आ सकें। - अभी मेमोरी खाली करें:
ollama stop inkling-2-mini. - किसी इमेज के बारे में पूछें: अपना सवाल लिखें, फिर Finder से कोई इमेज फ़ाइल Terminal विंडो में खींचें, जिससे उसका पूरा पाथ पेस्ट हो जाता है। Return दबाएँ।
- इसके बजाय ऐप इस्तेमाल करें: Ollama ऐप खोलें, चुनें
inkling-2-miniमॉडल मेन्यू से और वहीं चैट करें। आप विंडो में इमेज भी डाल सकते हैं।
जाँचें कि Inkling 2 Mini ठीक से चल रहा है
जब मॉडल लोड हो, दूसरी Terminal विंडो खोलें और चलाएँ:
ollama ps
| कॉलम | आप क्या देखना चाहते हैं |
|---|---|
| NAME | inkling-2-mini:latest |
| SIZE | मॉडल कितनी मेमोरी लेता है |
| PROCESSOR | 100% GPU। Apple silicon पर इसका मतलब है कि यह यूनिफ़ाइड मेमोरी में ग्राफ़िक्स प्रोसेसर पर चल रहा है |
| कॉन्टेक्स्ट | बातचीत के कितने टोकन रख सकता है। ज़्यादातर 32 GB Mac पर यह दिखता है 4096 जब तक आप इसे भाग 5 में न बदलें |
| रनर | mlx, Apple silicon के लिए Ollama का इंजन |
| तक | अगर आप इसका इस्तेमाल नहीं करें तो Ollama इसे कब अनलोड करेगा |
आप Ollama से यह भी पूछ सकते हैं कि शुरू होते समय उसने क्या पहचाना:
grep "vram-based default context" ~/.ollama/logs/server.log | tail -1
32 GB Mac पर आपको दिखेगा total_vram लगभग 21 GiB का और default_num_ctx=4096। यह एक पंक्ति भाग 5 का ज़्यादातर हिस्सा समझा देती है।
भाग 5 — स्टेप 4: 32 GB Mac के लिए सुझाई गई सेटिंग
बिना कोई बदलाव किए चैटिंग चल जाती है। कोडिंग एजेंट और लंबे दस्तावेज़ नहीं चलते, क्योंकि 32 GB Mac अपनी मेमोरी बाँटता है। इस भाग के सभी मेमोरी आँकड़े GiB, यानी वे बाइनरी गीगाबाइट जो macOS और Ollama बताते हैं; एक "32 GB" Mac में 32 GiB होते हैं।
यह है बजट। Inkling 2 Mini के वेट्स लेते हैं 18.8 GiB। 32 GB Mac पर macOS ग्राफ़िक्स प्रोसेसर को मेमोरी का लगभग दो-तिहाई हिस्सा इस्तेमाल करने देता है, लगभग 21.3 GiB, जब तक आप इसे बदलते नहीं। VisualInference ने यही मूल वेट्स दूसरे MLX ऐप mlx-vlm में 48 GB M4 Pro पर नापे। मेमोरी चरम पर पहुँची 20.3 GiB कम प्रॉम्प्ट के साथ मापा, 21.4 GiB 4,000 टोकन पर और 22.1 GiB 16,000 टोकन पर। दूसरे शब्दों में, प्रॉम्प्ट लंबा होते ही अकेला मॉडल ही डिफ़ॉल्ट GPU बजट के किनारे तक पहुँच जाता है। और यह macOS तथा आपके बाकी ऐप्स के अपना हिस्सा लेने से पहले ही।

चार सेटिंग्स फ़र्क लाती हैं।
सेटिंग 1: कॉन्टेक्स्ट लंबाई (सबसे ज़रूरी)
यह कॉन्टेक्स्ट लंबाई यह है कि मॉडल एक बार में कितना टेक्स्ट रख सकता है। इसमें आपके संदेश और उसके जवाब आते हैं और, एजेंट के मामले में, सिस्टम प्रॉम्प्ट, टूल परिभाषाएँ और वह हर फ़ाइल जो उसने पढ़ी है। बहुत कम हो तो एजेंट चुपचाप अपने निर्देश खो देता है और अजीब ग़लतियाँ करने लगता है। बहुत ज़्यादा हो तो आप ऐसी मेमोरी रोक लेते हैं जिसका आप कभी इस्तेमाल नहीं करेंगे।
Ollama जो GPU मेमोरी पहचानता है, उसके आधार पर डिफ़ॉल्ट चुनता है:
| Ollama की पहचानी GPU मेमोरी | डिफ़ॉल्ट कॉन्टेक्स्ट |
|---|---|
| 23 GiB से कम (ज़्यादातर 32 GB Mac: लगभग 21.3 GiB) | 4K टोकन |
| 23 से 47 GiB | 32K टोकन |
| 47 GiB या ज़्यादा | 256K टोकन |
Ollama के दस्तावेज़ स्तर इस तरह देते हैं: 24 से कम, 24–48, और 48 GiB या ज़्यादा। 0.40.17 का कोड 23 और 47 GiB इस्तेमाल करता है, ताकि हर Mac के बताए मान के छोटे अंतर समा जाएँ।
बड़ा कॉन्टेक्स्ट होने पर Inkling 2 Mini की मेमोरी में कितना खर्च आता है, इसके कॉन्फ़िगरेशन से गणना करके:
| कॉन्टेक्स्ट | कॉन्टेक्स्ट के लिए अतिरिक्त मेमोरी |
|---|---|
| 4K | 0.28 GiB |
| 8K | 0.41 GiB |
| 16K | 0.66 GiB |
| 32K | 1.16 GiB |
| 64K | 2.16 GiB |
| 128K | 4.16 GiB |
Inkling 2 Mini को कॉन्टेक्स्ट के हर टोकन पर अपने आकार के ज़्यादातर मॉडलों से कम मेमोरी लगती है। इसकी 24 में से सिर्फ़ चार परतें पूरी बातचीत पर वापस नज़र डालती हैं। प्रॉम्प्ट पढ़ते समय जो वर्किंग मेमोरी लगती है, वह इसके ऊपर आती है; ऊपर दिए गए मापे गए पीक में वह भी शामिल है।
क्या सेट करें
| आप क्या कर रहे हैं | कॉन्टेक्स्ट | क्यों |
|---|---|---|
| चैट और छोटे सवाल | 4K–8K (डिफ़ॉल्ट ठीक है) | सबसे कम मेमोरी लेता है |
| लंबे दस्तावेज़ या कोड फ़ाइलें पेस्ट करना | 16K | अंग्रेज़ी के लगभग 12,000 शब्द |
| Pi एजेंट | 16K (जिन चिप्स में भाग 6 वाला मेमोरी बचाने वाला प्रॉम्प्ट रीडिंग नहीं है, उन पर 8K) | Pi के अपने निर्देश बहुत छोटे हैं (भाग 7) |
| OpenCode | M2 Pro पर 32K | 32 GB पर आप आराम से इसे अधिकतम इतना ही दे सकते हैं। Ollama एजेंट के लिए 64K या उससे ज़्यादा की सलाह देता है, जो 20 GB के मॉडल के साथ यह Mac असल में उठा नहीं सकता। दूसरी चिप्स पर पहले भाग 6 पढ़ें |
| Claude Code | Ollama के मुताबिक़ 64K या ज़्यादा | 32 GB पर यह व्यावहारिक नहीं; भाग 7 देखें |
इसे कैसे सेट करें
Ollama की कॉन्टेक्स्ट लंबाई बदलने का सबसे आसान तरीका ऐप है: खोलें सेटिंग → कॉन्टेक्स्ट लंबाई और स्लाइडर घुमाएँ, जिसमें 4k, 8k, 16k, 32k, 64k, 128k और 256k के स्टॉप हैं। इसे लागू करने के लिए Ollama अपना सर्वर रीस्टार्ट करता है, और यह सेटिंग आपके Mac के रीस्टार्ट के बाद भी बनी रहती है।
तीन और तरीक़े हैं, जो आगे काम आएँगे:
# सिर्फ़ एक चैट सेशन के लिए, `ollama run` के अंदर:
/set parameter num_ctx 16384
# Ollama ऐप के लिए, जब तक आप अपना Mac रीस्टार्ट न करें (तब Ollama बंद करके फिर खोलें):
launchctl setenv OLLAMA_CONTEXT_LENGTH 32768
अगर आपने ऐप का स्लाइडर पहले ही घुमा दिया है, तो स्लाइडर ही मान्य होता है, न कि launchctl सेटिंग।
या फिर बनाएँ मॉडल की एक कॉपी, जिसमें उसका अपना कॉन्टेक्स्ट पहले से बना हो, जो तब काम आती है जब आपको चैट के लिए 8K चाहिए पर एजेंट के लिए 32K। इसे Terminal में पेस्ट करें; यह एक छोटी टेक्स्ट फ़ाइल बनाता है जिसका नाम है Modelfile और फिर नया मॉडल:
cat > Modelfile <<'EOF'
FROM inkling-2-mini
PARAMETER num_ctx 32768
EOF
ollama create inkling-2-mini-32k -f Modelfile
यह कॉपी 20 GB के वेट्स को डाउनलोड या डुप्लिकेट नहीं करती। इसके बाद आप इस्तेमाल करें inkling-2-mini-32k जहाँ भी आप इसका उपयोग करें inkling-2-mini. जो भी तरीका चुनें, पुष्टि कॉन्टेक्स्ट कॉलम में करें ollama ps.
सेटिंग 2: GPU को ज़्यादा जगह दें (वैकल्पिक)
macOS तय करता है कि GPU अपने लिए कितनी मेमोरी रख सकता है, और Ollama उस सीमा को आपका "VRAM" मानता है। 32 GB वाले Mac पर यह लगभग 21.3 GiB होती है। इससे तीन बातें निकलती हैं। Ollama इसी से अपना डिफ़ॉल्ट कॉन्टेक्स्ट तय करता है (सेटिंग 1)। Ollama का MLX इंजन लोड किए गए मॉडल को उस सीमा तक मेमोरी में बनाए रखता है। अगर मॉडल उससे बड़ा है, तो वह चेतावनी लॉग करता है कि परफ़ॉर्मेंस घट सकती है। और जब काम के किसी एक चरण को उपलब्ध GPU मेमोरी से ज़्यादा चाहिए, तो macOS उसे रोक देता है। यही वह Insufficient Memory क्रैश है जिसकी चर्चा पार्ट 6 में है। Apple के दस्तावेज़ कहते हैं कि इसका मतलब है कि GPU के पास कमांड बफ़र चलाने के लिए पर्याप्त मेमोरी नहीं थी।
आप इस सीमा को अपने अगले रीस्टार्ट तक बढ़ा सकते हैं; Apple के MLX दस्तावेज़ ठीक इसी के लिए कमांड देते हैं। पहले मौजूदा वैल्यू जाँचें; 0 macOS का डिफ़ॉल्ट मान दर्शाता है:
sysctl iogpu.wired_limit_mb
इसे 24 GiB तक बढ़ाएँ, जिससे macOS और आपके ऐप्स के लिए 8 GiB बचता है:
sudo sysctl iogpu.wired_limit_mb=24576
फिर मेन्यू बार से Ollama बंद करें और उसे दोबारा खोलें, क्योंकि Ollama यह सीमा सिर्फ़ शुरू होते समय पढ़ता है। दोबारा चलाएँ grep कमांड जो पार्ट 4 में था, और total_vram अब लगभग 24 GiB बताना चाहिए।
चार बातें जानने योग्य
- यह आपका डिफ़ॉल्ट कॉन्टेक्स्ट भी बदल देता है। 24 GiB पहचाने जाने पर Ollama का डिफ़ॉल्ट 4K से 32K हो जाता है (ऊपर दी गई तालिका), इसलिए आपको सेटिंग 1 की ज़रूरत ही न पड़ सकती है।
- यह GPU को ज़्यादा जगह देता है, ज़्यादा मेमोरी नहीं। यह GPU और macOS के बीच की रेखा खिसकाता है; कोई मेमोरी जोड़ता नहीं। अगर तब आपके बाकी ऐप्स को मेमोरी कम पड़े, तो macOS इसके बजाय स्वैप करता है।
- Mac रीस्टार्ट करने पर यह रीसेट हो जाता है। यह सुरक्षा-जाल है, कोई बग नहीं। इसे जल्दी पूर्ववत करने के लिए:
sudo sysctl iogpu.wired_limit_mb=0. - यह macOS की आधिकारिक सेटिंग नहीं है। यह लोकल AI के लिए खूब इस्तेमाल होता है, लेकिन अगर किसी सेशन के दौरान आपका Mac बहुत ज़्यादा स्वैप करे, हैंग हो जाए या अचानक रीस्टार्ट हो, तो इसे 0 पर लौटा दें। 32 GB वाले Mac पर 24 GiB से बहुत ऊपर न जाएँ।
सेटिंग 3: रीज़निंग एफ़र्ट
Inkling 2 Mini तय करता है कि कितनी मेहनत से सोचना है, और यह एक रीज़निंग एफ़र्ट सेटिंग पर आधारित होता है। Ollama का डिफ़ॉल्ट है उच्च. Ollama 0.40.17 इन नामों को उस वैल्यू में ऐसे बदलता है जो मॉडल को वास्तव में मिलती है:
| Ollama सेटिंग | मॉडल को मिलने वाला एफ़र्ट | किसके लिए अच्छा |
|---|---|---|
none या false |
0 (सोच छिपी हुई) | सरल लुकअप |
minimal |
0.1 | झटपट तथ्य |
कम |
0.2 | छोटे जवाब, सारांश, दोबारा शब्दों में लिखना |
medium |
0.7 | रोज़मर्रा के सवाल |
उच्च या true (डिफ़ॉल्ट) |
0.9 | कोडिंग और एजेंट का काम |
xhigh या अधिकतम |
0.99 | कठिन समस्याएँ, जब आप इंतज़ार कर सकें |
Ollama 0.40.17 के Inkling 2 Mini रेंडरर से। Thinking Machines कहता है कि न्यूनतम स्तर भी रीज़निंग को पूरी तरह बंद नहीं करता।

xhigh और अधिकतम वही मान भेजें। डिफ़ॉल्ट, high, कोडिंग के लिए सही सेटिंग है।किसी चैट के लिए इसे सेट करने के लिए:
ollama run inkling-2-mini --think=low
चैट के भीतर, /set nothink इसे सबसे निचले स्तर तक ले जाता है और सोच छिपा देता है, और /set think इसे फिर चालू कर देता है। Ollama’s API में वही नाम डाले जाते हैं think फ़ील्ड में।
मेरी सलाह: इसे यहीं रहने दें उच्च कोडिंग और एजेंट के लिए, जहाँ सोच अपनी कीमत वसूल करती है। इस्तेमाल करें कम या medium तेज़ सवालों के लिए, ताकि एक पंक्ति के जवाब के लिए आपको लंबी सोच का इंतज़ार न करना पड़े।
सेटिंग 4: इसे लोड रखें, और काम पूरा होने पर अनलोड कर दें
Ollama एक मॉडल को अनलोड कर देता है पाँच मिनट बिना इस्तेमाल के बाद, और 20 GB दोबारा लोड करने में समय लगता है। रुक-रुककर चलने वाले एजेंट सेशन में यह चिढ़ाने लगता है। हर बार इस्तेमाल के बाद 30 मिनट तक इसे लोड रखने के लिए:
launchctl setenv OLLAMA_KEEP_ALIVE 30m
फिर Ollama बंद करके दोबारा खोलें। एक ही चैट के लिए, ollama run inkling-2-mini --keepalive 30m यही करता है। दूसरी तरफ़: काम पूरा होने पर मेमोरी वापस दे दें ollama stop inkling-2-mini.
दो और सेटिंग, जिज्ञासु पाठकों के लिए
- बिल्ट-इन ड्राफ़्टर। Thinking Machines ने Inkling 2 Mini के साथ एक छोटा सहायक नेटवर्क, DSpark, भेजा है, जो कुछ शब्द आगे का अनुमान लगाता है। फिर मुख्य मॉडल उन सबको एक ही बार में जाँच लेता है। Ollama इसे सपोर्ट करता है और जिस भी मॉडल में ड्राफ़्टर होता है, उसके लिए डिफ़ॉल्ट रूप से ड्राफ़्टिंग चालू कर देता है। Ollama के बाहर किए गए प्रकाशित MLX टेस्ट में DSpark ने M5 Max पर Inkling’s लिखने की गति 43.6 से 70.9 टोकन प्रति सेकंड कर दी। M4 Pro पर इसने गति 31.1 से घटाकर 18.7 कर दी। तो इसे अपने Mac पर परखें: किसी चैट में,
/set parameter draft_num_predict 0इसे बंद कर देता है; तुलना करें eval rate इसके साथ और इसके बिना। - समानांतर रिक्वेस्ट। 0.40.17 से, Apple silicon पर Ollama एक साथ कई रिक्वेस्ट का जवाब दे सकता है, और हर एक को अपनी अलग कॉन्टेक्स्ट मेमोरी चाहिए। Ollama आपकी खाली मेमोरी से सतर्क डिफ़ॉल्ट चुनता है। अगर हेल्पर समानांतर चलाने वाला कोई एजेंट फिर भी आपके Mac को swap में धकेल देता है, तो इसे एक तक सीमित करें
launchctl setenv OLLAMA_NUM_PARALLEL 1। फिर Ollama बंद करके दोबारा खोलें।
जो सेटिंग यहाँ काम नहीं आएँगी
दूसरे मॉडल की गाइड अक्सर सुझाव देती हैं OLLAMA_KV_CACHE_TYPE=q8_0 कॉन्टेक्स्ट जितनी मेमोरी लेता है उसे आधा करने के लिए, फ़्लैश अटेंशन के साथ। Ollama 0.40.17 में ये सेटिंग इसके llama.cpp इंजन की हैं; Inkling 2 Mini चलता है MLX इंजन पर, और उस इंजन के कोड में कुछ भी इन्हें नहीं पढ़ता। यही बात GPU-लेयर वाली सेटिंग पर भी लागू होती है, जैसे num_gpu। और छोड़ दें temperature अकेले: Ollama’s पैकेज Thinking Machines’ का डिफ़ॉल्ट 1.0 इस्तेमाल करता है, और Unsloth भी यही सुझाता है।
लंबे सेशन से पहले: मेमोरी खाली करें
खोलें Activity Monitor (एप्लिकेशन → यूटिलिटीज़ में) और मेमोरी उस टैब पर क्लिक करें। सबसे नीचे आपको मेमोरी प्रेशर ग्राफ़ और स्वैप यूज़्ड दिखेंगे। हरा रंग अच्छा है, पीला मतलब macOS मेमोरी कंप्रेस कर रहा है, और लाल मतलब यह आपकी ड्राइव पर स्वैप कर रहा है, जिससे सब कुछ धीमा हो जाता है। एजेंट सेशन से पहले बड़े उपभोक्ता बंद करें: बहुत सारे टैब वाले ब्राउज़र, Docker Desktop, iPhone सिमुलेटर, वीडियो और फ़ोटो एडिटर। लैपटॉप पर लंबे रन के लिए चार्जर लगा दें।
भाग 6 — 32 GB की असली परख: आपका चिप मायने रखता है
यह हिस्सा तब मायने रखता है जब आपके Mac में M2 Pro (या 36 GB वाला M5 Max) के अलावा कोई और चिप हो, जो ज़्यादातर 32 GB Mac में होती है। यह वही हिस्सा है जिसका ज़िक्र Ollama’s रिलीज़ नोट्स में नहीं है।
जब Inkling 2 Mini लंबा प्रॉम्प्ट पढ़ता है तो क्या होता है
कोई भी मॉडल कुछ भी लिखने से पहले आपका पूरा प्रॉम्प्ट पढ़ता है। Ollama’s MLX इंजन यह काम एक बार में 2,048 टोकन के हिसाब से करता है। हर चंक के लिए Inkling 2 Mini यह निकालता है कि हर नया टोकन अपने से पहले के हर टोकन से कैसे जुड़ता है, उनके बीच की सीखी हुई दूरी के आधार पर। इस कदम के लिए एक अस्थायी तालिका चाहिए जो बातचीत में मॉडल अब तक जो पढ़ चुका है उसके साथ बढ़ती जाती है।
Ollama 0.40.17 में एक मेमोरी बचाने वाला तरीका है, जो प्रॉम्प्ट को छोटी टाइलों में संभालता है ताकि तालिका कभी बड़ी न हो जाए। इसका सोर्स कोड इसे सिर्फ़ इन चिप्स के लिए चालू करता है: M2 Pro, M2 Ultra, M3 Ultra, M4 Pro, और M5 Pro, Max तथा Ultra। बाकी हर चिप एक सामान्य तरीके पर लौट आती है, जिसकी मेमोरी खपत प्रॉम्प्ट के साथ बढ़ती है। इनमें M1 Pro और Max, M2 Max, बेस M4 और बेस M5 शामिल हैं।
32 GB वाले M2 Max पर यह कैसा दिखा
32 GB Mac पर Ollama 0.40.17 का एकमात्र प्रकाशित टेस्ट Genex के डेवलपर्स से आया है। उन्होंने 32 GB वाले M2 Max पर Inkling 2 Mini आज़माया:
- डाउनलोड हो गया, और एक छोटे टूल-कॉलिंग अनुरोध ने सही जवाब दिया, लगभग 24 टोकन प्रति सेकंड.
- 18,003 टोकन वाला अनुरोध 12,288 टोकन के बाद क्रैश हो गया इस एरर के साथ
mlx: [METAL] Command buffer execution failed: Insufficient Memory। कॉन्टेक्स्ट 32,768 और बैच साइज़ 512 करने से भी कोई फ़ायदा नहीं हुआ। - उनका असली 15,089 टोकन वाला प्रॉम्प्ट भी उसी तरह क्रैश हो गया।
- असली स्क्रीनशॉट से चलने वाला कंप्यूटर-यूज़ लूप काम कर गया।
उनका नतीजा था कि मॉडल छोटे प्रॉम्प्ट के लिए 32 GB Mac में फ़िट हो जाता है, लेकिन उनके ऐप के लंबे प्रॉम्प्ट के लिए नहीं। इसलिए उन्होंने अपने ऐप में Inkling 2 Mini की सिफ़ारिश सिर्फ़ 48 GB से ऊपर के लिए कर दी।
इसके बारे में क्या करें
| आपकी चिप | आज क्या उम्मीद करें | क्या करें |
|---|---|---|
| M2 Pro (32 GB) या M5 Max (36 GB) | लंबे प्रॉम्प्ट सीमित मेमोरी में चलते हैं | 16K–32K कॉन्टेक्स्ट पर एजेंट, GPU बजट बढ़ाकर (भाग 5) |
| M1 Pro, M1 Max, M2 Max, M4, M5 (32 GB) | 10,000 टोकन से काफ़ी आगे बढ़ने वाले सेशन में "Insufficient Memory" क्रैश का ख़तरा है | इसे चैट और छोटे दस्तावेज़ों के लिए इस्तेमाल करें; एजेंट के लिए Pi को 8K कॉन्टेक्स्ट के साथ चलाएँ और हर काम के लिए नया सेशन शुरू करें; GPU बजट बढ़ाएँ; जब भी नया वर्ज़न आए Ollama अपडेट करें |
| M3 Pro, M3 Max, M4 Max (36 GB) | वही फ़ॉलबैक, लगभग 4 GB अधिक जगह के साथ | जैसा ऊपर, थोड़ी और गुंजाइश के साथ |
दो बातें ध्यान में रखें। पहली, यह एक सॉफ़्टवेयर सीमा, हार्डवेयर की नहीं। मेमोरी बचाने वाला कोड मौजूद है; बस अभी उसे हर चिप के लिए चालू नहीं किया गया है, और Ollama लगभग हर हफ़्ते नए वर्ज़न जारी करता है। अपडेट करते समय रिलीज़ नोट्स देखें। दूसरी, मायने यह रखता है कि मॉडल को एक सत्र में कितना टेक्स्ट प्रोसेस करना पड़ता है, न कि कॉन्टेक्स्ट स्लाइडर पर लिखा नंबर। हर नया हिस्सा अपने से पहले के सारे टेक्स्ट से तुलना किया जाता है, इसलिए लंबी बातचीत उतनी ही भारी पड़ती है जितना एक लंबा प्रॉम्प्ट, और कोडिंग एजेंट जल्दी ही लंबी बातचीत बना लेते हैं। छोटा कॉन्टेक्स्ट सत्रों को छोटा रखता है; नए सत्र शुरू करने से वे और भी छोटे रहते हैं।
भाग 7 — स्टेप 5: कोडिंग एजेंट के लिए Inkling 2 Mini को लोकल बैकएंड की तरह इस्तेमाल करें
कोडिंग एजेंट एक ऐसा प्रोग्राम है जो मॉडल को टूल देता है, जैसे फ़ाइलें पढ़ना, उन्हें बदलना और कमांड चलाना। यह मॉडल को किसी काम को स्टेप बाय स्टेप पूरा करने देता है। आम तौर पर मॉडल किसी डेटा सेंटर में रहता है। यहाँ आपके Mac पर Inkling 2 Mini ही लोकल बैकएंड: एजेंट अपनी रिक्वेस्ट इसके बजाय Ollama को भेजता है।

यह कैसे काम करता है
जब Ollama चल रहा होता है, तो वह यहाँ सुनता है http://localhost:11434, ऐसा पता जहाँ सिर्फ़ आपके Mac के प्रोग्राम पहुँच सकते हैं। यह वे API फ़ॉर्मैट बोलता है जिन्हें एजेंट पहले से जानते हैं: एक OpenAI-संगत वाला यहाँ http://localhost:11434/v1, एक Anthropic-संगत वाला Claude Code के लिए, और एक अपना। एजेंट अपना प्रॉम्प्ट और टूल की परिभाषाएँ भेजता है, और Inkling 2 Mini तय करता है कि कौन-सा टूल कॉल करना है। एजेंट वह टूल आपके Mac पर चलाता है और नतीजा वापस भेजता है। काम पूरा होने तक यह चक्र दोहराता रहता है।
आपको इनमें से कुछ भी हाथ से कॉन्फ़िगर नहीं करना पड़ता। ollama launch कमांड समर्थित एजेंट मौजूद न हों तो उन्हें इंस्टॉल करता है, उन्हें Ollama पर सेट करता है और उन्हें शुरू कर देता है।
कोई भी एजेंट शुरू करने से पहले
- पहले कॉन्टेक्स्ट सेट करें (भाग 5)। यह जितना सुनने में लगता है उससे ज़्यादा मायने रखता है: जब आप OpenCode को इसके ज़रिए शुरू करते हैं
ollama launch, तो Ollama वह कॉन्टेक्स्ट पढ़ता है जिसके साथ मॉडल असल में लोड हुआ और वही संख्या OpenCode को बताता है। अगर Ollama अब भी 4K पर है, तो OpenCode उसी को सच मानता है। - Git के अंदर एक टेस्ट फ़ोल्डर में काम करें, ताकि आप हर बदलाव देख सकें और वापस लौटा सकें:
mkdir -p ~/Projects/inkling-test
cd ~/Projects/inkling-test
git init
पहली बार जब आप gitका इस्तेमाल करते हैं, तो macOS Apple के command line developer tools इंस्टॉल करने की पेशकश कर सकता है। स्वीकार करें; इसमें कुछ मिनट लगते हैं।
- ज़्यादा मेमोरी खाने वाले ऐप बंद करें (भाग 5)।
32 GB पर आपको कौन-सा एजेंट इस्तेमाल करना चाहिए?
| Pi | OpenCode | Claude Code | |
|---|---|---|---|
| एक कमांड में सेटअप | ollama launch pi --model inkling-2-mini |
ollama launch opencode --model inkling-2-mini |
ollama launch claude --model inkling-2-mini |
| पहले आपको इंस्टॉल करना होगा | Node.js | कुछ नहीं; Ollama इसे इंस्टॉल करने की पेशकश करता है | कुछ नहीं; Ollama इसे इंस्टॉल करने की पेशकश करता है |
| आपके पहले शब्द से पहले भेजे जाने वाले निर्देश और टूल | 1,000 टोकन से कम | लगभग 6,900 टोकन | लगभग 32,800 टोकन |
| कमांड चलाने से पहले पूछता है | नहीं, जानबूझकर | डिफ़ॉल्ट रूप से नहीं; एक कॉन्फ़िग बदलाव से यह चालू हो जाता है | हाँ, ज़्यादातर कामों के लिए |
| 32 GB पर सेट करने वाला कॉन्टेक्स्ट | 16K (उन चिप्स पर 8K जिनमें मेमोरी बचाने वाला प्रॉम्प्ट रीडिंग नहीं है) | M2 Pro पर 32K | Ollama 64K या उससे ज़्यादा की सलाह देता है |
| सबसे अच्छा रहता है | किसी भी 32 GB Mac पर, एक अस्थायी फ़ोल्डर में | 32 GB वाला M2 Pro, या 48 GB और उससे ज़्यादा | 48 GB और उससे ज़्यादा |
Pi का आँकड़ा उसके लेखक का बताया हुआ है। OpenCode और Claude Code के आँकड़े Systima के जुलाई 2026 में किए गए हर एजेंट के पहले अनुरोध के मापन से हैं। Systima ने बिना किसी MCP सर्वर वाला खाली प्रोजेक्ट, OpenCode 1.17 और Claude मॉडल के साथ Claude Code 2.1 इस्तेमाल किया। दोनों एजेंट तब से अपडेट हो चुके हैं, इसलिए इन आँकड़ों को परिमाण के क्रम के तौर पर पढ़ें। एजेंट के लिए Ollama की सामान्य सलाह है कम से कम 64K का कॉन्टेक्स्ट।

विकल्प A: Pi, सबसे हल्का
Pi जानबूझकर बनाया गया एक बहुत छोटा कोडिंग एजेंट है जिसमें चार टूल हैं: read, write, edit और bash। इसके लेखक कहते हैं कि इसका सिस्टम प्रॉम्प्ट और टूल परिभाषाएँ मिलाकर 1,000 टोकन से भी कम। इससे यह 32 GB के Mac के लिए सबसे अच्छा फ़िट बनता है, और यही वह एजेंट है जिसे Ollama ने अपनी Inkling 2 Mini घोषणा में सुझाया था।
- इंस्टॉल करें Node.js: LTS इंस्टॉलर यहाँ से डाउनलोड करें nodejs.org और उसे चलाएँ।
ollama launch piको Node काnpmचाहिए, Pi इंस्टॉल करने के लिए। - अपने टेस्ट फ़ोल्डर में जाएँ और लॉन्च करें:
cd ~/Projects/inkling-test
ollama launch pi --model inkling-2-mini
Ollama Pi इंस्टॉल करता है, उसे आपके लोकल मॉडल के इस्तेमाल के लिए कॉन्फ़िगर करता है और एक सेशन खोलता है।
⚠️ Pi कुछ नहीं पूछता। इसके लेखक इसे "पूरे YOLO मोड" में चलने वाला बताते हैं: फ़ाइल कामों या कमांड के लिए कोई अनुमति प्रॉम्प्ट नहीं, और आपकी फ़ाइलों तक बिना रोक-टोक पहुँच। Thinking Machines भी चेतावनी देता है कि Inkling 2 Mini बिना पुष्टि के फ़ाइलें मिटा या ओवरराइट कर सकता है। इन दोनों का मतलब है: Pi को सिर्फ़ एक अस्थायी फ़ोल्डर में चलाएँ, कभी भी अपने होम फ़ोल्डर में या बैकअप के बिना किसी प्रोजेक्ट में नहीं। इसके लेखक सुझाव देते हैं कि अगर आपको असली सीमा चाहिए तो इसे कंटेनर के अंदर चलाएँ; मेरी Apple कंटेनर गाइड बताती है कि Mac पर इसे कैसे सेट करें।
एक और बात: जब Pi को Ollama के ज़रिये लॉन्च किया जाता है, तो इसका वेब-सर्च टूल Ollama की क्लाउड वेब सर्च इस्तेमाल करता है। उसके लिए Ollama अकाउंट और Cloud सेटिंग चालू होना ज़रूरी है। बाकी सब कुछ आपके Mac पर ही रहता है।
विकल्प B: OpenCode, बीच का सधा हुआ रास्ता
OpenCode एक लोकप्रिय ओपन सोर्स कोडिंग एजेंट है, जिसमें फ़ुल-स्क्रीन टर्मिनल इंटरफ़ेस, हर स्टेप के स्नैपशॉट और एक अनुमति प्रणाली है जिसे आप सख़्त कर सकते हैं।
cd ~/Projects/inkling-test
ollama launch opencode --model inkling-2-mini
अगर OpenCode इंस्टॉल नहीं है, तो Ollama पूछता है कि इसे इंस्टॉल करें या नहीं; हाँ कहें। फिर Ollama इस सेशन के लिए अपनी सेटिंग्स OpenCode को देता है, बिना आपकी अपनी सेटिंग्स बदले ~/.config/opencode/opencode.json। यह OpenCode की सीमाएँ उस कॉन्टेक्स्ट के हिसाब से तय करता है जिसके साथ मॉडल लोड हुआ, और उसका एक चौथाई, अधिकतम 8K टोकन, जवाब के लिए रखता है। 0.40.17 से यह Inkling 2 Mini के थिंकिंग विकल्प भी आगे पास करता है।
OpenCode का शुरुआती अनुरोध मध्यम है — Systima के जुलाई मापन में लगभग 6,900 टोकन। लेकिन वह जो भी फ़ाइल पढ़ता है और जो भी कमांड आउटपुट वापस पाता है, वह सब बातचीत में जुड़ता जाता है। Part 6 वाले मेमोरी बचाने वाले प्रॉम्प्ट रीडिंग के बिना 32 GB के Mac पर यही संख्या देखनी है। 12,000 टोकन तक पहुँचने में ज़्यादा फ़ाइलें नहीं लगतीं, जहाँ M2 Max क्रैश हुआ था।
OpenCode v2 शुरू होते समय Ollama के मॉडल खुद ढूँढ लेता है, इसलिए आप बस यह चला सकते हैं opencode और इससे मॉडल चुनें /models. 32 GB पर Ollama के ज़रिए लॉन्च करना फिर भी बेहतर रास्ता है, क्योंकि यह OpenCode को बताता है कि आपके पास असल में कितनी कॉन्टेक्स्ट विंडो है।
उससे पहले पूछने को कहें, और उसके steps की सीमा तय करें
डिफ़ॉल्ट रूप से OpenCode v2 मॉडल को बिना पूछे shell कमांड चलाने और फ़ाइलें बदलने देता है; इसके डिफ़ॉल्ट नियम सिर्फ़ पढ़ने से पहले पूछते हैं .env फ़ाइलें। जिस मॉडल का निर्माता खुद विनाशकारी कार्रवाइयों की चेतावनी देता है, उसके लिए इसे बदलें। Thinking Machines agent turns सीमित करने की भी सलाह देता है, क्योंकि मॉडल कभी-कभी लंबे reasoning loops में फँस जाता है, ख़ासकर debugging के दौरान, और OpenCode का steps option यही करता है। दोनों को इसमें डालें ~/.config/opencode/opencode.json (अगर फ़ाइल मौजूद न हो तो बनाएँ):
{
"$schema": "https://opencode.ai/config.json",
"permissions": [
{ "action": "shell", "resource": "*", "effect": "ask" },
{ "action": "edit", "resource": "*", "effect": "ask" }
],
"agents": {
"build": { "steps": 40 }
}
}
यह permissions नियम OpenCode से हर shell कमांड और हर edit से पहले पूछने को कहते हैं। यह build agent OpenCode का डिफ़ॉल्ट है; अपने आख़िरी अनुमत step पर OpenCode tools हटा देता है और मॉडल से सारांश बनाने को कहता है। यह लागू हुआ या नहीं, यह जाँचने के लिए OpenCode से एक फ़ाइल बनाने को कहें: अब उसे पहले आपसे पूछना चाहिए। अगर नहीं पूछे, तो OpenCode का permissions दस्तावेज़ बताता है कि agents अपने नियम कैसे जोड़ सकते हैं। OpenCode के बाकी सब विषयों के लिए, plans से लेकर MCP servers तक, मेरा OpenCode गाइड.
विकल्प C: Claude Code, सबसे भारी
Claude Code, Ollama के Anthropic-संगत API के ज़रिए Ollama के साथ काम करता है, इसलिए इसके अनुरोध Anthropic के सर्वर की जगह आपके Mac पर जाते हैं। डिफ़ॉल्ट रूप से यह ज़्यादातर कार्रवाइयों से पहले अनुमति माँगता है, जिससे यह तीनों में सबसे सतर्क बनता है।
cd ~/Projects/inkling-test
ollama launch claude --model inkling-2-mini
अगर Claude Code मौजूद न हो तो Ollama उसे इंस्टॉल करने की पेशकश करता है। अगर आप उसे बाद में खुद शुरू करना चाहें, तो ये सेटिंग हैं ollama launch जो अपने आप संभल जाती हैं:
export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model inkling-2-mini
Ollama 0.40.17 Claude Code को MCP tools सिर्फ़ ज़रूरत पड़ने पर लोड करने देता है, एक साथ सब नहीं, जिससे प्रॉम्प्ट छोटे रहते हैं। लेकिन यह Claude Code के built-in tools को नहीं छूता, और भारीपन उन्हीं की वजह से है। बिना MCP servers के Systima के जुलाई मापन में Claude Code का सबसे पहला अनुरोध लगभग 32,800 टोकन, ज़्यादातर tool definitions। यह 32K कॉन्टेक्स्ट में जितना आता है उससे ज़्यादा है, और 12,000 टोकन से काफ़ी आगे, जहाँ M2 Max क्रैश हुआ था। Ollama इसके लिए 64K या उससे ज़्यादा का कॉन्टेक्स्ट सुझाता है। 32 GB के Mac पर जिज्ञासा हो तो आज़माएँ; भरोसा 48 GB से करें।
अन्य agents और ऐप
Ollama के library पेज पर दो और agents के लिए एक-कमांड लॉन्च दिए हैं, और Codex के लिए भी वही तरीका काम करता है:
ollama launch hermes --model inkling-2-mini # Hermes Agent
ollama launch openclaw --model inkling-2-mini # OpenClaw
ollama launch codex --model inkling-2-mini # OpenAI's Codex CLI
OpenAI API से बात करने वाला कोई भी दूसरा tool भी Inkling 2 Mini इस्तेमाल कर सकता है। उसे base URL दें http://localhost:11434/v1, मॉडल का नाम inkling-2-mini और API key के लिए कोई भी टेक्स्ट। Ollama key जाँचता नहीं, लेकिन कई tools खाली key लेने से मना कर देते हैं।
आपका पहला agent काम
अपने टेस्ट फ़ोल्डर में कुछ छोटा और साफ़ दिखने वाला काम शुरू करें:
index.html नाम का एक सिंगल-फ़ाइल to-do list वेब पेज बनाएँ जो tasks को ब्राउज़र में सहेजता है। इसे सरल रखें और पूरा होने पर बताएँ कि इसे कैसे खोलें।
देखें यह क्या करता है: कौन-सी फ़ाइलें पढ़ता है, क्या लिखता है, कौन-से कमांड चलाता है। काम ख़त्म होने पर पेज इनसे खोलें open index.html, और Git से बदलाव जाँचें:
git status # कौन-सी फ़ाइलें बदलीं या जुड़ीं
git diff # उन फ़ाइलों में क्या बदला जिन्हें Git पहले से जानता था
अगर नतीजा पसंद न आए, तो फ़ोल्डर हटाकर फिर से शुरू करें। टेस्ट फ़ोल्डर का मतलब यही है।
लोकल agent सुरक्षित चलाने के पाँच नियम
Thinking Machines का model card Inkling 2 Mini की failure modes के बारे में असामान्य रूप से साफ़ है। यह लंबे reasoning loops में फँस सकता है। यह बिना पुष्टि के फ़ाइलें हटा या ओवरराइट कर सकता है, और हो सकता है कि अपने काम का नतीजा सही-सही न बताए। साथ ही, बड़े मॉडलों की तुलना में इसकी संभावना ज़्यादा है कि यह ग़लत तथ्य आत्मविश्वास से कह दे। इस आकार के मॉडल के लिए इनमें से कुछ भी असामान्य नहीं है। इसका बस इतना मतलब है:
- Git या कोई कॉपी, हमेशा। जिन फ़ाइलों को आप वापस नहीं ला सकते, उन पर agent को कभी खुला न छोड़ें।
- अनुमति प्रॉम्प्ट चालू करें जहाँ एजेंट के पास मौजूद हैं (OpenCode को ऊपर बताया गया कॉन्फ़िग बदलाव चाहिए), और जो आप स्वीकृत करें उसे पढ़ें।
- स्टेप और आउटपुट की सीमा तय करें। OpenCode के
steps; Ollama चैट में,/set parameter num_predict 4096एक ही जवाब की सीमा तय करता है। - उसके दावे जाँचें। "सभी टेस्ट पास" पर भरोसा करने से पहले टेस्ट ख़ुद चलाएँ।
- एजेंट को कभी अपने होम फ़ोल्डर पर न लगाएँ। और Pi के लिए कोई अस्थायी फ़ोल्डर या कंटेनर इस्तेमाल करें।
अगर आप और आगे जाना चाहें, तो मेरा एजेंट स्किल्स और MCP सर्वर की गाइड इस विषय पर है: एजेंट के टूल्स की पहुँच कैसे सीमित करें। हर AI कोडिंग हार्नेस की तुलना में एजेंट्स को ख़ुद विस्तार से समझाया गया है।
भाग 8 — 32 GB Mac पर Inkling 2 Mini कितना तेज़ चलता है?
गति के दो पहलू हैं: मॉडल कितनी तेज़ी से पढ़ता है आपका प्रॉम्प्ट, और कितनी तेज़ी से वह लिखता है अपना जवाब। 21 नवंबर तक जो माप प्रकाशित हुए, वे ये हैं — हर एक के साथ इस्तेमाल किया गया रनटाइम:
| Mac | रनटाइम | लिखने की गति | पढ़ने की गति | नोट्स |
|---|---|---|---|---|
| M2 Max, 32 GB | Ollama 0.40.17 | लगभग 24 tok/s | प्रकाशित नहीं | छोटा टूल-कॉलिंग अनुरोध |
| M4 Pro, 48 GB | Ollama 0.40.17 | लगभग 32 tok/s | 279 tok/s | 12,000-टोकन का प्रॉम्प्ट, 64K कॉन्टेक्स्ट; कुल 65 सेकंड |
| M4 Pro, 48 GB | mlx-vlm, वही मूल वेट्स | 25.9 tok/s | प्रकाशित नहीं | VisualInference |
| M5 Pro, 48 GB | MLX-VLM, कम्युनिटी 4/8-बिट बिल्ड | लगभग 27 tok/s | बहुत छोटे प्रॉम्प्ट पर लगभग 123–144 tok/s | ModelFit; बहुत छोटे प्रॉम्प्ट धीरे पढ़े जाते हैं, इसलिए यह ऊपर के 279 से तुलनीय नहीं है |
Third-party measurements, collected on 21 November 2026. No published Ollama runs yet for the M1 Pro, M1 Max, M2 Pro, base M4 or base M5.

व्यवहार में इन आँकड़ों का क्या मतलब है
- चैट के लिए, लगभग 24 टोकन प्रति सेकंड आपके पढ़ने से भी तेज़ है। हज़ार टोकन की सोच के बाद 300 शब्दों का जवाब, कुल मिलाकर क़रीब 1,400 टोकन, उस गति से लगभग एक मिनट में आता है। जल्दी वाले सवालों के लिए रीज़निंग एफ़र्ट घटाएँ, तो यह बहुत छोटा हो जाता है।
- एजेंट्स के लिए, पढ़ने की रफ़्तार उतनी ही मायने रखती है जितनी लिखने की, क्योंकि एजेंट हर बारी में एक लंबा प्रॉम्प्ट भेजता है। 48 GB वाले M4 Pro पर 12,000 टोकन का प्रॉम्प्ट पढ़ने में लगभग 43 सेकंड लगे। Ollama बातचीत की साझा शुरुआत का अपना कैश बारी-बारी के बीच दोबारा इस्तेमाल करता है, इसलिए बाद की बारियों में ज़्यादातर सिर्फ़ नया हिस्सा पढ़ा जाता है।
- तुलना के लिए, उसी M4 Pro पर, वही 12,000-टोकन वाला काम जो Inkling 2 Mini ने 65 में पूरा किया, Qwen3.8-27B ने 122 सेकंड में किया। Qwen ने 107 की रफ़्तार से पढ़ा और 27 टोकन प्रति सेकंड की रफ़्तार से लिखा। मेरी दोनों मॉडलों की तुलना इसकी वजह बताती है, और उस एक पेच की भी: Inkling 2 Mini हर काम में ज़्यादा टोकन लिखता है।
दूसरे 32 GB Macs पर क्या उम्मीद करें
बेस M4 और M5 के लिए अभी तक किसी ने Ollama के आँकड़े नहीं छापे हैं। इनकी मेमोरी बैंडविड्थ 120 और 153.6 GB/s है, जबकि M2 Max की 409.6 GB/s थी, जिसने लगभग 24 टोकन प्रति सेकंड निकाले। मान लें कि ये साफ़ तौर पर धीमे होंगे। कितने धीमे, यह पहले से कहना मुश्किल है, क्योंकि मौजूदा सॉफ़्टवेयर पर Inkling 2 Mini बैंडविड्थ के अनुपात में तेज़ नहीं होता। अगर आपके पास इनमें से एक है, तो चलाएँ --verbose भाग 4 का टेस्ट, और एक मिनट में आपको पता चल जाएगा।
भाग 9 — Ollama में Inkling 2 Mini की समस्याएँ सुलझाना
नीचे अपना लक्षण खोजें। अगर वह सूची में नहीं है, तो Ollama का लॉग आमतौर पर बताता है कि क्या गड़बड़ हुई; इस भाग का आख़िरी हिस्सा दिखाता है कि उसे कैसे पढ़ें।

अगर Inkling 2 Mini डाउनलोड या शुरू नहीं होता
| लक्षण | संभावित कारण | समाधान |
|---|---|---|
ollama pull inkling-2-mini इस संदेश के साथ फ़ेल होता है 412 और "requires a newer version" |
0.40.17 से पुराना Ollama | अपडेट करें (भाग 2), फिर दोबारा pull करें |
ollama: command not found |
कमांड-लाइन लिंक नहीं बनाया गया | Ollama ऐप खोलें और कमांड इंस्टॉल करने का उसका प्रस्ताव स्वीकारें, या ऐप दोबारा इंस्टॉल करें |
PROCESSOR में ollama ps 100% GPU नहीं दिखाता |
GPU सेटअप में कुछ गड़बड़ है | Ollama बंद करके दोबारा खोलें; जाँचें कि आप Apple silicon और macOS 14 या उससे नए पर हैं |
| आप Windows या Linux पर हैं | Ollama 0.40.17 Inkling 2 Mini को सिर्फ़ Apple silicon पर सपोर्ट करता है; Ollama के सिर्फ़ Mac वाले मॉडलों ने दूसरी जगह डाउनलोड होने से इस संदेश के साथ इनकार किया है 412: this model requires macOS |
किसी बाद के रिलीज़ का इंतज़ार करें, या llama.cpp या vLLM इस्तेमाल करें |
अगर Inkling 2 Mini क्रैश होता है, भूलने लगता है या आपके Mac को धीमा करता है
| लक्षण | संभावित कारण | समाधान |
|---|---|---|
मॉडल जवाब के बीच में रुक जाता है, इसके साथ Insufficient Memory या Command buffer execution failed लॉग में |
प्रॉम्प्ट आज आपके चिप की मेमोरी के लिए बहुत लंबा था (भाग 6), या मेमोरी दूसरे ऐप्स ने ले ली | ऐप्स बंद करें, प्रॉम्प्ट या जो दस्तावेज़ आप पेस्ट करते हैं उन्हें छोटा करें, भारी एजेंट की जगह Pi इस्तेमाल करें, GPU बजट बढ़ाएँ (भाग 5), और Ollama अपडेट करें |
| एजेंट निर्देश भूल जाता है, टूल कॉल फ़ेल होते हैं, बदलाव आधे में रुक जाते हैं | कॉन्टेक्स्ट बहुत छोटा है: शायद 4K डिफ़ॉल्ट | 16K–32K सेट करें (भाग 5) और CONTEXT कॉलम देखें ollama ps. फिर एजेंट दोबारा लॉन्च करें |
| आपका Mac बहुत धीमा हो जाता है, पंखे चलने लगते हैं, swap बढ़ता है | मेमोरी प्रेशर | Activity Monitor देखें; ऐप्स बंद करें; कॉन्टेक्स्ट घटाएँ; ollama stop कोई भी दूसरा लोड किया हुआ मॉडल |
| ठहराव के बाद पहला जवाब धीमा आता है | पाँच मिनट बिना किसी गतिविधि के बाद Ollama ने मॉडल अनलोड कर दिया | सेट करें: OLLAMA_KEEP_ALIVE (भाग 5) |
अगर कोई कोडिंग एजेंट गड़बड़ करे
| लक्षण | संभावित कारण | समाधान |
|---|---|---|
| मॉडल बहुत देर तक सोचता है या खुद को दोहराता है | लंबे रीज़निंग लूप, जिनकी Thinking Machines चेतावनी देता है | छोटे टास्क दें, स्टेप और आउटपुट टोकन की सीमा तय करें, साधारण सवालों के लिए कम एफ़र्ट रखें |
| एजेंट कहता है कि मॉडल मौजूद नहीं है | मॉडल के नाम में टाइपो | ठीक यही इस्तेमाल करें inkling-2-mini; ollama ls आपके पास जो है वह दिखाता है |
| Pi की वेब सर्च काम नहीं करती | यह Ollama की क्लाउड वेब सर्च इस्तेमाल करता है | Ollama में साइन इन करें और Cloud चालू करें, या वेब सर्च के बिना काम करें |
| OpenCode बिना पूछे फ़ाइलें एडिट कर देता है | OpenCode v2 डिफ़ॉल्ट रूप से एडिट और shell कमांड की अनुमति देता है | जोड़ें permissions भाग 7 के नियम |
Ollama का log देखें
Ollama के log यहाँ मिलते हैं ~/.ollama/logs/server.log. कुछ गड़बड़ होने पर आख़िरी पंक्तियाँ देखने के लिए:
tail -n 40 ~/.ollama/logs/server.log
भाग 10 — जब 32 GB काफ़ी न हो
आपको पता चल जाएगा कि सीमा आ गई है, जब लंबे प्रॉम्प्ट क्रैश हों, जब एजेंट अपनी बातचीत बार-बार सिकोड़ते रहें, या जब मॉडल लोड होने पर हर बार आपका Mac swap करने लगे। पहले तीन विकल्पों में कुछ भी ख़र्च नहीं होता; आख़िरी तीन में पैसा, प्राइवेसी या दोनों की क़ीमत लगती है।
आपके मौजूदा Mac पर
- इसे रखें, और जिस काम में यह ठीक बैठे उसी में इस्तेमाल करें। चैट, छोटे दस्तावेज़, इमेज से जुड़े सवाल और छोटे टास्क पर Pi हर 32 GB Mac पर अच्छे चलते हैं। Ollama के रिलीज़ नोट्स पर नज़र रखें: भाग 6 वाला मेमोरी बचाने वाला prompt reading अगर और ज़्यादा चिप्स तक पहुँच जाए, तो तस्वीर रातों-रात बदल जाएगी।
- किसी दूसरे रनटाइम में थोड़ी छोटी फ़ाइल। Unsloth का 4-bit वर्ज़न 17.6 GB है, Ollama के पैकेज से क़रीब 2.6 GB छोटा, और यह Unsloth के अपने llama.cpp बिल्ड के साथ चलता है। यह ज़्यादा तकनीकी है, और पहले दिन का सपोर्ट वहाँ ज़्यादा ख़राब था; मेरा तुलना लेख इसे कवर करता है।
- कोई दूसरा लोकल मॉडल। Artificial Analysis के इंडेक्स पर Qwen3.8-27B का स्कोर Inkling 2 Mini जितना ही है, यह हर जगह चलता है और ज्ञान से जुड़े सवालों में बेहतर है, लेकिन उसी Mac पर यह धीमा है। वही लेख।
आपके Mac से आगे
- ज़्यादा मेमोरी। 48 GB से, Inkling 2 Mini एजेंट्स को आराम से चलाता है, और 64 GB से आप इसे किसी दूसरे मॉडल के साथ लोडेड रख सकते हैं। अगर आप तय कर रहे हैं कि क्या खरीदें, तो मेरी गाइड क्या लोकल LLM के लिए MacBook लेना फ़ायदेमंद है और MacBook Pro M5 Pro with 64 GB फ़ायदे-नुक़सान समझाता है।
- बड़ा भाई, क्लाउड में। Thinking Machines का 594 अरब पैरामीटर वाला मॉडल Inkling 2 Small, Ollama के क्लाउड पर इस नाम से उपलब्ध है
inkling-2-small:cloud. यह उन्हीं लॉन्च कमांड के साथ काम करता है, जैसेollama launch opencode --model inkling-2-small:cloud. इसके लिए Ollama खाता चाहिए, और तब आपके प्रॉम्प्ट आपके Mac से बाहर चले जाते हैं। - मुश्किल 10% के लिए एक कोडिंग प्लान। बहुत लोग निजी और रोज़मर्रा के काम के लिए लोकल मॉडल चलाते हैं और सबसे मुश्किल प्लानिंग व डीबगिंग किसी बड़े क्लाउड मॉडल को सौंपते हैं। एक किफ़ायती विकल्प Z.ai’ का GLM Coding Plan है, जो OpenCode, Claude Code और दूसरे एजेंट्स में काम करता है। आप मेरे एफ़िलिएट लिंक से GLM Coding Plan पर 10% छूट पाएँ. (एफ़िलिएट लिंक — ऊपर दिया गया डिस्क्लोज़र देखें।)
अक्सर पूछे जाने वाले प्रश्न
हाँ। Thinking Machines और Ollama दोनों 32 GB या उससे ज़्यादा मेमोरी वाले Apple silicon Macs पर, Ollama 0.40.17 या उससे नए संस्करण के ज़रिए, Inkling 2 Mini को सपोर्ट करते हैं। मॉडल लगभग 20 GB लेता है, इसलिए चैट और छोटे दस्तावेज़ अच्छे चलते हैं। सीमा लंबे प्रॉम्प्ट पर आती है। ज़्यादातर 32 GB चिप्स पर Ollama 0.40.17 अभी मेमोरी बचाने वाली प्रॉम्प्ट रीडिंग इस्तेमाल नहीं करता। M2 Max पर एक टेस्ट लगभग 12,000 टोकन के बाद क्रैश हो गया।
Ollama 0.40.17 या उससे नया। Ollama ने 20 नवंबर 2026 को 0.40.17 में Inkling 2 Mini सपोर्ट की घोषणा प्री-रिलीज़ के रूप में की, और पक्का 0.40.17 एक ही दिन के भीतर आ गया। इससे जाँचें ollama --version. पुराने संस्करण 412 एरर देकर डाउनलोड से मना कर देते हैं। 0.40.17 में Inkling 2 Mini सिर्फ़ Apple silicon पर सपोर्टेड है।
20,188,097,271 बाइट, यानी लगभग 20.2 GB या 18.8 GiB। तीनों टैग, latest, 26b-a5b और 26b-a5b-nvfp4, एक ही पैकेज हैं: Thinking Machines’ के मूल NVFP4 और MXFP8 वेट, इमेज सपोर्ट के साथ। Ollama का कोई छोटा संस्करण नहीं है। 100 Mbit/s पर डाउनलोड में लगभग 27 मिनट लगते हैं।
Ollama अपना डिफ़ॉल्ट कॉन्टेक्स्ट उस GPU मेमोरी से तय करता है जो उसे मिलती है: लगभग 23 GiB से कम पर 4K, लगभग 47 GiB तक 32K और उससे ऊपर 256K। Mac पर यह आँकड़ा वह GPU बजट होता है जो macOS देता है, और 32 GB के Mac पर यह लगभग 21.3 GiB है, इसलिए आपको 4K मिलता है। इसे Ollama’ की Settings में Context length स्लाइडर से बदलें, या GPU बजट को 24 GiB तक बढ़ाकर।
Pi के लिए 16K, और M2 Pro पर OpenCode के लिए 32K; 20 GB के मॉडल के साथ 32 GB का Mac आराम से इतना ही दे सकता है। जिन चिप्स पर Ollama’ की मेमोरी बचाने वाली प्रॉम्प्ट रीडिंग नहीं है, वहाँ 8K और छोटे सेशन इस्तेमाल करें। Ollama कोडिंग एजेंट्स के लिए 64K या ज़्यादा की सलाह देता है, जो 48 GB से चलता है। इसे एजेंट लॉन्च करने से पहले सेट करें, क्योंकि ollama launch opencode लोड हुआ कॉन्टेक्स्ट OpenCode तक पहुँचा देता है।
32 GB के Mac पर यह मदद करता है। इसे चलाने से sudo sysctl iogpu.wired_limit_mb=24576 GPU बजट लगभग 21.3 GiB से बढ़कर 24 GiB हो जाता है और macOS के लिए 8 GiB बचा रहता है। फिर Ollama डिफ़ॉल्ट में 32K कॉन्टेक्स्ट ले लेता है। इसके बाद Ollama बंद करके दोबारा खोलें। Mac रीस्टार्ट करने पर यह सेटिंग रीसेट हो जाती है; sudo sysctl iogpu.wired_limit_mb=0 डिफ़ॉल्ट जल्दी वापस लौटा देता है। यह macOS की आधिकारिक सेटिंग नहीं है, इसलिए अगर आपका Mac बहुत ज़्यादा स्वैप करने लगे या अस्थिर हो जाए तो इसे पलट दें।
इसका इस्तेमाल करें --think फ़्लैग: ollama run inkling-2-mini --think=low. Ollama इन मानों को स्वीकार करता है none, minimal, कम, medium, उच्च (डिफ़ॉल्ट), xhigh और अधिकतम, जिन्हें वह मॉडल को 0 से 0.99 तक के एफ़र्ट मानों के रूप में भेजता है। चैट के अंदर, /set nothink सबसे निचला स्तर सेट करता है और सोच छिपा देता है। यहाँ तक कि न्यूनतम स्तर भी रीज़निंग को पूरी तरह बंद नहीं करता।
Pi, क्योंकि इसका सिस्टम प्रॉम्प्ट और टूल्स 1,000 टोकन से कम में आ जाते हैं, जिससे प्रॉम्प्ट छोटे रहते हैं: ollama launch pi --model inkling-2-mini. लेकिन Pi बिना पूछे कमांड चलाता है, इसलिए इसे सिर्फ़ किसी फेंकने लायक फ़ोल्डर में ही इस्तेमाल करें। OpenCode लगभग 6,900 टोकन से खुलता है और 32K कॉन्टेक्स्ट पर काम करता है, जो M2 Pro पर सबसे अच्छा है। इसकी कॉन्फ़िग में दो परमिशन नियम जोड़ते ही यह काम करने से पहले पूछता है। Claude Code डिफ़ॉल्ट में पूछता है, लेकिन उसकी पहली रिक्वेस्ट लगभग 32,800 टोकन मापी गई, जो 32K कॉन्टेक्स्ट से ज़्यादा है, इसलिए यह 48 GB से बेहतर चलता है।
सबसे संभवतः प्रॉम्प्ट या बातचीत आपके Mac’ की GPU मेमोरी के लिए बहुत लंबी थी। Ollama 0.40.17 लंबे प्रॉम्प्ट मेमोरी बचाने वाले तरीके से सिर्फ़ M2 Pro, M2 Ultra, M3 Ultra, M4 Pro और M5 Pro, Max व Ultra पर पढ़ता है। दूसरी चिप्स पर मेमोरी का इस्तेमाल मॉडल जो कुछ पढ़ चुका है, उसके साथ बढ़ता जाता है, और एक 32 GB M2 Max 12,288 टोकन के बाद क्रैश हो गया। बाकी ऐप बंद करें, सेशन छोटे रखें, Pi इस्तेमाल करें, GPU बजट बढ़ाएँ और Ollama अपडेट रखें।
32 GB वाले Mac, M2 Max, पर अब तक प्रकाशित एकमात्र Ollama टेस्ट में एक छोटा अनुरोध लगभग 24 टोकन प्रति सेकंड की रफ़्तार से चला। Ollama 0.40.17 वाले 48 GB के M4 Pro पर इसने लगभग 32 टोकन प्रति सेकंड की रफ़्तार से लिखा और 12,000 टोकन के प्रॉम्प्ट को 279 टोकन प्रति सेकंड की रफ़्तार से पढ़ा। बेस M4 और M5 Mac में मेमोरी बैंडविड्थ बहुत कम है, इसलिए उन्हें धीमा होना चाहिए; अभी तक कोई रन प्रकाशित नहीं हुआ है।
Ollama’ के पैकेज के साथ नहीं, जो एक ही 20 GB संस्करण है, और Thinking Machines 32 GB को न्यूनतम सपोर्ट बताता है। Unsloth लगभग 9 से 14 GB की 2-bit और 3-bit फ़ाइलें देता है, जो छोटे Macs पर उसके अपने llama.cpp बिल्ड के साथ चलती हैं। इनमें क्वालिटी थोड़ी कम होती है और सेटअप ज़्यादा लगता है।
लोकल चलने पर नहीं। Ollama मॉडल आपके Mac पर चलाता है, और उसका FAQ कहता है कि लोकल चलाने पर उसे आपके प्रॉम्प्ट या डेटा नहीं दिखते। जो कोडिंग एजेंट्स ollama launch के ज़रिए लॉन्च होते हैं, वे Ollama से यहाँ बात करते हैं localhost:11434, अपनी ही मशीन पर। क्लाउड मॉडल और वेब सर्च अलग हैं: वे डेटा Ollama’ के सर्वर पर भेजते हैं, और आप उन्हें Cloud सेटिंग से बंद कर सकते हैं। एजेंट्स अलग प्रोग्राम हैं जिनके अपने नेटवर्क टूल होते हैं, जैसे OpenCode’ का वेब फ़ेच, इसलिए अगर आपको पूरी तरह ऑफ़लाइन काम करना हो तो उनकी सेटिंग जाँचें।
Ollama 0.40.17 में नहीं, जिसके रिलीज़ नोट्स कहते हैं कि उस रिलीज़ में Inkling 2 Mini सिर्फ़ Apple silicon पर सपोर्टेड है। NVIDIA हार्डवेयर पर Thinking Machines vLLM और SGLang सपोर्ट करता है, और Unsloth’ का llama.cpp बिल्ड उसकी GGUF फ़ाइलें चलाता है। Ollama की कोई बाद की रिलीज़ दूसरे प्लेटफ़ॉर्म जोड़ सकती है।
चलाएँ ollama rm inkling-2-mini. आपने जो भी कॉपी बनाई हो, उन्हें भी हटा दें ollama create, जैसे inkling-2-mini-32k, उसी तरह: 20 GB के वेट तभी मुक्त होते हैं जब कोई मॉडल उन्हें इस्तेमाल नहीं कर रहा हो। Ollama को खुद हटाने के लिए उसे बंद करें, Applications से डिलीट करें और अपने होम फ़ोल्डर का .ollama फ़ोल्डर डिलीट करें; Ollama’ के macOS दस्तावेज़ में हर फ़ाइल की सूची है।
मुख्य बात
Inkling 2 Mini एक काबिल ओपन मॉडल है जिसे उसका निर्माता 32 GB के Mac पर सपोर्ट करता है, और Ollama बुनियादी काम सचमुच आसान बना देता है: इंस्टॉल करें, pull करें, चलाएँ। चैट, दस्तावेज़ों और इमेज से जुड़े सवालों के लिए 32 GB का Mac ही काफ़ी है।
एजेंट ही वह जगह हैं जहाँ 32 GB तंग पड़ती है, और इसकी दो वजहें हैं। Ollama ज़्यादातर 32 GB Mac को 4K कॉन्टेक्स्ट पर शुरू करता है, जो चुपचाप एजेंट तोड़ देता है जब तक आप उसे बदल न दें। और ज़्यादातर 32 GB चिप्स पर लंबे प्रॉम्प्ट अब भी मेमोरी ख़त्म कर सकते हैं, क्योंकि Ollama की मेमोरी बचाने वाली प्रॉम्प्ट रीडिंग सिर्फ़ कुछ चिप्स को कवर करती है। इसलिए कॉन्टेक्स्ट सेट करें, GPU बजट बढ़ाएँ और अपना ब्राउज़र बंद कर दें। किसी फेंकने लायक फ़ोल्डर में Pi से शुरुआत करें, और Ollama को अक्सर अपडेट करते रहें।
अगर आपके पास M2 Pro है, तो आज 32 GB Mac जिस सबसे अच्छी स्थिति में हो सकता है, आप उसमें हैं। अगर आपके पास 48 GB या ज़्यादा है, तो यहाँ की ज़्यादातर चेतावनियाँ लागू ही नहीं होतीं। और आपके पास जो भी Mac हो, ollama run inkling-2-mini --verbose वह पाँच मिनट में आपकी अपनी मशीन के बारे में इस गाइड की किसी भी तालिका से ज़्यादा बता देता है।
32 GB Mac पर Inkling 2 Mini चला रहे हैं? कमेंट में अपनी चिप, Ollama वर्ज़न, कॉन्टेक्स्ट सेटिंग और --verbose नंबर साझा करें, ख़ासकर M1, M4 या M5 से। मैं सबसे काम के नतीजे Part 8 में जोड़ूँगा, नाम के साथ। सुधार भी स्वागत योग्य हैं: सपोर्ट इतना नया है कि आज की कुछ बातें जल्दी बदल जाएँगी।
खुलासा: इस गाइड में एक एफ़िलिएट लिंक है — Z.ai’s GLM Coding Plan का (भाग 10 में)। उसके ज़रिए सब्सक्रिप्शन लेने पर आपको 10% की छूट मिलती है और आपके लिए किसी अतिरिक्त खर्च के बिना मुझे कमीशन भी मिल सकता है। इस गाइड में कोई अन्य उत्पाद या कंपनी प्रायोजित नहीं है, और प्रकाशन से पहले उनमें से किसी ने भी इसकी समीक्षा नहीं की।
तथ्य जाँचे गए: 21 नवंबर 2026।



