सामग्री पर जाएँ
रविवार, नवम्बर 22, 2026स्वतंत्र टेक न्यूज़, समीक्षाएँ और व्यावहारिक गाइड
परिचय
लेटेस्ट /

Inkling 2 Mini को Mac पर Ollama से चलाएँ (32GB)

गाइड पढ़ें
AI एजेंटGM / 053

Inkling 2 Mini को Mac पर Ollama से चलाएँ (32GB)

32GB Mac पर Ollama के साथ Inkling 2 Mini चलाएँ, स्टेप बाय स्टेप: इंस्टॉल करें, 20 GB का मॉडल लाएँ, कॉन्टेक्स्ट और मेमोरी सेट करें, फिर एक लोकल कोडिंग एजेंट कनेक्ट करें।

Run Inkling 2 Mini with Ollama on a 32GB Mac: three Terminal commands, Ollama 0.40.17, a 16K–32K context and an optional 24 GiB GPU budget

Thinking Machines Lab ने 20 नवंबर को Inkling 2 Mini जारी किया, और इस काबिलियत वाले ओपन मॉडल के लिए यह एक असामान्य वादा है: यह लैपटॉप पर चलता है। कंपनी Ollama के ज़रिए इसे 32 GB या उससे ज़्यादा मेमोरी वाले किसी भी Mac पर सपोर्ट करती है। इसके शोधकर्ताओं ने तो उड़ान के दौरान MacBook Pro पर इसे ऑफ़लाइन चलाया, जहाँ इसने एक खेलने लायक फ़्लाइट सिम्युलेटर बनाया। यह गाइड आपको स्टेप बाय स्टेप दिखाती है कि 32 GB वाले Mac पर Ollama के साथ Inkling 2 Mini कैसे चलाएँ। यह नई इंस्टॉल से शुरू होकर एक चलते-फिरते लोकल कोडिंग एजेंट तक पहुँचती है।

छोटा जवाब तीन कमांड हैं। लंबा जवाब यही है कि यह गाइड क्यों मौजूद है। 32 GB वाले Mac पर मॉडल लगभग 20 GB लेता है। डिफ़ॉल्ट रूप से macOS आपकी मेमोरी का करीब एक-तिहाई हिस्सा ग्राफ़िक्स प्रोसेसर से दूर भी रखता है। Ollama इसका जवाब मॉडल को 4,000 टोकन का कॉन्टेक्स्ट देकर देता है: चैट के लिए ठीक, कोडिंग एजेंट के लिए बहुत ही छोटा। और ज़्यादातर 32 GB वाले Mac पर बहुत लंबे प्रॉम्प्ट आज भी मेमोरी खत्म कर सकते हैं। इनमें से कोई भी चीज़ इसे छोड़ने की वजह नहीं है। यह इसे ठीक से सेट करने की वजह है।

आपको कोड करना आना ज़रूरी नहीं है। आप कुछ कमांड Terminal में कॉपी करेंगे, जो Mac का कमांड-लाइन ऐप है (Cmd-Space दबाएँ, टाइप करें Terminal और Return दबाएँ)। हर एक को समझाया गया है। Inkling 2 Mini के लिए Ollama का सपोर्ट कुछ ही दिन पुराना है और तेज़ी से बदल रहा है, इसलिए नीचे दी गई हर बात जाँची गई 21 नवंबर 2026.

स्वतंत्रता और एफ़िलिएट खुलासा: यहाँ जिस भी कंपनी का ज़िक्र है, उसने इस गाइड को स्पॉन्सर, रिव्यू या अप्रूव नहीं किया। इसमें एक एफ़िलिएट लिंक, Z.ai’s GLM Coding Plan (भाग 10 में) के लिए। उसके ज़रिए सब्सक्रिप्शन लेने पर आपको 10% की छूट मिलती है और आपके लिए किसी अतिरिक्त खर्च के बिना मुझे कमीशन भी मिल सकता है।


TL;DR — 60 सेकंड में सार

  • आपको चाहिए: Apple silicon वाला एक Mac, जिसमें 32 GB या उससे ज़्यादा मेमोरी, macOS 14 या उससे नया, लगभग 25 GB खाली डिस्क स्पेस और Ollama 0.40.17 या उससे नया.
  • तीन कमांड: ollama --version (0.40.17 या उससे ऊपर), ollama pull inkling-2-mini (20.2 GB का डाउनलोड), ollama run inkling-2-mini.
  • 32 GB वाली अड़चन: वेट्स का साइज़ 18.8 GiB, और डिफ़ॉल्ट रूप से macOS GPU को सिर्फ़ लगभग 21.3 GiB. इसलिए Ollama सेट करता है 4K कॉन्टेक्स्ट, जो एजेंट के लिए बहुत छोटा है।
  • अहम सेटिंग्स: कॉन्टेक्स्ट सेट करें 16K–32K Ollama’s Settings में agents के लिए। वैकल्पिक रूप से, GPU बजट को 24 GiB तक बढ़ाएँ, इसके ज़रिए sudo sysctl iogpu.wired_limit_mb=24576 (यह रीस्टार्ट पर रीसेट हो जाता है)। reasoning effort को इस पर रखें उच्च कोडिंग के लिए, कम तेज़ सवालों के लिए। मेमोरी खाने वाले ऐप पहले बंद कर दें।
  • आज आपका चिप मायने रखता है: Ollama 0.40.17 अपनी मेमोरी बचाने वाली prompt reading सुविधा सिर्फ़ M2 Pro, M2 Ultra, M3 Ultra, M4 Pro और M5 Pro, Max तथा Ultra के लिए चालू करता है। प्रकाशित एकमात्र 32 GB टेस्ट में एक M2 Max लगभग 12,000 टोकन के बाद "Insufficient Memory" कहकर क्रैश हो गया।
  • एजेंट: Pi 32 GB के लिए सबसे उपयुक्त है, क्योंकि इसके निर्देश और टूल्स 1,000 टोकन से कम में आ जाते हैं (ollama launch pi --model inkling-2-mini)। यह बिना पूछे कमांड चलाता है, इसलिए इसे किसी फेंकने लायक फ़ोल्डर में रखें। OpenCode लगभग 6,900 टोकन के साथ खुलता है और एक कॉन्फ़िग बदलाव के बाद पहले पूछता है। Claude Code डिफ़ॉल्ट रूप से पूछता है, लेकिन इसका पहला अनुरोध लगभग 32,800 टोकन का रहा: 48 GB से बेहतर।
  • गति: के बारे में 24 टोकन प्रति सेकंड 32 GB M2 Max पर, और लगभग 32 48 GB M4 Pro पर।
  • सुरक्षा: Thinking Machines चेतावनी देता है कि मॉडल बिना पूछे लूप में चल सकता है, फ़ाइलें मिटा या ओवरराइट कर सकता है, और अपने नतीजों को गलत बता सकता है। Git में या किसी कॉपी पर काम करें, permission prompts चालू रखें और एजेंट’s चरणों की सीमा तय करें।

एक नज़र में

मॉडल Thinking Machines Lab का Inkling 2 Mini, 20 नवंबर 2026 को जारी, Apache 2.0 लाइसेंस
साइज़ 26.4B पैरामीटर, प्रति टोकन 3.4B सक्रिय; अपनी लूप्ड लेयरों को गिनते हुए 5.4B वेट एक्टिवेशन
Ollama टैग inkling-2-mini (साथ ही 26b-a5b और 26b-a5b-nvfp4: वही 20 GB पैकेज)
डाउनलोड 20,188,097,271 बाइट (20.2 GB, या 18.8 GiB)
लगने वाला समय लगभग आधा घंटा, साथ में डाउनलोड के लिए 3 से 60 मिनट
Ollama वर्ज़न 0.40.17 या नया; उस रिलीज़ में सिर्फ़ Apple silicon
इंजन Ollama’s MLX रनर, जो Apple’s मशीन-लर्निंग फ़्रेमवर्क पर बना है
कर सकता है टेक्स्ट और इमेज इनपुट, टूल कॉल, थिंकिंग
कॉन्टेक्स्ट मॉडल में 1M टोकन तक; ज़्यादातर 32 GB Macs पर Ollama’s डिफ़ॉल्ट: 4K
समर्थित न्यूनतम 32 GB वाला Apple silicon Mac (Thinking Machines और Ollama)
macOS 14 Sonoma या बाद का (Ollama’s आवश्यकता)
रीज़निंग एफ़र्ट none, minimal, कम, medium, उच्च (डिफ़ॉल्ट), xhigh, अधिकतम
एक-कमांड एजेंट Pi, OpenCode, Claude Code, Hermes Agent और OpenClaw, इसके ज़रिए ollama launch
मापी गई गति M2 Max 32 GB: लगभग 24 tok/s; M4 Pro 48 GB: लगभग 32 tok/s लिखने में, 279 tok/s पढ़ने में

Measured speeds are third-party results.


विषय-सूची

Mac पर Ollama के साथ Inkling 2 Mini चलाने के पाँच स्टेप: Ollama 0.40.17 इंस्टॉल करें, 20 GB का मॉडल pull करें, उसे चलाएँ, कॉन्टेक्स्ट सेट करें और एक कोडिंग एजेंट लॉन्च करें
पूरी गाइड एक ही तस्वीर में। स्टेप 1 से 3 में कुछ मिनट लगते हैं और साथ में डाउनलोड; स्टेप 4 वह जगह है जहाँ 32 GB वाले Mac को सावधानी चाहिए।

भाग 1 — शुरू करने से पहले: क्या आपका Mac तैयार है?

चार चीज़ें तय करती हैं कि आप Ollama के साथ Inkling 2 Mini चला पाएँगे या नहीं: आपका चिप, आपकी मेमोरी, आपका macOS वर्ज़न और आपकी खाली डिस्क जगह। पहली तीन एक ही स्क्रीन पर हैं: Apple मेन्यू खोलें और चुनें इस Mac के बारे में. डिस्क जगह के लिए खोलें सिस्टम सेटिंग → सामान्य → स्टोरेज.

ज़रूरत न्यूनतम क्यों
चिप Apple silicon (कोई भी M सीरीज़ चिप) Ollama 0.40.17, Inkling 2 Mini को सिर्फ़ Apple silicon पर चलाता है। Intel Mac पर Ollama सिर्फ़ प्रोसेसर इस्तेमाल कर सकता है, GPU नहीं
मेमोरी 32 GB Thinking Machines’ और Ollama’s द्वारा समर्थित न्यूनतम; अकेला मॉडल ही लगभग 20 GB लेता है
macOS 14 Sonoma या उसके बाद Ollama’s की अपनी ज़रूरत
खाली डिस्क जगह लगभग 25 GB मॉडल के लिए 20.2 GB, साथ में macOS के लिए थोड़ी साँस लेने की जगह
Ollama 0.40.17 या नया पहला रिलीज़ जो इस मॉडल को जानता है (भाग 2)

16 GB और 24 GB वाले Mac का क्या? Ollama’s के पैकेज से नहीं, जो एक ही 20 GB की फ़ाइल है और उसका कोई छोटा वर्ज़न नहीं है। कंप्रेस्ड कॉपियाँ ज़रूर मौजूद हैं: Unsloth लगभग 9 से 14 GB की 2-bit और 3-bit फ़ाइलें पब्लिश करता है, जो उसके अपने llama.cpp बिल्ड के साथ चलती हैं। यह अलग और ज़्यादा तकनीकी रास्ता है, जिसे मैंने यहाँ समझाया है Inkling 2 Mini बनाम Qwen3.8-27B, साथ में यह भी कि क्वालिटी में आपको क्या छोड़ना पड़ता है।

आपके पास कौन-सा 32 GB Mac है?

आपका चिप दो वजहों से मायने रखता है। पहली है स्पीड। ऐसा मॉडल हर शब्द लिखते समय अपने सक्रिय वेट मेमोरी से पढ़कर लिखता है। इसलिए लिखने की स्पीड काफ़ी हद तक इस पर टिकी है मेमोरी बैंडविड्थ: चिप मेमोरी को कितनी तेज़ी से पढ़ सकता है। M1 Max और M2 Max की बैंडविड्थ M1 Pro और M2 Pro से दोगुनी है, और बेस M4 व M5 से लगभग तीन गुना।

दूसरी वजह नई है और ख़ास तौर पर Ollama 0.40.17 से जुड़ी है (भाग 6 इसे समझाता है)। Ollama के पास लंबे प्रॉम्प्ट पढ़ने का मेमोरी बचाने वाला तरीका इस मॉडल के लिए है, लेकिन यह सिर्फ़ कुछ चिप्स पर चालू होता है। ठीक 32 GB वाले Mac में आज सिर्फ़ M2 Pro में ही यह मिलता है।

चिप 32 GB के साथ आता है? मेमोरी बैंडविड्थ Ollama 0.40.17 में मेमोरी बचाने वाला प्रॉम्प्ट रीडिंग
M1 Pro हाँ 204.8 GB/s नहीं
M1 Max हाँ 409.6 GB/s नहीं
M2 Pro हाँ 204.8 GB/s हाँ
M2 Max हाँ 409.6 GB/s नहीं
M4 हाँ 120 GB/s नहीं
M5 हाँ 153.6 GB/s नहीं
M3 Pro, M3 Max, M4 Max 36 GB वर्ज़न 153.6 / 307.2 / 409.6 GB/s नहीं
M5 Max 36 GB वर्ज़न 460.8 GB/s हाँ

बैंडविड्थ और मेमोरी विकल्प Apple के स्पेसिफिकेशन से, जैसा Wikipedia ने संग्रह किया। प्रॉम्प्ट-रीडिंग सपोर्ट Ollama 0.40.17 के सोर्स कोड से, जो इसे M2 Pro, M2 Ultra, M3 Ultra, M4 Pro और M5 Pro, Max और Ultra के लिए सक्षम करता है। M4 Pro और M5 Pro 32 GB के साथ नहीं बेचे जाते।

36 GB वाले मशीनों को इस गाइड की हर मान्यता से लगभग 4 GB ज़्यादा जगह मिलती है, इसलिए वही स्टेप थोड़ी ज़्यादा ढील के साथ काम करते हैं।

Ollama में कौन-सा 32GB Mac Inkling 2 Mini को सबसे बेहतर चलाता है: मेमोरी बैंडविड्थ और Apple चिप के हिसाब से मेमोरी बचाने वाला प्रॉम्प्ट रीडिंग, M1 Pro और M2 Max से M4 और M5 तक
बैंडविड्थ लिखने की गति तय करती है; Ollama की मेमोरी बचाने वाली प्रॉम्प्ट रीडिंग, जो आज सिर्फ़ कुछ चिप्स पर है, तय करती है कि आपका Mac कितना लंबा प्रॉम्प्ट सुरक्षित रूप से पढ़ सकता है।

भाग 2 — स्टेप 1: Ollama इंस्टॉल करें या अपडेट करें

Ollama एक मुफ़्त ऐप है जो ओपन मॉडल डाउनलोड करता है और उन्हें आपके अपने Mac पर चलाता है। यह बैकग्राउंड में एक छोटा सर्वर भी चलाता है, जिससे कोडिंग एजेंट बाद में बात करते हैं।

अगर आपके पास अभी Ollama नहीं है

  1. यहाँ जाएँ: ollama.com/download और Mac वर्ज़न डाउनलोड करें, Ollama.dmg.
  2. फ़ाइल खोलें और इसे खींचकर Ollama अपने Applications फ़ोल्डर पर।
  3. Applications से Ollama खोलें। पहली बार शुरू होने पर यह जाँचता है कि उसका ollama कमांड Terminal में उपलब्ध है या नहीं। अगर नहीं, तो यह उसे इसमें जोड़ने की अनुमति माँगता है /usr/local/bin. हाँ कहें और अगर पूछा जाए तो अपना Mac पासवर्ड डालें। Ollama चलने के दौरान मेन्यू बार में एक छोटा llama आइकन दिखता है।
  4. Terminal खोलें और टाइप करें:
ollama --version

आपको चाहिए 0.40.17 या नया.

अगर Ollama पहले से है

चलाएँ ollama --version. अगर यह 0.40.17 से पुराना है, तो अपडेट करें:

  • ऐप: Ollama अपडेट खुद डाउनलोड करता है। मेन्यू बार में llama आइकन पर क्लिक करें और चुनें अपडेट के लिए रीस्टार्ट करें अगर यह विकल्प दिखे। अगर न दिखे, तो Ollama फिर से डाउनलोड करें यहाँ से ollama.com/download और ऐप बदल दें। आपके डाउनलोड किए मॉडल जहाँ हैं वहीं रहते हैं।
  • Homebrew: चलाएँ brew upgrade ollama. Homebrew का Ollama पैकेज 21 November को पहले से 0.40.17 पर था।

वर्ज़न जाँच, 21 November 2026: Ollama ने Inkling 2 Mini के सपोर्ट की घोषणा की 0.40.17 20 November को, एक प्री-रिलीज़ के रूप में। अंतिम 0.40.17 एक ही दिन में GitHub पर टैग हो गया, और Homebrew इसे पहले से ही देता है। अगर डाउनलोड पेज अब भी आपको 0.40.16 दे रहा है, तो 0.40.17 या नया यहाँ से लें GitHub रिलीज़ पेज. पुराना Ollama डाउनलोड को इस संदेश के साथ अस्वीकार कर देता है मॉडल मैनिफ़ेस्ट खींचें: 412: जिस मॉडल को आप खींचने की कोशिश कर रहे हैं, उसके लिए Ollama का नया वर्ज़न ज़रूरी है.

दो सेटिंग जिन पर नज़र डालना बनता है (वैकल्पिक)

Ollama’s सेटिंग्स llama आइकन या ऐप विंडो से खोलें।

  • क्लाउड। यह स्विच Ollama’s क्लाउड मॉडल और वेब सर्च चालू करता है। Inkling 2 Mini किसी भी हालत में पूरी तरह आपके Mac पर ही चलता है; Ollama’s अपने FAQ में कहता है कि जब आप लोकली चलाते हैं, तो उसे आपके प्रॉम्प्ट या डेटा नहीं दिखते। अगर आप पक्का करना चाहते हैं कि कुछ भी किसी क्लाउड मॉडल पर वापस न जाए, तो Cloud बंद कर दें। ध्यान रखें, फिर भी, कि कुछ एजेंट के वेब-सर्च टूल Ollama’s क्लाउड का इस्तेमाल करते हैं।
  • मॉडल लोकेशन। अगर आपकी इंटरनल ड्राइव में जगह कम है, तो इसे किसी एक्सटर्नल SSD पर सेट करें इससे पहले कि इससे पहले कि आप 20 GB डाउनलोड करें।

भाग 3 — स्टेप 2: Inkling 2 Mini डाउनलोड करें

एक कमांड:

ollama pull inkling-2-mini

डाउनलोड है 20,188,097,271 बाइट, यानी 20 GB से थोड़ा ज़्यादा। पूरी स्पीड पर इसमें लगभग कितना समय लगता है, वह यह रहा; असली डाउनलोड आमतौर पर धीमे होते हैं:

आपका कनेक्शन डाउनलोड का समय
50 Mbit/s लगभग 54 मिनट
100 Mbit/s लगभग 27 मिनट
250 Mbit/s लगभग 11 मिनट
500 Mbit/s लगभग 5½ मिनट
1 Gbit/s लगभग 3 मिनट

अगर डाउनलोड रुक जाए, तो वही कमांड फिर से चलाएँ और वह जहाँ रुका था वहीं से आगे बढ़ता रहेगा।

अभी आपने जो डाउनलोड किया है, उसके बारे में कुछ बातें जानने लायक हैं:

  • इसका सिर्फ़ एक ही वर्ज़न है। Ollama’s लाइब्रेरी पेज पर तीनों टैग, latest, 26b-a5b और 26b-a5b-nvfp4, वही 20 GB पैकेज हैं। चुनने के लिए कोई छोटा Ollama वर्ज़न नहीं है।
  • यह ओरिजिनल है, कोई कंप्रेस्ड कॉपी नहीं। Thinking Machines ने मॉडल के ज़्यादातर वेट 4-bit फ़ॉर्मैट NVFP4 में ट्रेन किए, और इसकी आख़िरी चार परतें 8-bit फ़ॉर्मैट MXFP8 में। यह उन्हें उसी रूप में भेजता है। Ollama’s पैकेज में वही वेट हैं, इसलिए किसी कन्वर्ज़न में कुछ नहीं खोया।
  • यह देख भी सकता है। यह पैकेज टेक्स्ट के साथ-साथ इमेज भी संभालता है, और यह टूल कॉल कर सकता है, और इसी वजह से कोडिंग एजेंट इसे इस्तेमाल कर पाते हैं।

जाँचें कि यह आ गया है:

ollama ls

आपको दिखना चाहिए inkling-2-mini:latest 20 GB साइज़ के साथ।


भाग 4 — स्टेप 3: Ollama में पहली बार Inkling 2 Mini चलाएँ

Terminal में चैट शुरू करें:

ollama run inkling-2-mini --verbose

पहली बार शुरू होने में थोड़ा समय लगता है, क्योंकि Ollama आपकी ड्राइव से 20 GB मेमोरी में लोड करता है। फिर आपको एक >>> प्रॉम्प्ट मिलेगा। कुछ ऐसा आज़माएँ:

तीन वाक्यों में समझाएँ कि looped transformer क्या है।

Inkling 2 Mini जवाब देने से पहले सोचता है, इसलिए पहले उसकी सोच दिखाई देगी और फिर जवाब। अगर आप उसे सोचते हुए नहीं देखना चाहते, तो इसे शुरू करें --hidethinking के साथ।

आँकड़े पढ़ें

क्योंकि आपने जोड़ा --verbose, Ollama हर जवाब के बाद आँकड़े छापता है। दो लाइनें मायने रखती हैं:

लाइन इसका क्या मतलब है
प्रॉम्प्ट इवैल रेट मॉडल कितनी तेज़ी से पढ़ें आपका संदेश पढ़ता है, प्रति सेकंड टोकन में
eval rate यह कितनी तेज़ी से लिखा जवाब, प्रति सेकंड टोकन में। एक टोकन लगभग अंग्रेज़ी शब्द का तीन-चौथाई होता है

संदर्भ के लिए, 32 GB वाले Mac पर प्रकाशित एकमात्र Ollama टेस्ट, एक M2 Max, में लगभग 24 टोकन प्रति सेकंड मापा गया। बाकी माप Part 8 में हैं।

आगे आप कुछ और चीज़ें कर सकते हैं

  • चैट छोड़ें: type /bye या Ctrl-D दबाएँ। मॉडल पाँच मिनट तक मेमोरी में बना रहता है, ताकि आप वापस आ सकें।
  • अभी मेमोरी खाली करें: ollama stop inkling-2-mini.
  • किसी इमेज के बारे में पूछें: अपना सवाल लिखें, फिर Finder से कोई इमेज फ़ाइल Terminal विंडो में खींचें, जिससे उसका पूरा पाथ पेस्ट हो जाता है। Return दबाएँ।
  • इसके बजाय ऐप इस्तेमाल करें: Ollama ऐप खोलें, चुनें inkling-2-mini मॉडल मेन्यू से और वहीं चैट करें। आप विंडो में इमेज भी डाल सकते हैं।

जाँचें कि Inkling 2 Mini ठीक से चल रहा है

जब मॉडल लोड हो, दूसरी Terminal विंडो खोलें और चलाएँ:

ollama ps
कॉलम आप क्या देखना चाहते हैं
NAME inkling-2-mini:latest
SIZE मॉडल कितनी मेमोरी लेता है
PROCESSOR 100% GPU। Apple silicon पर इसका मतलब है कि यह यूनिफ़ाइड मेमोरी में ग्राफ़िक्स प्रोसेसर पर चल रहा है
कॉन्टेक्स्ट बातचीत के कितने टोकन रख सकता है। ज़्यादातर 32 GB Mac पर यह दिखता है 4096 जब तक आप इसे भाग 5 में न बदलें
रनर mlx, Apple silicon के लिए Ollama का इंजन
तक अगर आप इसका इस्तेमाल नहीं करें तो Ollama इसे कब अनलोड करेगा

आप Ollama से यह भी पूछ सकते हैं कि शुरू होते समय उसने क्या पहचाना:

grep "vram-based default context" ~/.ollama/logs/server.log | tail -1

32 GB Mac पर आपको दिखेगा total_vram लगभग 21 GiB का और default_num_ctx=4096। यह एक पंक्ति भाग 5 का ज़्यादातर हिस्सा समझा देती है।


बिना कोई बदलाव किए चैटिंग चल जाती है। कोडिंग एजेंट और लंबे दस्तावेज़ नहीं चलते, क्योंकि 32 GB Mac अपनी मेमोरी बाँटता है। इस भाग के सभी मेमोरी आँकड़े GiB, यानी वे बाइनरी गीगाबाइट जो macOS और Ollama बताते हैं; एक "32 GB" Mac में 32 GiB होते हैं।

यह है बजट। Inkling 2 Mini के वेट्स लेते हैं 18.8 GiB। 32 GB Mac पर macOS ग्राफ़िक्स प्रोसेसर को मेमोरी का लगभग दो-तिहाई हिस्सा इस्तेमाल करने देता है, लगभग 21.3 GiB, जब तक आप इसे बदलते नहीं। VisualInference ने यही मूल वेट्स दूसरे MLX ऐप mlx-vlm में 48 GB M4 Pro पर नापे। मेमोरी चरम पर पहुँची 20.3 GiB कम प्रॉम्प्ट के साथ मापा, 21.4 GiB 4,000 टोकन पर और 22.1 GiB 16,000 टोकन पर। दूसरे शब्दों में, प्रॉम्प्ट लंबा होते ही अकेला मॉडल ही डिफ़ॉल्ट GPU बजट के किनारे तक पहुँच जाता है। और यह macOS तथा आपके बाकी ऐप्स के अपना हिस्सा लेने से पहले ही।

32GB Mac पर Inkling 2 Mini की मेमोरी: 18.8 GiB वेट्स और 20.3 से 22.1 GiB तक मापे गए पीक, 21.3 GiB डिफ़ॉल्ट GPU बजट और 24 GiB बढ़े बजट के मुकाबले
32 GiB कहाँ जाते हैं। चरम मान mlx-vlm से 48 GB M4 Pro पर नापे गए, उन्हीं मूल वेट्स के साथ जो Ollama भेजता है; Ollama के अपने आँकड़े थोड़ा अलग होंगे। GPU बजट macOS के डिफ़ॉल्ट हैं और बढ़ाई गई सीमा वैकल्पिक है।

चार सेटिंग्स फ़र्क लाती हैं।

सेटिंग 1: कॉन्टेक्स्ट लंबाई (सबसे ज़रूरी)

यह कॉन्टेक्स्ट लंबाई यह है कि मॉडल एक बार में कितना टेक्स्ट रख सकता है। इसमें आपके संदेश और उसके जवाब आते हैं और, एजेंट के मामले में, सिस्टम प्रॉम्प्ट, टूल परिभाषाएँ और वह हर फ़ाइल जो उसने पढ़ी है। बहुत कम हो तो एजेंट चुपचाप अपने निर्देश खो देता है और अजीब ग़लतियाँ करने लगता है। बहुत ज़्यादा हो तो आप ऐसी मेमोरी रोक लेते हैं जिसका आप कभी इस्तेमाल नहीं करेंगे।

Ollama जो GPU मेमोरी पहचानता है, उसके आधार पर डिफ़ॉल्ट चुनता है:

Ollama की पहचानी GPU मेमोरी डिफ़ॉल्ट कॉन्टेक्स्ट
23 GiB से कम (ज़्यादातर 32 GB Mac: लगभग 21.3 GiB) 4K टोकन
23 से 47 GiB 32K टोकन
47 GiB या ज़्यादा 256K टोकन

Ollama के दस्तावेज़ स्तर इस तरह देते हैं: 24 से कम, 24–48, और 48 GiB या ज़्यादा। 0.40.17 का कोड 23 और 47 GiB इस्तेमाल करता है, ताकि हर Mac के बताए मान के छोटे अंतर समा जाएँ।

बड़ा कॉन्टेक्स्ट होने पर Inkling 2 Mini की मेमोरी में कितना खर्च आता है, इसके कॉन्फ़िगरेशन से गणना करके:

कॉन्टेक्स्ट कॉन्टेक्स्ट के लिए अतिरिक्त मेमोरी
4K 0.28 GiB
8K 0.41 GiB
16K 0.66 GiB
32K 1.16 GiB
64K 2.16 GiB
128K 4.16 GiB

Inkling 2 Mini को कॉन्टेक्स्ट के हर टोकन पर अपने आकार के ज़्यादातर मॉडलों से कम मेमोरी लगती है। इसकी 24 में से सिर्फ़ चार परतें पूरी बातचीत पर वापस नज़र डालती हैं। प्रॉम्प्ट पढ़ते समय जो वर्किंग मेमोरी लगती है, वह इसके ऊपर आती है; ऊपर दिए गए मापे गए पीक में वह भी शामिल है।

क्या सेट करें

आप क्या कर रहे हैं कॉन्टेक्स्ट क्यों
चैट और छोटे सवाल 4K–8K (डिफ़ॉल्ट ठीक है) सबसे कम मेमोरी लेता है
लंबे दस्तावेज़ या कोड फ़ाइलें पेस्ट करना 16K अंग्रेज़ी के लगभग 12,000 शब्द
Pi एजेंट 16K (जिन चिप्स में भाग 6 वाला मेमोरी बचाने वाला प्रॉम्प्ट रीडिंग नहीं है, उन पर 8K) Pi के अपने निर्देश बहुत छोटे हैं (भाग 7)
OpenCode M2 Pro पर 32K 32 GB पर आप आराम से इसे अधिकतम इतना ही दे सकते हैं। Ollama एजेंट के लिए 64K या उससे ज़्यादा की सलाह देता है, जो 20 GB के मॉडल के साथ यह Mac असल में उठा नहीं सकता। दूसरी चिप्स पर पहले भाग 6 पढ़ें
Claude Code Ollama के मुताबिक़ 64K या ज़्यादा 32 GB पर यह व्यावहारिक नहीं; भाग 7 देखें

इसे कैसे सेट करें

Ollama की कॉन्टेक्स्ट लंबाई बदलने का सबसे आसान तरीका ऐप है: खोलें सेटिंग → कॉन्टेक्स्ट लंबाई और स्लाइडर घुमाएँ, जिसमें 4k, 8k, 16k, 32k, 64k, 128k और 256k के स्टॉप हैं। इसे लागू करने के लिए Ollama अपना सर्वर रीस्टार्ट करता है, और यह सेटिंग आपके Mac के रीस्टार्ट के बाद भी बनी रहती है।

तीन और तरीक़े हैं, जो आगे काम आएँगे:

# सिर्फ़ एक चैट सेशन के लिए, `ollama run` के अंदर:
/set parameter num_ctx 16384

# Ollama ऐप के लिए, जब तक आप अपना Mac रीस्टार्ट न करें (तब Ollama बंद करके फिर खोलें):
launchctl setenv OLLAMA_CONTEXT_LENGTH 32768

अगर आपने ऐप का स्लाइडर पहले ही घुमा दिया है, तो स्लाइडर ही मान्य होता है, न कि launchctl सेटिंग।

या फिर बनाएँ मॉडल की एक कॉपी, जिसमें उसका अपना कॉन्टेक्स्ट पहले से बना हो, जो तब काम आती है जब आपको चैट के लिए 8K चाहिए पर एजेंट के लिए 32K। इसे Terminal में पेस्ट करें; यह एक छोटी टेक्स्ट फ़ाइल बनाता है जिसका नाम है Modelfile और फिर नया मॉडल:

cat > Modelfile <<'EOF'
FROM inkling-2-mini
PARAMETER num_ctx 32768
EOF
ollama create inkling-2-mini-32k -f Modelfile

यह कॉपी 20 GB के वेट्स को डाउनलोड या डुप्लिकेट नहीं करती। इसके बाद आप इस्तेमाल करें inkling-2-mini-32k जहाँ भी आप इसका उपयोग करें inkling-2-mini. जो भी तरीका चुनें, पुष्टि कॉन्टेक्स्ट कॉलम में करें ollama ps.

सेटिंग 2: GPU को ज़्यादा जगह दें (वैकल्पिक)

macOS तय करता है कि GPU अपने लिए कितनी मेमोरी रख सकता है, और Ollama उस सीमा को आपका "VRAM" मानता है। 32 GB वाले Mac पर यह लगभग 21.3 GiB होती है। इससे तीन बातें निकलती हैं। Ollama इसी से अपना डिफ़ॉल्ट कॉन्टेक्स्ट तय करता है (सेटिंग 1)। Ollama का MLX इंजन लोड किए गए मॉडल को उस सीमा तक मेमोरी में बनाए रखता है। अगर मॉडल उससे बड़ा है, तो वह चेतावनी लॉग करता है कि परफ़ॉर्मेंस घट सकती है। और जब काम के किसी एक चरण को उपलब्ध GPU मेमोरी से ज़्यादा चाहिए, तो macOS उसे रोक देता है। यही वह Insufficient Memory क्रैश है जिसकी चर्चा पार्ट 6 में है। Apple के दस्तावेज़ कहते हैं कि इसका मतलब है कि GPU के पास कमांड बफ़र चलाने के लिए पर्याप्त मेमोरी नहीं थी।

आप इस सीमा को अपने अगले रीस्टार्ट तक बढ़ा सकते हैं; Apple के MLX दस्तावेज़ ठीक इसी के लिए कमांड देते हैं। पहले मौजूदा वैल्यू जाँचें; 0 macOS का डिफ़ॉल्ट मान दर्शाता है:

sysctl iogpu.wired_limit_mb

इसे 24 GiB तक बढ़ाएँ, जिससे macOS और आपके ऐप्स के लिए 8 GiB बचता है:

sudo sysctl iogpu.wired_limit_mb=24576

फिर मेन्यू बार से Ollama बंद करें और उसे दोबारा खोलें, क्योंकि Ollama यह सीमा सिर्फ़ शुरू होते समय पढ़ता है। दोबारा चलाएँ grep कमांड जो पार्ट 4 में था, और total_vram अब लगभग 24 GiB बताना चाहिए।

चार बातें जानने योग्य

  • यह आपका डिफ़ॉल्ट कॉन्टेक्स्ट भी बदल देता है। 24 GiB पहचाने जाने पर Ollama का डिफ़ॉल्ट 4K से 32K हो जाता है (ऊपर दी गई तालिका), इसलिए आपको सेटिंग 1 की ज़रूरत ही न पड़ सकती है।
  • यह GPU को ज़्यादा जगह देता है, ज़्यादा मेमोरी नहीं। यह GPU और macOS के बीच की रेखा खिसकाता है; कोई मेमोरी जोड़ता नहीं। अगर तब आपके बाकी ऐप्स को मेमोरी कम पड़े, तो macOS इसके बजाय स्वैप करता है।
  • Mac रीस्टार्ट करने पर यह रीसेट हो जाता है। यह सुरक्षा-जाल है, कोई बग नहीं। इसे जल्दी पूर्ववत करने के लिए: sudo sysctl iogpu.wired_limit_mb=0.
  • यह macOS की आधिकारिक सेटिंग नहीं है। यह लोकल AI के लिए खूब इस्तेमाल होता है, लेकिन अगर किसी सेशन के दौरान आपका Mac बहुत ज़्यादा स्वैप करे, हैंग हो जाए या अचानक रीस्टार्ट हो, तो इसे 0 पर लौटा दें। 32 GB वाले Mac पर 24 GiB से बहुत ऊपर न जाएँ।

सेटिंग 3: रीज़निंग एफ़र्ट

Inkling 2 Mini तय करता है कि कितनी मेहनत से सोचना है, और यह एक रीज़निंग एफ़र्ट सेटिंग पर आधारित होता है। Ollama का डिफ़ॉल्ट है उच्च. Ollama 0.40.17 इन नामों को उस वैल्यू में ऐसे बदलता है जो मॉडल को वास्तव में मिलती है:

Ollama सेटिंग मॉडल को मिलने वाला एफ़र्ट किसके लिए अच्छा
none या false 0 (सोच छिपी हुई) सरल लुकअप
minimal 0.1 झटपट तथ्य
कम 0.2 छोटे जवाब, सारांश, दोबारा शब्दों में लिखना
medium 0.7 रोज़मर्रा के सवाल
उच्च या true (डिफ़ॉल्ट) 0.9 कोडिंग और एजेंट का काम
xhigh या अधिकतम 0.99 कठिन समस्याएँ, जब आप इंतज़ार कर सकें

Ollama 0.40.17 के Inkling 2 Mini रेंडरर से। Thinking Machines कहता है कि न्यूनतम स्तर भी रीज़निंग को पूरी तरह बंद नहीं करता।

Ollama में Inkling 2 Mini का रीज़निंग एफ़र्ट: think के मान none, minimal, low, medium, high और max, जो मॉडल को मिलने वाले एफ़र्ट नंबरों से मैप होते हैं, डिफ़ॉल्ट में high
सात नाम, छह एफ़र्ट स्तर: xhigh और अधिकतम वही मान भेजें। डिफ़ॉल्ट, high, कोडिंग के लिए सही सेटिंग है।

किसी चैट के लिए इसे सेट करने के लिए:

ollama run inkling-2-mini --think=low

चैट के भीतर, /set nothink इसे सबसे निचले स्तर तक ले जाता है और सोच छिपा देता है, और /set think इसे फिर चालू कर देता है। Ollama’s API में वही नाम डाले जाते हैं think फ़ील्ड में।

मेरी सलाह: इसे यहीं रहने दें उच्च कोडिंग और एजेंट के लिए, जहाँ सोच अपनी कीमत वसूल करती है। इस्तेमाल करें कम या medium तेज़ सवालों के लिए, ताकि एक पंक्ति के जवाब के लिए आपको लंबी सोच का इंतज़ार न करना पड़े।

सेटिंग 4: इसे लोड रखें, और काम पूरा होने पर अनलोड कर दें

Ollama एक मॉडल को अनलोड कर देता है पाँच मिनट बिना इस्तेमाल के बाद, और 20 GB दोबारा लोड करने में समय लगता है। रुक-रुककर चलने वाले एजेंट सेशन में यह चिढ़ाने लगता है। हर बार इस्तेमाल के बाद 30 मिनट तक इसे लोड रखने के लिए:

launchctl setenv OLLAMA_KEEP_ALIVE 30m

फिर Ollama बंद करके दोबारा खोलें। एक ही चैट के लिए, ollama run inkling-2-mini --keepalive 30m यही करता है। दूसरी तरफ़: काम पूरा होने पर मेमोरी वापस दे दें ollama stop inkling-2-mini.

दो और सेटिंग, जिज्ञासु पाठकों के लिए

  • बिल्ट-इन ड्राफ़्टर। Thinking Machines ने Inkling 2 Mini के साथ एक छोटा सहायक नेटवर्क, DSpark, भेजा है, जो कुछ शब्द आगे का अनुमान लगाता है। फिर मुख्य मॉडल उन सबको एक ही बार में जाँच लेता है। Ollama इसे सपोर्ट करता है और जिस भी मॉडल में ड्राफ़्टर होता है, उसके लिए डिफ़ॉल्ट रूप से ड्राफ़्टिंग चालू कर देता है। Ollama के बाहर किए गए प्रकाशित MLX टेस्ट में DSpark ने M5 Max पर Inkling’s लिखने की गति 43.6 से 70.9 टोकन प्रति सेकंड कर दी। M4 Pro पर इसने गति 31.1 से घटाकर 18.7 कर दी। तो इसे अपने Mac पर परखें: किसी चैट में, /set parameter draft_num_predict 0 इसे बंद कर देता है; तुलना करें eval rate इसके साथ और इसके बिना।
  • समानांतर रिक्वेस्ट। 0.40.17 से, Apple silicon पर Ollama एक साथ कई रिक्वेस्ट का जवाब दे सकता है, और हर एक को अपनी अलग कॉन्टेक्स्ट मेमोरी चाहिए। Ollama आपकी खाली मेमोरी से सतर्क डिफ़ॉल्ट चुनता है। अगर हेल्पर समानांतर चलाने वाला कोई एजेंट फिर भी आपके Mac को swap में धकेल देता है, तो इसे एक तक सीमित करें launchctl setenv OLLAMA_NUM_PARALLEL 1। फिर Ollama बंद करके दोबारा खोलें।

जो सेटिंग यहाँ काम नहीं आएँगी

दूसरे मॉडल की गाइड अक्सर सुझाव देती हैं OLLAMA_KV_CACHE_TYPE=q8_0 कॉन्टेक्स्ट जितनी मेमोरी लेता है उसे आधा करने के लिए, फ़्लैश अटेंशन के साथ। Ollama 0.40.17 में ये सेटिंग इसके llama.cpp इंजन की हैं; Inkling 2 Mini चलता है MLX इंजन पर, और उस इंजन के कोड में कुछ भी इन्हें नहीं पढ़ता। यही बात GPU-लेयर वाली सेटिंग पर भी लागू होती है, जैसे num_gpu। और छोड़ दें temperature अकेले: Ollama’s पैकेज Thinking Machines’ का डिफ़ॉल्ट 1.0 इस्तेमाल करता है, और Unsloth भी यही सुझाता है।

लंबे सेशन से पहले: मेमोरी खाली करें

खोलें Activity Monitor (एप्लिकेशन → यूटिलिटीज़ में) और मेमोरी उस टैब पर क्लिक करें। सबसे नीचे आपको मेमोरी प्रेशर ग्राफ़ और स्वैप यूज़्ड दिखेंगे। हरा रंग अच्छा है, पीला मतलब macOS मेमोरी कंप्रेस कर रहा है, और लाल मतलब यह आपकी ड्राइव पर स्वैप कर रहा है, जिससे सब कुछ धीमा हो जाता है। एजेंट सेशन से पहले बड़े उपभोक्ता बंद करें: बहुत सारे टैब वाले ब्राउज़र, Docker Desktop, iPhone सिमुलेटर, वीडियो और फ़ोटो एडिटर। लैपटॉप पर लंबे रन के लिए चार्जर लगा दें।


भाग 6 — 32 GB की असली परख: आपका चिप मायने रखता है

यह हिस्सा तब मायने रखता है जब आपके Mac में M2 Pro (या 36 GB वाला M5 Max) के अलावा कोई और चिप हो, जो ज़्यादातर 32 GB Mac में होती है। यह वही हिस्सा है जिसका ज़िक्र Ollama’s रिलीज़ नोट्स में नहीं है।

जब Inkling 2 Mini लंबा प्रॉम्प्ट पढ़ता है तो क्या होता है

कोई भी मॉडल कुछ भी लिखने से पहले आपका पूरा प्रॉम्प्ट पढ़ता है। Ollama’s MLX इंजन यह काम एक बार में 2,048 टोकन के हिसाब से करता है। हर चंक के लिए Inkling 2 Mini यह निकालता है कि हर नया टोकन अपने से पहले के हर टोकन से कैसे जुड़ता है, उनके बीच की सीखी हुई दूरी के आधार पर। इस कदम के लिए एक अस्थायी तालिका चाहिए जो बातचीत में मॉडल अब तक जो पढ़ चुका है उसके साथ बढ़ती जाती है।

Ollama 0.40.17 में एक मेमोरी बचाने वाला तरीका है, जो प्रॉम्प्ट को छोटी टाइलों में संभालता है ताकि तालिका कभी बड़ी न हो जाए। इसका सोर्स कोड इसे सिर्फ़ इन चिप्स के लिए चालू करता है: M2 Pro, M2 Ultra, M3 Ultra, M4 Pro, और M5 Pro, Max तथा Ultra। बाकी हर चिप एक सामान्य तरीके पर लौट आती है, जिसकी मेमोरी खपत प्रॉम्प्ट के साथ बढ़ती है। इनमें M1 Pro और Max, M2 Max, बेस M4 और बेस M5 शामिल हैं।

32 GB वाले M2 Max पर यह कैसा दिखा

32 GB Mac पर Ollama 0.40.17 का एकमात्र प्रकाशित टेस्ट Genex के डेवलपर्स से आया है। उन्होंने 32 GB वाले M2 Max पर Inkling 2 Mini आज़माया:

  • डाउनलोड हो गया, और एक छोटे टूल-कॉलिंग अनुरोध ने सही जवाब दिया, लगभग 24 टोकन प्रति सेकंड.
  • 18,003 टोकन वाला अनुरोध 12,288 टोकन के बाद क्रैश हो गया इस एरर के साथ mlx: [METAL] Command buffer execution failed: Insufficient Memory। कॉन्टेक्स्ट 32,768 और बैच साइज़ 512 करने से भी कोई फ़ायदा नहीं हुआ।
  • उनका असली 15,089 टोकन वाला प्रॉम्प्ट भी उसी तरह क्रैश हो गया।
  • असली स्क्रीनशॉट से चलने वाला कंप्यूटर-यूज़ लूप काम कर गया।

उनका नतीजा था कि मॉडल छोटे प्रॉम्प्ट के लिए 32 GB Mac में फ़िट हो जाता है, लेकिन उनके ऐप के लंबे प्रॉम्प्ट के लिए नहीं। इसलिए उन्होंने अपने ऐप में Inkling 2 Mini की सिफ़ारिश सिर्फ़ 48 GB से ऊपर के लिए कर दी।

इसके बारे में क्या करें

आपकी चिप आज क्या उम्मीद करें क्या करें
M2 Pro (32 GB) या M5 Max (36 GB) लंबे प्रॉम्प्ट सीमित मेमोरी में चलते हैं 16K–32K कॉन्टेक्स्ट पर एजेंट, GPU बजट बढ़ाकर (भाग 5)
M1 Pro, M1 Max, M2 Max, M4, M5 (32 GB) 10,000 टोकन से काफ़ी आगे बढ़ने वाले सेशन में "Insufficient Memory" क्रैश का ख़तरा है इसे चैट और छोटे दस्तावेज़ों के लिए इस्तेमाल करें; एजेंट के लिए Pi को 8K कॉन्टेक्स्ट के साथ चलाएँ और हर काम के लिए नया सेशन शुरू करें; GPU बजट बढ़ाएँ; जब भी नया वर्ज़न आए Ollama अपडेट करें
M3 Pro, M3 Max, M4 Max (36 GB) वही फ़ॉलबैक, लगभग 4 GB अधिक जगह के साथ जैसा ऊपर, थोड़ी और गुंजाइश के साथ

दो बातें ध्यान में रखें। पहली, यह एक सॉफ़्टवेयर सीमा, हार्डवेयर की नहीं। मेमोरी बचाने वाला कोड मौजूद है; बस अभी उसे हर चिप के लिए चालू नहीं किया गया है, और Ollama लगभग हर हफ़्ते नए वर्ज़न जारी करता है। अपडेट करते समय रिलीज़ नोट्स देखें। दूसरी, मायने यह रखता है कि मॉडल को एक सत्र में कितना टेक्स्ट प्रोसेस करना पड़ता है, न कि कॉन्टेक्स्ट स्लाइडर पर लिखा नंबर। हर नया हिस्सा अपने से पहले के सारे टेक्स्ट से तुलना किया जाता है, इसलिए लंबी बातचीत उतनी ही भारी पड़ती है जितना एक लंबा प्रॉम्प्ट, और कोडिंग एजेंट जल्दी ही लंबी बातचीत बना लेते हैं। छोटा कॉन्टेक्स्ट सत्रों को छोटा रखता है; नए सत्र शुरू करने से वे और भी छोटे रहते हैं।


भाग 7 — स्टेप 5: कोडिंग एजेंट के लिए Inkling 2 Mini को लोकल बैकएंड की तरह इस्तेमाल करें

कोडिंग एजेंट एक ऐसा प्रोग्राम है जो मॉडल को टूल देता है, जैसे फ़ाइलें पढ़ना, उन्हें बदलना और कमांड चलाना। यह मॉडल को किसी काम को स्टेप बाय स्टेप पूरा करने देता है। आम तौर पर मॉडल किसी डेटा सेंटर में रहता है। यहाँ आपके Mac पर Inkling 2 Mini ही लोकल बैकएंड: एजेंट अपनी रिक्वेस्ट इसके बजाय Ollama को भेजता है।

कोडिंग एजेंट के लिए लोकल बैकएंड के रूप में Ollama: Pi, OpenCode और Claude Code अपनी मॉडल रिक्वेस्ट उसी Mac पर localhost:11434 पर Inkling 2 Mini को भेजते हैं
सारे हिस्से कैसे जुड़ते हैं। Ollama डिफ़ॉल्ट रूप से सिर्फ़ आपके Mac पर ही सुनता है, और वही API फ़ॉर्मैट बोलता है जो एजेंट पहले से समझते हैं।

यह कैसे काम करता है

जब Ollama चल रहा होता है, तो वह यहाँ सुनता है http://localhost:11434, ऐसा पता जहाँ सिर्फ़ आपके Mac के प्रोग्राम पहुँच सकते हैं। यह वे API फ़ॉर्मैट बोलता है जिन्हें एजेंट पहले से जानते हैं: एक OpenAI-संगत वाला यहाँ http://localhost:11434/v1, एक Anthropic-संगत वाला Claude Code के लिए, और एक अपना। एजेंट अपना प्रॉम्प्ट और टूल की परिभाषाएँ भेजता है, और Inkling 2 Mini तय करता है कि कौन-सा टूल कॉल करना है। एजेंट वह टूल आपके Mac पर चलाता है और नतीजा वापस भेजता है। काम पूरा होने तक यह चक्र दोहराता रहता है।

आपको इनमें से कुछ भी हाथ से कॉन्फ़िगर नहीं करना पड़ता। ollama launch कमांड समर्थित एजेंट मौजूद न हों तो उन्हें इंस्टॉल करता है, उन्हें Ollama पर सेट करता है और उन्हें शुरू कर देता है।

कोई भी एजेंट शुरू करने से पहले

  1. पहले कॉन्टेक्स्ट सेट करें (भाग 5)। यह जितना सुनने में लगता है उससे ज़्यादा मायने रखता है: जब आप OpenCode को इसके ज़रिए शुरू करते हैं ollama launch, तो Ollama वह कॉन्टेक्स्ट पढ़ता है जिसके साथ मॉडल असल में लोड हुआ और वही संख्या OpenCode को बताता है। अगर Ollama अब भी 4K पर है, तो OpenCode उसी को सच मानता है।
  2. Git के अंदर एक टेस्ट फ़ोल्डर में काम करें, ताकि आप हर बदलाव देख सकें और वापस लौटा सकें:
mkdir -p ~/Projects/inkling-test
cd ~/Projects/inkling-test
git init

पहली बार जब आप gitका इस्तेमाल करते हैं, तो macOS Apple के command line developer tools इंस्टॉल करने की पेशकश कर सकता है। स्वीकार करें; इसमें कुछ मिनट लगते हैं।

  1. ज़्यादा मेमोरी खाने वाले ऐप बंद करें (भाग 5)।

32 GB पर आपको कौन-सा एजेंट इस्तेमाल करना चाहिए?

Pi OpenCode Claude Code
एक कमांड में सेटअप ollama launch pi --model inkling-2-mini ollama launch opencode --model inkling-2-mini ollama launch claude --model inkling-2-mini
पहले आपको इंस्टॉल करना होगा Node.js कुछ नहीं; Ollama इसे इंस्टॉल करने की पेशकश करता है कुछ नहीं; Ollama इसे इंस्टॉल करने की पेशकश करता है
आपके पहले शब्द से पहले भेजे जाने वाले निर्देश और टूल 1,000 टोकन से कम लगभग 6,900 टोकन लगभग 32,800 टोकन
कमांड चलाने से पहले पूछता है नहीं, जानबूझकर डिफ़ॉल्ट रूप से नहीं; एक कॉन्फ़िग बदलाव से यह चालू हो जाता है हाँ, ज़्यादातर कामों के लिए
32 GB पर सेट करने वाला कॉन्टेक्स्ट 16K (उन चिप्स पर 8K जिनमें मेमोरी बचाने वाला प्रॉम्प्ट रीडिंग नहीं है) M2 Pro पर 32K Ollama 64K या उससे ज़्यादा की सलाह देता है
सबसे अच्छा रहता है किसी भी 32 GB Mac पर, एक अस्थायी फ़ोल्डर में 32 GB वाला M2 Pro, या 48 GB और उससे ज़्यादा 48 GB और उससे ज़्यादा

Pi का आँकड़ा उसके लेखक का बताया हुआ है। OpenCode और Claude Code के आँकड़े Systima के जुलाई 2026 में किए गए हर एजेंट के पहले अनुरोध के मापन से हैं। Systima ने बिना किसी MCP सर्वर वाला खाली प्रोजेक्ट, OpenCode 1.17 और Claude मॉडल के साथ Claude Code 2.1 इस्तेमाल किया। दोनों एजेंट तब से अपडेट हो चुके हैं, इसलिए इन आँकड़ों को परिमाण के क्रम के तौर पर पढ़ें। एजेंट के लिए Ollama की सामान्य सलाह है कम से कम 64K का कॉन्टेक्स्ट।

32GB Mac पर Inkling 2 Mini के साथ Pi vs OpenCode vs Claude Code: सेटअप कमांड, हर रिक्वेस्ट पर इंस्ट्रक्शन, परमिशन प्रॉम्प्ट और हर एक के लिए सबसे अच्छा कौन
32 GB के Mac पर सौदा मेमोरी बनाम गार्ड रेल का है: Pi सबसे कम भेजता है लेकिन कुछ पूछता नहीं; Claude Code सबसे ज़्यादा पूछता है लेकिन सबसे ज़्यादा भेजता भी है।

विकल्प A: Pi, सबसे हल्का

Pi जानबूझकर बनाया गया एक बहुत छोटा कोडिंग एजेंट है जिसमें चार टूल हैं: read, write, edit और bash। इसके लेखक कहते हैं कि इसका सिस्टम प्रॉम्प्ट और टूल परिभाषाएँ मिलाकर 1,000 टोकन से भी कम। इससे यह 32 GB के Mac के लिए सबसे अच्छा फ़िट बनता है, और यही वह एजेंट है जिसे Ollama ने अपनी Inkling 2 Mini घोषणा में सुझाया था।

  1. इंस्टॉल करें Node.js: LTS इंस्टॉलर यहाँ से डाउनलोड करें nodejs.org और उसे चलाएँ। ollama launch pi को Node का npm चाहिए, Pi इंस्टॉल करने के लिए।
  2. अपने टेस्ट फ़ोल्डर में जाएँ और लॉन्च करें:
cd ~/Projects/inkling-test
ollama launch pi --model inkling-2-mini

Ollama Pi इंस्टॉल करता है, उसे आपके लोकल मॉडल के इस्तेमाल के लिए कॉन्फ़िगर करता है और एक सेशन खोलता है।

⚠️ Pi कुछ नहीं पूछता। इसके लेखक इसे "पूरे YOLO मोड" में चलने वाला बताते हैं: फ़ाइल कामों या कमांड के लिए कोई अनुमति प्रॉम्प्ट नहीं, और आपकी फ़ाइलों तक बिना रोक-टोक पहुँच। Thinking Machines भी चेतावनी देता है कि Inkling 2 Mini बिना पुष्टि के फ़ाइलें मिटा या ओवरराइट कर सकता है। इन दोनों का मतलब है: Pi को सिर्फ़ एक अस्थायी फ़ोल्डर में चलाएँ, कभी भी अपने होम फ़ोल्डर में या बैकअप के बिना किसी प्रोजेक्ट में नहीं। इसके लेखक सुझाव देते हैं कि अगर आपको असली सीमा चाहिए तो इसे कंटेनर के अंदर चलाएँ; मेरी Apple कंटेनर गाइड बताती है कि Mac पर इसे कैसे सेट करें।

एक और बात: जब Pi को Ollama के ज़रिये लॉन्च किया जाता है, तो इसका वेब-सर्च टूल Ollama की क्लाउड वेब सर्च इस्तेमाल करता है। उसके लिए Ollama अकाउंट और Cloud सेटिंग चालू होना ज़रूरी है। बाकी सब कुछ आपके Mac पर ही रहता है।

विकल्प B: OpenCode, बीच का सधा हुआ रास्ता

OpenCode एक लोकप्रिय ओपन सोर्स कोडिंग एजेंट है, जिसमें फ़ुल-स्क्रीन टर्मिनल इंटरफ़ेस, हर स्टेप के स्नैपशॉट और एक अनुमति प्रणाली है जिसे आप सख़्त कर सकते हैं।

cd ~/Projects/inkling-test
ollama launch opencode --model inkling-2-mini

अगर OpenCode इंस्टॉल नहीं है, तो Ollama पूछता है कि इसे इंस्टॉल करें या नहीं; हाँ कहें। फिर Ollama इस सेशन के लिए अपनी सेटिंग्स OpenCode को देता है, बिना आपकी अपनी सेटिंग्स बदले ~/.config/opencode/opencode.json। यह OpenCode की सीमाएँ उस कॉन्टेक्स्ट के हिसाब से तय करता है जिसके साथ मॉडल लोड हुआ, और उसका एक चौथाई, अधिकतम 8K टोकन, जवाब के लिए रखता है। 0.40.17 से यह Inkling 2 Mini के थिंकिंग विकल्प भी आगे पास करता है।

OpenCode का शुरुआती अनुरोध मध्यम है — Systima के जुलाई मापन में लगभग 6,900 टोकन। लेकिन वह जो भी फ़ाइल पढ़ता है और जो भी कमांड आउटपुट वापस पाता है, वह सब बातचीत में जुड़ता जाता है। Part 6 वाले मेमोरी बचाने वाले प्रॉम्प्ट रीडिंग के बिना 32 GB के Mac पर यही संख्या देखनी है। 12,000 टोकन तक पहुँचने में ज़्यादा फ़ाइलें नहीं लगतीं, जहाँ M2 Max क्रैश हुआ था।

OpenCode v2 शुरू होते समय Ollama के मॉडल खुद ढूँढ लेता है, इसलिए आप बस यह चला सकते हैं opencode और इससे मॉडल चुनें /models. 32 GB पर Ollama के ज़रिए लॉन्च करना फिर भी बेहतर रास्ता है, क्योंकि यह OpenCode को बताता है कि आपके पास असल में कितनी कॉन्टेक्स्ट विंडो है।

उससे पहले पूछने को कहें, और उसके steps की सीमा तय करें

डिफ़ॉल्ट रूप से OpenCode v2 मॉडल को बिना पूछे shell कमांड चलाने और फ़ाइलें बदलने देता है; इसके डिफ़ॉल्ट नियम सिर्फ़ पढ़ने से पहले पूछते हैं .env फ़ाइलें। जिस मॉडल का निर्माता खुद विनाशकारी कार्रवाइयों की चेतावनी देता है, उसके लिए इसे बदलें। Thinking Machines agent turns सीमित करने की भी सलाह देता है, क्योंकि मॉडल कभी-कभी लंबे reasoning loops में फँस जाता है, ख़ासकर debugging के दौरान, और OpenCode का steps option यही करता है। दोनों को इसमें डालें ~/.config/opencode/opencode.json (अगर फ़ाइल मौजूद न हो तो बनाएँ):

{
  "$schema": "https://opencode.ai/config.json",
  "permissions": [
    { "action": "shell", "resource": "*", "effect": "ask" },
    { "action": "edit", "resource": "*", "effect": "ask" }
  ],
  "agents": {
    "build": { "steps": 40 }
  }
}

यह permissions नियम OpenCode से हर shell कमांड और हर edit से पहले पूछने को कहते हैं। यह build agent OpenCode का डिफ़ॉल्ट है; अपने आख़िरी अनुमत step पर OpenCode tools हटा देता है और मॉडल से सारांश बनाने को कहता है। यह लागू हुआ या नहीं, यह जाँचने के लिए OpenCode से एक फ़ाइल बनाने को कहें: अब उसे पहले आपसे पूछना चाहिए। अगर नहीं पूछे, तो OpenCode का permissions दस्तावेज़ बताता है कि agents अपने नियम कैसे जोड़ सकते हैं। OpenCode के बाकी सब विषयों के लिए, plans से लेकर MCP servers तक, मेरा OpenCode गाइड.

विकल्प C: Claude Code, सबसे भारी

Claude Code, Ollama के Anthropic-संगत API के ज़रिए Ollama के साथ काम करता है, इसलिए इसके अनुरोध Anthropic के सर्वर की जगह आपके Mac पर जाते हैं। डिफ़ॉल्ट रूप से यह ज़्यादातर कार्रवाइयों से पहले अनुमति माँगता है, जिससे यह तीनों में सबसे सतर्क बनता है।

cd ~/Projects/inkling-test
ollama launch claude --model inkling-2-mini

अगर Claude Code मौजूद न हो तो Ollama उसे इंस्टॉल करने की पेशकश करता है। अगर आप उसे बाद में खुद शुरू करना चाहें, तो ये सेटिंग हैं ollama launch जो अपने आप संभल जाती हैं:

export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model inkling-2-mini

Ollama 0.40.17 Claude Code को MCP tools सिर्फ़ ज़रूरत पड़ने पर लोड करने देता है, एक साथ सब नहीं, जिससे प्रॉम्प्ट छोटे रहते हैं। लेकिन यह Claude Code के built-in tools को नहीं छूता, और भारीपन उन्हीं की वजह से है। बिना MCP servers के Systima के जुलाई मापन में Claude Code का सबसे पहला अनुरोध लगभग 32,800 टोकन, ज़्यादातर tool definitions। यह 32K कॉन्टेक्स्ट में जितना आता है उससे ज़्यादा है, और 12,000 टोकन से काफ़ी आगे, जहाँ M2 Max क्रैश हुआ था। Ollama इसके लिए 64K या उससे ज़्यादा का कॉन्टेक्स्ट सुझाता है। 32 GB के Mac पर जिज्ञासा हो तो आज़माएँ; भरोसा 48 GB से करें।

अन्य agents और ऐप

Ollama के library पेज पर दो और agents के लिए एक-कमांड लॉन्च दिए हैं, और Codex के लिए भी वही तरीका काम करता है:

ollama launch hermes --model inkling-2-mini     # Hermes Agent
ollama launch openclaw --model inkling-2-mini   # OpenClaw
ollama launch codex --model inkling-2-mini      # OpenAI's Codex CLI

OpenAI API से बात करने वाला कोई भी दूसरा tool भी Inkling 2 Mini इस्तेमाल कर सकता है। उसे base URL दें http://localhost:11434/v1, मॉडल का नाम inkling-2-mini और API key के लिए कोई भी टेक्स्ट। Ollama key जाँचता नहीं, लेकिन कई tools खाली key लेने से मना कर देते हैं।

आपका पहला agent काम

अपने टेस्ट फ़ोल्डर में कुछ छोटा और साफ़ दिखने वाला काम शुरू करें:

index.html नाम का एक सिंगल-फ़ाइल to-do list वेब पेज बनाएँ जो tasks को ब्राउज़र में सहेजता है। इसे सरल रखें और पूरा होने पर बताएँ कि इसे कैसे खोलें।

देखें यह क्या करता है: कौन-सी फ़ाइलें पढ़ता है, क्या लिखता है, कौन-से कमांड चलाता है। काम ख़त्म होने पर पेज इनसे खोलें open index.html, और Git से बदलाव जाँचें:

git status      # कौन-सी फ़ाइलें बदलीं या जुड़ीं
git diff        # उन फ़ाइलों में क्या बदला जिन्हें Git पहले से जानता था

अगर नतीजा पसंद न आए, तो फ़ोल्डर हटाकर फिर से शुरू करें। टेस्ट फ़ोल्डर का मतलब यही है।

लोकल agent सुरक्षित चलाने के पाँच नियम

Thinking Machines का model card Inkling 2 Mini की failure modes के बारे में असामान्य रूप से साफ़ है। यह लंबे reasoning loops में फँस सकता है। यह बिना पुष्टि के फ़ाइलें हटा या ओवरराइट कर सकता है, और हो सकता है कि अपने काम का नतीजा सही-सही न बताए। साथ ही, बड़े मॉडलों की तुलना में इसकी संभावना ज़्यादा है कि यह ग़लत तथ्य आत्मविश्वास से कह दे। इस आकार के मॉडल के लिए इनमें से कुछ भी असामान्य नहीं है। इसका बस इतना मतलब है:

  1. Git या कोई कॉपी, हमेशा। जिन फ़ाइलों को आप वापस नहीं ला सकते, उन पर agent को कभी खुला न छोड़ें।
  2. अनुमति प्रॉम्प्ट चालू करें जहाँ एजेंट के पास मौजूद हैं (OpenCode को ऊपर बताया गया कॉन्फ़िग बदलाव चाहिए), और जो आप स्वीकृत करें उसे पढ़ें।
  3. स्टेप और आउटपुट की सीमा तय करें। OpenCode के steps; Ollama चैट में, /set parameter num_predict 4096 एक ही जवाब की सीमा तय करता है।
  4. उसके दावे जाँचें। "सभी टेस्ट पास" पर भरोसा करने से पहले टेस्ट ख़ुद चलाएँ।
  5. एजेंट को कभी अपने होम फ़ोल्डर पर न लगाएँ। और Pi के लिए कोई अस्थायी फ़ोल्डर या कंटेनर इस्तेमाल करें।

अगर आप और आगे जाना चाहें, तो मेरा एजेंट स्किल्स और MCP सर्वर की गाइड इस विषय पर है: एजेंट के टूल्स की पहुँच कैसे सीमित करें। हर AI कोडिंग हार्नेस की तुलना में एजेंट्स को ख़ुद विस्तार से समझाया गया है।


भाग 8 — 32 GB Mac पर Inkling 2 Mini कितना तेज़ चलता है?

गति के दो पहलू हैं: मॉडल कितनी तेज़ी से पढ़ता है आपका प्रॉम्प्ट, और कितनी तेज़ी से वह लिखता है अपना जवाब। 21 नवंबर तक जो माप प्रकाशित हुए, वे ये हैं — हर एक के साथ इस्तेमाल किया गया रनटाइम:

Mac रनटाइम लिखने की गति पढ़ने की गति नोट्स
M2 Max, 32 GB Ollama 0.40.17 लगभग 24 tok/s प्रकाशित नहीं छोटा टूल-कॉलिंग अनुरोध
M4 Pro, 48 GB Ollama 0.40.17 लगभग 32 tok/s 279 tok/s 12,000-टोकन का प्रॉम्प्ट, 64K कॉन्टेक्स्ट; कुल 65 सेकंड
M4 Pro, 48 GB mlx-vlm, वही मूल वेट्स 25.9 tok/s प्रकाशित नहीं VisualInference
M5 Pro, 48 GB MLX-VLM, कम्युनिटी 4/8-बिट बिल्ड लगभग 27 tok/s बहुत छोटे प्रॉम्प्ट पर लगभग 123–144 tok/s ModelFit; बहुत छोटे प्रॉम्प्ट धीरे पढ़े जाते हैं, इसलिए यह ऊपर के 279 से तुलनीय नहीं है

Third-party measurements, collected on 21 November 2026. No published Ollama runs yet for the M1 Pro, M1 Max, M2 Pro, base M4 or base M5.

Ollama और MLX के साथ Mac पर Inkling 2 Mini की स्पीड: 32GB M2 Max, 48GB M4 Pro और 48GB M5 Pro पर मापे गए टोकन प्रति सेकंड
प्रकाशित लेखन गतियाँ, रनटाइम के हिसाब से लेबल की गई। सिर्फ़ दो Ollama 0.40.17 नतीजे उसी सेटअप से आए हैं जो इस गाइड में इस्तेमाल हुआ है।

व्यवहार में इन आँकड़ों का क्या मतलब है

  • चैट के लिए, लगभग 24 टोकन प्रति सेकंड आपके पढ़ने से भी तेज़ है। हज़ार टोकन की सोच के बाद 300 शब्दों का जवाब, कुल मिलाकर क़रीब 1,400 टोकन, उस गति से लगभग एक मिनट में आता है। जल्दी वाले सवालों के लिए रीज़निंग एफ़र्ट घटाएँ, तो यह बहुत छोटा हो जाता है।
  • एजेंट्स के लिए, पढ़ने की रफ़्तार उतनी ही मायने रखती है जितनी लिखने की, क्योंकि एजेंट हर बारी में एक लंबा प्रॉम्प्ट भेजता है। 48 GB वाले M4 Pro पर 12,000 टोकन का प्रॉम्प्ट पढ़ने में लगभग 43 सेकंड लगे। Ollama बातचीत की साझा शुरुआत का अपना कैश बारी-बारी के बीच दोबारा इस्तेमाल करता है, इसलिए बाद की बारियों में ज़्यादातर सिर्फ़ नया हिस्सा पढ़ा जाता है।
  • तुलना के लिए, उसी M4 Pro पर, वही 12,000-टोकन वाला काम जो Inkling 2 Mini ने 65 में पूरा किया, Qwen3.8-27B ने 122 सेकंड में किया। Qwen ने 107 की रफ़्तार से पढ़ा और 27 टोकन प्रति सेकंड की रफ़्तार से लिखा। मेरी दोनों मॉडलों की तुलना इसकी वजह बताती है, और उस एक पेच की भी: Inkling 2 Mini हर काम में ज़्यादा टोकन लिखता है।

दूसरे 32 GB Macs पर क्या उम्मीद करें

बेस M4 और M5 के लिए अभी तक किसी ने Ollama के आँकड़े नहीं छापे हैं। इनकी मेमोरी बैंडविड्थ 120 और 153.6 GB/s है, जबकि M2 Max की 409.6 GB/s थी, जिसने लगभग 24 टोकन प्रति सेकंड निकाले। मान लें कि ये साफ़ तौर पर धीमे होंगे। कितने धीमे, यह पहले से कहना मुश्किल है, क्योंकि मौजूदा सॉफ़्टवेयर पर Inkling 2 Mini बैंडविड्थ के अनुपात में तेज़ नहीं होता। अगर आपके पास इनमें से एक है, तो चलाएँ --verbose भाग 4 का टेस्ट, और एक मिनट में आपको पता चल जाएगा।


भाग 9 — Ollama में Inkling 2 Mini की समस्याएँ सुलझाना

नीचे अपना लक्षण खोजें। अगर वह सूची में नहीं है, तो Ollama का लॉग आमतौर पर बताता है कि क्या गड़बड़ हुई; इस भाग का आख़िरी हिस्सा दिखाता है कि उसे कैसे पढ़ें।

Ollama में Inkling 2 Mini की ट्रबलशूटिंग: error 412, Insufficient Memory क्रैश, 4K कॉन्टेक्स्ट, भारी स्वैपिंग और 32GB Mac पर एजेंट लूप के लिए फ़िक्स
32 GB के Mac पर ज़्यादातर दिक्कतें दो चीज़ों पर आ जाती हैं: कॉन्टेक्स्ट सेटिंग और मेमोरी का दबाव।

अगर Inkling 2 Mini डाउनलोड या शुरू नहीं होता

लक्षण संभावित कारण समाधान
ollama pull inkling-2-mini इस संदेश के साथ फ़ेल होता है 412 और "requires a newer version" 0.40.17 से पुराना Ollama अपडेट करें (भाग 2), फिर दोबारा pull करें
ollama: command not found कमांड-लाइन लिंक नहीं बनाया गया Ollama ऐप खोलें और कमांड इंस्टॉल करने का उसका प्रस्ताव स्वीकारें, या ऐप दोबारा इंस्टॉल करें
PROCESSOR में ollama ps 100% GPU नहीं दिखाता GPU सेटअप में कुछ गड़बड़ है Ollama बंद करके दोबारा खोलें; जाँचें कि आप Apple silicon और macOS 14 या उससे नए पर हैं
आप Windows या Linux पर हैं Ollama 0.40.17 Inkling 2 Mini को सिर्फ़ Apple silicon पर सपोर्ट करता है; Ollama के सिर्फ़ Mac वाले मॉडलों ने दूसरी जगह डाउनलोड होने से इस संदेश के साथ इनकार किया है 412: this model requires macOS किसी बाद के रिलीज़ का इंतज़ार करें, या llama.cpp या vLLM इस्तेमाल करें

अगर Inkling 2 Mini क्रैश होता है, भूलने लगता है या आपके Mac को धीमा करता है

लक्षण संभावित कारण समाधान
मॉडल जवाब के बीच में रुक जाता है, इसके साथ Insufficient Memory या Command buffer execution failed लॉग में प्रॉम्प्ट आज आपके चिप की मेमोरी के लिए बहुत लंबा था (भाग 6), या मेमोरी दूसरे ऐप्स ने ले ली ऐप्स बंद करें, प्रॉम्प्ट या जो दस्तावेज़ आप पेस्ट करते हैं उन्हें छोटा करें, भारी एजेंट की जगह Pi इस्तेमाल करें, GPU बजट बढ़ाएँ (भाग 5), और Ollama अपडेट करें
एजेंट निर्देश भूल जाता है, टूल कॉल फ़ेल होते हैं, बदलाव आधे में रुक जाते हैं कॉन्टेक्स्ट बहुत छोटा है: शायद 4K डिफ़ॉल्ट 16K–32K सेट करें (भाग 5) और CONTEXT कॉलम देखें ollama ps. फिर एजेंट दोबारा लॉन्च करें
आपका Mac बहुत धीमा हो जाता है, पंखे चलने लगते हैं, swap बढ़ता है मेमोरी प्रेशर Activity Monitor देखें; ऐप्स बंद करें; कॉन्टेक्स्ट घटाएँ; ollama stop कोई भी दूसरा लोड किया हुआ मॉडल
ठहराव के बाद पहला जवाब धीमा आता है पाँच मिनट बिना किसी गतिविधि के बाद Ollama ने मॉडल अनलोड कर दिया सेट करें: OLLAMA_KEEP_ALIVE (भाग 5)

अगर कोई कोडिंग एजेंट गड़बड़ करे

लक्षण संभावित कारण समाधान
मॉडल बहुत देर तक सोचता है या खुद को दोहराता है लंबे रीज़निंग लूप, जिनकी Thinking Machines चेतावनी देता है छोटे टास्क दें, स्टेप और आउटपुट टोकन की सीमा तय करें, साधारण सवालों के लिए कम एफ़र्ट रखें
एजेंट कहता है कि मॉडल मौजूद नहीं है मॉडल के नाम में टाइपो ठीक यही इस्तेमाल करें inkling-2-mini; ollama ls आपके पास जो है वह दिखाता है
Pi की वेब सर्च काम नहीं करती यह Ollama की क्लाउड वेब सर्च इस्तेमाल करता है Ollama में साइन इन करें और Cloud चालू करें, या वेब सर्च के बिना काम करें
OpenCode बिना पूछे फ़ाइलें एडिट कर देता है OpenCode v2 डिफ़ॉल्ट रूप से एडिट और shell कमांड की अनुमति देता है जोड़ें permissions भाग 7 के नियम

Ollama का log देखें

Ollama के log यहाँ मिलते हैं ~/.ollama/logs/server.log. कुछ गड़बड़ होने पर आख़िरी पंक्तियाँ देखने के लिए:

tail -n 40 ~/.ollama/logs/server.log

भाग 10 — जब 32 GB काफ़ी न हो

आपको पता चल जाएगा कि सीमा आ गई है, जब लंबे प्रॉम्प्ट क्रैश हों, जब एजेंट अपनी बातचीत बार-बार सिकोड़ते रहें, या जब मॉडल लोड होने पर हर बार आपका Mac swap करने लगे। पहले तीन विकल्पों में कुछ भी ख़र्च नहीं होता; आख़िरी तीन में पैसा, प्राइवेसी या दोनों की क़ीमत लगती है।

आपके मौजूदा Mac पर

  • इसे रखें, और जिस काम में यह ठीक बैठे उसी में इस्तेमाल करें। चैट, छोटे दस्तावेज़, इमेज से जुड़े सवाल और छोटे टास्क पर Pi हर 32 GB Mac पर अच्छे चलते हैं। Ollama के रिलीज़ नोट्स पर नज़र रखें: भाग 6 वाला मेमोरी बचाने वाला prompt reading अगर और ज़्यादा चिप्स तक पहुँच जाए, तो तस्वीर रातों-रात बदल जाएगी।
  • किसी दूसरे रनटाइम में थोड़ी छोटी फ़ाइल। Unsloth का 4-bit वर्ज़न 17.6 GB है, Ollama के पैकेज से क़रीब 2.6 GB छोटा, और यह Unsloth के अपने llama.cpp बिल्ड के साथ चलता है। यह ज़्यादा तकनीकी है, और पहले दिन का सपोर्ट वहाँ ज़्यादा ख़राब था; मेरा तुलना लेख इसे कवर करता है।
  • कोई दूसरा लोकल मॉडल। Artificial Analysis के इंडेक्स पर Qwen3.8-27B का स्कोर Inkling 2 Mini जितना ही है, यह हर जगह चलता है और ज्ञान से जुड़े सवालों में बेहतर है, लेकिन उसी Mac पर यह धीमा है। वही लेख।

आपके Mac से आगे

  • ज़्यादा मेमोरी। 48 GB से, Inkling 2 Mini एजेंट्स को आराम से चलाता है, और 64 GB से आप इसे किसी दूसरे मॉडल के साथ लोडेड रख सकते हैं। अगर आप तय कर रहे हैं कि क्या खरीदें, तो मेरी गाइड क्या लोकल LLM के लिए MacBook लेना फ़ायदेमंद है और MacBook Pro M5 Pro with 64 GB फ़ायदे-नुक़सान समझाता है।
  • बड़ा भाई, क्लाउड में। Thinking Machines का 594 अरब पैरामीटर वाला मॉडल Inkling 2 Small, Ollama के क्लाउड पर इस नाम से उपलब्ध है inkling-2-small:cloud. यह उन्हीं लॉन्च कमांड के साथ काम करता है, जैसे ollama launch opencode --model inkling-2-small:cloud. इसके लिए Ollama खाता चाहिए, और तब आपके प्रॉम्प्ट आपके Mac से बाहर चले जाते हैं।
  • मुश्किल 10% के लिए एक कोडिंग प्लान। बहुत लोग निजी और रोज़मर्रा के काम के लिए लोकल मॉडल चलाते हैं और सबसे मुश्किल प्लानिंग व डीबगिंग किसी बड़े क्लाउड मॉडल को सौंपते हैं। एक किफ़ायती विकल्प Z.ai’ का GLM Coding Plan है, जो OpenCode, Claude Code और दूसरे एजेंट्स में काम करता है। आप मेरे एफ़िलिएट लिंक से GLM Coding Plan पर 10% छूट पाएँ. (एफ़िलिएट लिंक — ऊपर दिया गया डिस्क्लोज़र देखें।)

अक्सर पूछे जाने वाले प्रश्न

क्या मैं 32 GB मेमोरी वाले Mac पर Inkling 2 Mini चला सकता हूँ?

हाँ। Thinking Machines और Ollama दोनों 32 GB या उससे ज़्यादा मेमोरी वाले Apple silicon Macs पर, Ollama 0.40.17 या उससे नए संस्करण के ज़रिए, Inkling 2 Mini को सपोर्ट करते हैं। मॉडल लगभग 20 GB लेता है, इसलिए चैट और छोटे दस्तावेज़ अच्छे चलते हैं। सीमा लंबे प्रॉम्प्ट पर आती है। ज़्यादातर 32 GB चिप्स पर Ollama 0.40.17 अभी मेमोरी बचाने वाली प्रॉम्प्ट रीडिंग इस्तेमाल नहीं करता। M2 Max पर एक टेस्ट लगभग 12,000 टोकन के बाद क्रैश हो गया।

Inkling 2 Mini के लिए मुझे Ollama का कौन-सा वर्ज़न चाहिए?

Ollama 0.40.17 या उससे नया। Ollama ने 20 नवंबर 2026 को 0.40.17 में Inkling 2 Mini सपोर्ट की घोषणा प्री-रिलीज़ के रूप में की, और पक्का 0.40.17 एक ही दिन के भीतर आ गया। इससे जाँचें ollama --version. पुराने संस्करण 412 एरर देकर डाउनलोड से मना कर देते हैं। 0.40.17 में Inkling 2 Mini सिर्फ़ Apple silicon पर सपोर्टेड है।

Ollama में Inkling 2 Mini का डाउनलोड कितना बड़ा है?

20,188,097,271 बाइट, यानी लगभग 20.2 GB या 18.8 GiB। तीनों टैग, latest, 26b-a5b और 26b-a5b-nvfp4, एक ही पैकेज हैं: Thinking Machines’ के मूल NVFP4 और MXFP8 वेट, इमेज सपोर्ट के साथ। Ollama का कोई छोटा संस्करण नहीं है। 100 Mbit/s पर डाउनलोड में लगभग 27 मिनट लगते हैं।

मेरे Mac पर Ollama, Inkling 2 Mini को सिर्फ़ 4K कॉन्टेक्स्ट क्यों देता है?

Ollama अपना डिफ़ॉल्ट कॉन्टेक्स्ट उस GPU मेमोरी से तय करता है जो उसे मिलती है: लगभग 23 GiB से कम पर 4K, लगभग 47 GiB तक 32K और उससे ऊपर 256K। Mac पर यह आँकड़ा वह GPU बजट होता है जो macOS देता है, और 32 GB के Mac पर यह लगभग 21.3 GiB है, इसलिए आपको 4K मिलता है। इसे Ollama’ की Settings में Context length स्लाइडर से बदलें, या GPU बजट को 24 GiB तक बढ़ाकर।

32 GB पर कोडिंग एजेंट के लिए मुझे कितनी लंबी कॉन्टेक्स्ट लंबाई इस्तेमाल करनी चाहिए?

Pi के लिए 16K, और M2 Pro पर OpenCode के लिए 32K; 20 GB के मॉडल के साथ 32 GB का Mac आराम से इतना ही दे सकता है। जिन चिप्स पर Ollama’ की मेमोरी बचाने वाली प्रॉम्प्ट रीडिंग नहीं है, वहाँ 8K और छोटे सेशन इस्तेमाल करें। Ollama कोडिंग एजेंट्स के लिए 64K या ज़्यादा की सलाह देता है, जो 48 GB से चलता है। इसे एजेंट लॉन्च करने से पहले सेट करें, क्योंकि ollama launch opencode लोड हुआ कॉन्टेक्स्ट OpenCode तक पहुँचा देता है।

क्या मुझे iogpu.wired_limit_mb से GPU मेमोरी की सीमा बढ़ानी चाहिए?

32 GB के Mac पर यह मदद करता है। इसे चलाने से sudo sysctl iogpu.wired_limit_mb=24576 GPU बजट लगभग 21.3 GiB से बढ़कर 24 GiB हो जाता है और macOS के लिए 8 GiB बचा रहता है। फिर Ollama डिफ़ॉल्ट में 32K कॉन्टेक्स्ट ले लेता है। इसके बाद Ollama बंद करके दोबारा खोलें। Mac रीस्टार्ट करने पर यह सेटिंग रीसेट हो जाती है; sudo sysctl iogpu.wired_limit_mb=0 डिफ़ॉल्ट जल्दी वापस लौटा देता है। यह macOS की आधिकारिक सेटिंग नहीं है, इसलिए अगर आपका Mac बहुत ज़्यादा स्वैप करने लगे या अस्थिर हो जाए तो इसे पलट दें।

Ollama में Inkling 2 Mini’ का रीज़निंग एफ़र्ट कैसे बदलें?

इसका इस्तेमाल करें --think फ़्लैग: ollama run inkling-2-mini --think=low. Ollama इन मानों को स्वीकार करता है none, minimal, कम, medium, उच्च (डिफ़ॉल्ट), xhigh और अधिकतम, जिन्हें वह मॉडल को 0 से 0.99 तक के एफ़र्ट मानों के रूप में भेजता है। चैट के अंदर, /set nothink सबसे निचला स्तर सेट करता है और सोच छिपा देता है। यहाँ तक कि न्यूनतम स्तर भी रीज़निंग को पूरी तरह बंद नहीं करता।

32 GB वाले Mac पर Inkling 2 Mini के साथ कौन-सा कोडिंग एजेंट सबसे अच्छा काम करता है?

Pi, क्योंकि इसका सिस्टम प्रॉम्प्ट और टूल्स 1,000 टोकन से कम में आ जाते हैं, जिससे प्रॉम्प्ट छोटे रहते हैं: ollama launch pi --model inkling-2-mini. लेकिन Pi बिना पूछे कमांड चलाता है, इसलिए इसे सिर्फ़ किसी फेंकने लायक फ़ोल्डर में ही इस्तेमाल करें। OpenCode लगभग 6,900 टोकन से खुलता है और 32K कॉन्टेक्स्ट पर काम करता है, जो M2 Pro पर सबसे अच्छा है। इसकी कॉन्फ़िग में दो परमिशन नियम जोड़ते ही यह काम करने से पहले पूछता है। Claude Code डिफ़ॉल्ट में पूछता है, लेकिन उसकी पहली रिक्वेस्ट लगभग 32,800 टोकन मापी गई, जो 32K कॉन्टेक्स्ट से ज़्यादा है, इसलिए यह 48 GB से बेहतर चलता है।

Ollama "Insufficient Memory" के साथ क्रैश क्यों हुआ?

सबसे संभवतः प्रॉम्प्ट या बातचीत आपके Mac’ की GPU मेमोरी के लिए बहुत लंबी थी। Ollama 0.40.17 लंबे प्रॉम्प्ट मेमोरी बचाने वाले तरीके से सिर्फ़ M2 Pro, M2 Ultra, M3 Ultra, M4 Pro और M5 Pro, Max व Ultra पर पढ़ता है। दूसरी चिप्स पर मेमोरी का इस्तेमाल मॉडल जो कुछ पढ़ चुका है, उसके साथ बढ़ता जाता है, और एक 32 GB M2 Max 12,288 टोकन के बाद क्रैश हो गया। बाकी ऐप बंद करें, सेशन छोटे रखें, Pi इस्तेमाल करें, GPU बजट बढ़ाएँ और Ollama अपडेट रखें।

32 GB वाले Mac पर Inkling 2 Mini कितना तेज़ है?

32 GB वाले Mac, M2 Max, पर अब तक प्रकाशित एकमात्र Ollama टेस्ट में एक छोटा अनुरोध लगभग 24 टोकन प्रति सेकंड की रफ़्तार से चला। Ollama 0.40.17 वाले 48 GB के M4 Pro पर इसने लगभग 32 टोकन प्रति सेकंड की रफ़्तार से लिखा और 12,000 टोकन के प्रॉम्प्ट को 279 टोकन प्रति सेकंड की रफ़्तार से पढ़ा। बेस M4 और M5 Mac में मेमोरी बैंडविड्थ बहुत कम है, इसलिए उन्हें धीमा होना चाहिए; अभी तक कोई रन प्रकाशित नहीं हुआ है।

क्या मैं 16 GB या 24 GB वाले Mac पर Ollama के साथ Inkling 2 Mini चला सकता हूँ?

Ollama’ के पैकेज के साथ नहीं, जो एक ही 20 GB संस्करण है, और Thinking Machines 32 GB को न्यूनतम सपोर्ट बताता है। Unsloth लगभग 9 से 14 GB की 2-bit और 3-bit फ़ाइलें देता है, जो छोटे Macs पर उसके अपने llama.cpp बिल्ड के साथ चलती हैं। इनमें क्वालिटी थोड़ी कम होती है और सेटअप ज़्यादा लगता है।

क्या Inkling 2 Mini मेरा कोड या प्रॉम्प्ट कहीं भेजता है?

लोकल चलने पर नहीं। Ollama मॉडल आपके Mac पर चलाता है, और उसका FAQ कहता है कि लोकल चलाने पर उसे आपके प्रॉम्प्ट या डेटा नहीं दिखते। जो कोडिंग एजेंट्स ollama launch के ज़रिए लॉन्च होते हैं, वे Ollama से यहाँ बात करते हैं localhost:11434, अपनी ही मशीन पर। क्लाउड मॉडल और वेब सर्च अलग हैं: वे डेटा Ollama’ के सर्वर पर भेजते हैं, और आप उन्हें Cloud सेटिंग से बंद कर सकते हैं। एजेंट्स अलग प्रोग्राम हैं जिनके अपने नेटवर्क टूल होते हैं, जैसे OpenCode’ का वेब फ़ेच, इसलिए अगर आपको पूरी तरह ऑफ़लाइन काम करना हो तो उनकी सेटिंग जाँचें।

क्या मैं Windows या Linux पर Ollama के साथ Inkling 2 Mini चला सकता हूँ?

Ollama 0.40.17 में नहीं, जिसके रिलीज़ नोट्स कहते हैं कि उस रिलीज़ में Inkling 2 Mini सिर्फ़ Apple silicon पर सपोर्टेड है। NVIDIA हार्डवेयर पर Thinking Machines vLLM और SGLang सपोर्ट करता है, और Unsloth’ का llama.cpp बिल्ड उसकी GGUF फ़ाइलें चलाता है। Ollama की कोई बाद की रिलीज़ दूसरे प्लेटफ़ॉर्म जोड़ सकती है।

Inkling 2 Mini को कैसे हटाऊँ और जगह कैसे खाली करूँ?

चलाएँ ollama rm inkling-2-mini. आपने जो भी कॉपी बनाई हो, उन्हें भी हटा दें ollama create, जैसे inkling-2-mini-32k, उसी तरह: 20 GB के वेट तभी मुक्त होते हैं जब कोई मॉडल उन्हें इस्तेमाल नहीं कर रहा हो। Ollama को खुद हटाने के लिए उसे बंद करें, Applications से डिलीट करें और अपने होम फ़ोल्डर का .ollama फ़ोल्डर डिलीट करें; Ollama’ के macOS दस्तावेज़ में हर फ़ाइल की सूची है।

मुख्य बात

Inkling 2 Mini एक काबिल ओपन मॉडल है जिसे उसका निर्माता 32 GB के Mac पर सपोर्ट करता है, और Ollama बुनियादी काम सचमुच आसान बना देता है: इंस्टॉल करें, pull करें, चलाएँ। चैट, दस्तावेज़ों और इमेज से जुड़े सवालों के लिए 32 GB का Mac ही काफ़ी है।

एजेंट ही वह जगह हैं जहाँ 32 GB तंग पड़ती है, और इसकी दो वजहें हैं। Ollama ज़्यादातर 32 GB Mac को 4K कॉन्टेक्स्ट पर शुरू करता है, जो चुपचाप एजेंट तोड़ देता है जब तक आप उसे बदल न दें। और ज़्यादातर 32 GB चिप्स पर लंबे प्रॉम्प्ट अब भी मेमोरी ख़त्म कर सकते हैं, क्योंकि Ollama की मेमोरी बचाने वाली प्रॉम्प्ट रीडिंग सिर्फ़ कुछ चिप्स को कवर करती है। इसलिए कॉन्टेक्स्ट सेट करें, GPU बजट बढ़ाएँ और अपना ब्राउज़र बंद कर दें। किसी फेंकने लायक फ़ोल्डर में Pi से शुरुआत करें, और Ollama को अक्सर अपडेट करते रहें।

अगर आपके पास M2 Pro है, तो आज 32 GB Mac जिस सबसे अच्छी स्थिति में हो सकता है, आप उसमें हैं। अगर आपके पास 48 GB या ज़्यादा है, तो यहाँ की ज़्यादातर चेतावनियाँ लागू ही नहीं होतीं। और आपके पास जो भी Mac हो, ollama run inkling-2-mini --verbose वह पाँच मिनट में आपकी अपनी मशीन के बारे में इस गाइड की किसी भी तालिका से ज़्यादा बता देता है।


32 GB Mac पर Inkling 2 Mini चला रहे हैं? कमेंट में अपनी चिप, Ollama वर्ज़न, कॉन्टेक्स्ट सेटिंग और --verbose नंबर साझा करें, ख़ासकर M1, M4 या M5 से। मैं सबसे काम के नतीजे Part 8 में जोड़ूँगा, नाम के साथ। सुधार भी स्वागत योग्य हैं: सपोर्ट इतना नया है कि आज की कुछ बातें जल्दी बदल जाएँगी।

खुलासा: इस गाइड में एक एफ़िलिएट लिंक है — Z.ai’s GLM Coding Plan का (भाग 10 में)। उसके ज़रिए सब्सक्रिप्शन लेने पर आपको 10% की छूट मिलती है और आपके लिए किसी अतिरिक्त खर्च के बिना मुझे कमीशन भी मिल सकता है। इस गाइड में कोई अन्य उत्पाद या कंपनी प्रायोजित नहीं है, और प्रकाशन से पहले उनमें से किसी ने भी इसकी समीक्षा नहीं की।

तथ्य जाँचे गए: 21 नवंबर 2026।

अपना सिग्नल जोड़ें।

आपका ईमेल पता प्रकाशित नहीं किया जाएगा। आवश्यक फ़ील्ड चिह्नित हैं *

hi_INहिन्दी