Zum Inhalt springen
SONNTAG, NOVEMBER 22, 2026UNABHÄNGIGE TECH-NACHRICHTEN, TESTBERICHTE UND PRAKTISCHE ANLEITUNGEN
ÜBER
AKTUELLES /

Inkling 2 Mini auf dem Mac mit Ollama ausführen (32 GB)

LESEN SIE DEN LEITFADEN
KI-AgentenGM / 053

Inkling 2 Mini auf dem Mac mit Ollama ausführen (32 GB)

Inkling 2 Mini mit Ollama auf einem 32-GB-Mac ausführen, Schritt für Schritt: installieren, das 20-GB-Modell holen, Kontext und Arbeitsspeicher einstellen und dann einen lokalen Coding-Agenten verbinden.

Run Inkling 2 Mini with Ollama on a 32GB Mac: three Terminal commands, Ollama 0.40.17, a 16K–32K context and an optional 24 GiB GPU budget

Thinking Machines Lab hat Inkling 2 Mini am 20. November mit einem für ein so leistungsfähiges offenes Modell ungewöhnlichen Versprechen veröffentlicht: Es läuft auf einem Laptop. Das Unternehmen unterstützt es über Ollama auf jedem Mac mit 32 GB Arbeitsspeicher oder mehr. Seine Forscher haben es sogar während eines Flugs offline auf einem MacBook Pro laufen lassen, wo es einen spielbaren Flugsimulator baute. Dieser Leitfaden zeigt dir Schritt für Schritt, wie du Inkling 2 Mini mit Ollama auf einem Mac mit 32 GB ausführst. Er beginnt mit einer frischen Installation und endet mit einem funktionierenden lokalen Coding-Agenten.

Die kurze Version sind drei Befehle. Die längere Version ist der Grund, warum es diesen Leitfaden gibt. Auf einem Mac mit 32 GB belegt das Modell etwa 20 GB. Standardmäßig hält macOS außerdem rund ein Drittel deines Arbeitsspeichers vom Grafikprozessor fern. Ollama reagiert darauf, indem es dem Modell ein Kontextfenster von 4.000 Tokens gibt: gut für einen Chat, viel zu klein für einen Coding-Agenten. Und auf den meisten Macs mit 32 GB können sehr lange Prompts auch heute noch den Arbeitsspeicher überlasten. Nichts davon ist ein Grund, es auszulassen. Es ist ein Grund, es richtig einzurichten.

Du musst nicht programmieren können. Du kopierst ein paar Befehle in Terminal, die Kommandozeilen-App des Mac (drücke Cmd-Space, tippe Terminal und drücke Return). Jeder wird erklärt. Ollamas Unterstützung für Inkling 2 Mini ist erst wenige Tage alt und entwickelt sich schnell, deshalb wurde jede Angabe unten geprüft am 21. November 2026.

Unabhängigkeit und Offenlegung von Affiliate-Links: Kein hier genanntes Unternehmen hat diesen Leitfaden gesponsert, geprüft oder genehmigt. Er enthält einen Affiliate-Link, zum GLM Coding Plan von Z.ai (in Teil 10). Wenn du darüber abonnierst, bekommst du 10 % Rabatt und ich erhalte möglicherweise eine Provision, ohne dass dir dadurch zusätzliche Kosten entstehen.


TL;DR – Die 60-Sekunden-Zusammenfassung

  • Du brauchst: einen Apple-Silicon-Mac mit 32 GB Arbeitsspeicher oder mehr, macOS 14 oder neuer, etwa 25 GB freien Speicherplatz und Ollama 0.40.17 oder neuer.
  • Drei Befehle: ollama --version (0.40.17 oder höher), ollama pull inkling-2-mini (ein Download von 20,2 GB), ollama run inkling-2-mini.
  • Der Haken bei 32 GB: belegen die Gewichte 18,8 GiB, und standardmäßig erlaubt macOS der GPU nur etwa 21,3 GiB. Also setzt Ollama ein 4K-Kontextfenster, zu klein für Agenten.
  • Die entscheidenden Einstellungen: stelle das Kontextfenster auf 16K–32K in Ollamas Einstellungen für Agenten. Erhöhe optional das GPU-Budget auf 24 GiB mit sudo sysctl iogpu.wired_limit_mb=24576 (es wird beim Neustart zurückgesetzt). Halte den Reasoning-Aufwand bei hoch fürs Programmieren, niedrig bei schnellen Fragen. Schließe zuerst speicherhungrige Apps.
  • Auf deinen Chip kommt es heute an: Ollama 0.40.17 aktiviert das speichersparende Lesen von Prompts nur für M2 Pro, M2 Ultra, M3 Ultra, M4 Pro und M5 Pro, Max und Ultra. Im einzigen veröffentlichten 32-GB-Test stürzte ein M2 Max nach etwa 12.000 Tokens mit "Insufficient Memory" ab.
  • Agenten: Pi passt am besten zu 32 GB, weil seine Anweisungen und Tools unter 1.000 Tokens bleiben (ollama launch pi --model inkling-2-mini). Es führt Befehle ohne Nachfrage aus, also halte es in einem Wegwerfordner. OpenCode startet mit etwa 6.900 Tokens und fragt nach einer Konfigurationsänderung zuerst nach. Claude Code fragt standardmäßig nach, aber seine erste Anfrage maß etwa 32.800 Tokens: besser ab 48 GB.
  • Geschwindigkeit: Über 24 Tokens pro Sekunde auf einem 32-GB-M2 Max, und etwa 32 auf einem 48-GB-M4 Pro.
  • Sicherheit: Thinking Machines warnt, dass das Modell in Schleifen geraten, Dateien ohne Nachfrage löschen oder überschreiben und seine Ergebnisse falsch darstellen kann. Arbeite in Git oder mit einer Kopie, lass die Berechtigungsabfragen an und begrenze die Schritte des Agenten.

Auf einen Blick

Modell Inkling 2 Mini von Thinking Machines Lab, veröffentlicht am 20. November 2026, Apache-2.0-Lizenz
Größe 26,4 Mrd. Parameter, 3,4 Mrd. aktiv pro Token; 5,4 Mrd. Gewichtsaktivierungen inklusive der Loop-Schichten
Ollama-Tag inkling-2-mini (auch 26b-a5b und 26b-a5b-nvfp4: dasselbe 20-GB-Paket)
Herunterladen 20.188.097.271 Bytes (20,2 GB oder 18,8 GiB)
Benötigte Zeit Etwa eine halbe Stunde, plus 3 bis 60 Minuten für den Download
Ollama-Version 0.40.17 oder neuer; in dieser Version nur Apple Silicon
Engine Ollamas MLX-Runner, aufgebaut auf dem Machine-Learning-Framework von Apple
Kann Text- und Bildeingabe, Tool-Aufrufe, Denken
Kontext Bis zu 1 Mio. Tokens im Modell; Ollamas Standard auf den meisten 32-GB-Macs: 4K
Unterstütztes Minimum Apple-Silicon-Mac mit 32 GB (Thinking Machines und Ollama)
macOS 14 Sonoma oder neuer (Ollamas Voraussetzung)
Reasoning-Aufwand keine, minimal, niedrig, mittel, hoch (Standard), xhigh, max
Agenten mit einem Befehl Pi, OpenCode, Claude Code, Hermes Agent und OpenClaw, über ollama launch
Gemessene Geschwindigkeit M2 Max 32 GB: etwa 24 Tok/s; M4 Pro 48 GB: etwa 32 Tok/s beim Schreiben, 279 Tok/s beim Lesen

Measured speeds are third-party results.


Inhaltsverzeichnis

Fünf Schritte, um Inkling 2 Mini mit Ollama auf einem Mac auszuführen: Ollama 0.40.17 installieren, das 20-GB-Modell herunterladen, es starten, den Kontext einstellen und einen Coding-Agenten starten
Der ganze Leitfaden in einem Bild. Die Schritte 1 bis 3 dauern ein paar Minuten plus den Download; bei Schritt 4 braucht ein 32-GB-Mac Sorgfalt.

Teil 1 — Bevor du anfängst: Ist dein Mac bereit?

Vier Dinge entscheiden, ob du Inkling 2 Mini mit Ollama ausführen kannst: dein Chip, dein Arbeitsspeicher, deine macOS-Version und dein freier Speicherplatz. Die ersten drei stehen auf einem Bildschirm: Öffne das Apple-Menü und wähle Über diesen Mac. Für den Speicherplatz öffnest du Systemeinstellungen → Allgemein → Speicher.

Anforderung Minimum Warum
Chip Apple Silicon (jeder Chip der M-Serie) Ollama 0.40.17 führt Inkling 2 Mini nur auf Apple Silicon aus. Auf Intel-Macs kann Ollama nur den Prozessor nutzen, nicht die GPU
Speicher 32 GB Unterstütztes Minimum laut Thinking Machines’ und Ollama’s; allein das Modell belegt etwa 20 GB
macOS 14 Sonoma oder neuer Ollama’s eigene Voraussetzung
Freier Speicherplatz Etwa 25 GB 20,2 GB für das Modell, plus Luft zum Atmen für macOS
Ollama 0.40.17 oder neuer Die erste Version, die das Modell kennt (Teil 2)

Was ist mit Macs mit 16 GB und 24 GB? Nicht mit Ollama’s Paket, das eine einzige 20-GB-Datei ohne kleinere Version ist. Komprimierte Kopien gibt es aber: Unsloth veröffentlicht 2-Bit- und 3-Bit-Dateien von etwa 9 bis 14 GB, die mit seinem eigenen Build von llama.cpp laufen. Das ist ein anderer, technischerer Weg, den ich in Inkling 2 Mini vs Qwen3.8-27B, zusammen mit dem, was du bei der Qualität einbüßt.

Welchen 32-GB-Mac hast du?

Dein Chip zählt aus zwei Gründen. Der erste ist die Geschwindigkeit. Ein Modell wie dieses schreibt jedes Wort, indem es seine aktiven Gewichte aus dem Speicher liest. Die Schreibgeschwindigkeit hängt also stark ab von Speicherbandbreite: davon, wie schnell der Chip den Speicher lesen kann. Der M1 Max und der M2 Max haben die doppelte Bandbreite der M1 Pro und M2 Pro und etwa das Dreifache der Basis-M4 und -M5.

Der zweite Grund ist neu und spezifisch für Ollama 0.40.17 (Teil 6 erklärt ihn). Ollama hat eine speicherschonende Art, lange Prompts zu lesen für dieses Modell, aber sie ist nur für einige Chips aktiviert. Unter den Macs, die genau mit 32 GB kommen, hat sie heute nur der M2 Pro.

Chip Mit 32 GB ab Werk? Speicherbandbreite Speicherschonendes Prompt-Lesen in Ollama 0.40.17
M1 Pro Ja 204.8 GB/s Nein
M1 Max Ja 409,6 GB/s Nein
M2 Pro Ja 204.8 GB/s Ja
M2 Max Ja 409,6 GB/s Nein
M4 Ja 120 GB/s Nein
M5 Ja 153,6 GB/s Nein
M3 Pro, M3 Max, M4 Max 36-GB-Versionen 153,6 / 307,2 / 409,6 GB/s Nein
M5 Max 36-GB-Version 460,8 GB/s Ja

Bandbreiten- und Speicheroptionen aus Apples Spezifikationen, wie von Wikipedia zusammengetragen. Die Unterstützung für das Einlesen von Prompts stammt aus dem Quellcode von Ollama 0.40.17, der sie für M2 Pro, M2 Ultra, M3 Ultra, M4 Pro sowie M5 Pro, M5 Max und M5 Ultra aktiviert. M4 Pro und M5 Pro werden nicht mit 32 GB verkauft.

Rechner mit 36 GB haben rund 4 GB mehr Spielraum, als dieser ganze Leitfaden annimmt, sodass dieselben Schritte mit etwas mehr Reserve funktionieren.

Welcher 32-GB-Mac Inkling 2 Mini in Ollama am besten ausführt: Speicherbandbreite und speicherschonendes Prompt-Einlesen je nach Apple-Chip, von M1 Pro und M2 Max bis M4 und M5
Die Bandbreite bestimmt die Schreibgeschwindigkeit; Ollamas speicherschonendes Prompt-Lesen, das derzeit nur auf einigen Chips verfügbar ist, bestimmt, wie lang ein Prompt sein darf, den dein Mac sicher lesen kann.

Teil 2 — Schritt 1: Ollama installieren oder aktualisieren

Ollama ist eine kostenlose App, die offene Modelle herunterlädt und auf deinem eigenen Mac ausführt. Außerdem betreibt sie im Hintergrund einen kleinen Server, mit dem Coding-Agenten später sprechen.

Wenn du Ollama noch nicht hast,

  1. Gehe zu ollama.com/download lade die Mac-Version herunter, Ollama.dmg.
  2. Öffne die Datei und ziehe Ollama in den Ordner Programme Ordner.
  3. Öffne Ollama in Programme. Beim ersten Start prüft es, ob sein ollama Befehl im Terminal verfügbar ist. Wenn nicht, fragt es nach der Erlaubnis, ihn in /usr/local/binabzulegen. Sag Ja und gib bei Aufforderung dein Mac-Passwort ein. Solange Ollama läuft, erscheint ein kleines Lama-Symbol in deiner Menüleiste.
  4. Öffne das Terminal und gib ein:
ollama --version

Du brauchst 0.40.17 oder höher.

Wenn du Ollama bereits hast

Laufen ollama --version. Wenn es älter als 0.40.17 ist, aktualisiere es:

  • Die App: Ollama lädt Updates selbst herunter. Klicke auf das Lama-Symbol in der Menüleiste und wähle Zum Aktualisieren neu starten wenn es angeboten wird. Wenn nicht, lade Ollama erneut herunter von ollama.com/download und ersetze die App. Deine heruntergeladenen Modelle bleiben, wo sie sind.
  • Homebrew: laufen brew upgrade ollama. Homebrews Ollama-Paket war am 21. November bereits bei 0.40.17.

Versionsprüfung, 21. November 2026: Ollama hat die Unterstützung für Inkling 2 Mini in 0.40.17 am 20. November als Vorabversion angekündigt. Die endgültige Version 0.40.17 wurde innerhalb eines Tages auf GitHub getaggt, und Homebrew liefert sie bereits aus. Wenn die Downloadseite dir noch 0.40.16 gibt, hol dir 0.40.17 oder neuer von der GitHub-Releases-Seite. Eine ältere Ollama-Version verweigert den Download mit pull model manifest: 412: The model you are attempting to pull requires a newer version of Ollama.

Zwei Einstellungen, die einen Blick wert sind (optional)

Öffne Ollamas Einstellungen über das Lama-Symbol oder das App-Fenster.

  • Cloud. Dieser Schalter aktiviert Ollamas Cloud-Modelle und die Websuche. Inkling 2 Mini läuft sowieso komplett auf deinem Mac; in Ollamas eigener FAQ steht, dass Ollama bei lokalem Betrieb deine Prompts und Daten nicht sieht. Schalte Cloud aus, wenn du sicher sein willst, dass nichts auf ein Cloud-Modell zurückfallen kann. Beachte aber, dass die Websuche-Werkzeuge in manchen Agenten Ollamas Cloud nutzen.
  • Modellspeicherort. Wenn auf deiner internen Festplatte der Platz knapp wird, richte dies auf eine externe SSD bevor bevor du die 20 GB herunterlädst.

Teil 3 — Schritt 2: Inkling 2 Mini herunterladen

Ein Befehl:

ollama pull inkling-2-mini

Der Download ist 20.188.097.271 Bytegroß, also etwas mehr als 20 GB. Hier siehst du ungefähr, wie lange das bei voller Geschwindigkeit dauert; echte Downloads sind meist langsamer:

Deine Verbindung Download-Zeit
50 Mbit/s etwa 54 Minuten
100 Mbit/s etwa 27 Minuten
250 Mbit/s etwa 11 Minuten
500 Mbit/s etwa 5½ Minuten
1 Gbit/s etwa 3 Minuten

Wenn der Download abbricht, führe denselben Befehl erneut aus, und er läuft an der Stelle weiter, an der er aufgehört hat.

Ein paar Dinge, die du über das gerade Heruntergeladene wissen solltest:

  • Es gibt nur eine Version. Die drei Tags auf Ollamas Bibliotheksseite, latest, 26b-a5b und 26b-a5b-nvfp4, sind dasselbe 20-GB-Paket. Es gibt keine kleinere Ollama-Version zur Auswahl.
  • Es ist das Original, keine komprimierte Kopie. Thinking Machines hat die meisten Gewichte des Modells in einem 4-Bit-Format namens NVFP4 trainiert und die letzten vier Schichten in einem 8-Bit-Format, MXFP8. Genau so wird es ausgeliefert. Ollamas Paket enthält diese Gewichte, es ging bei einer Konvertierung also nichts verloren.
  • Es kann sehen. Das Paket verarbeitet Bilder ebenso wie Text, und es kann Tools aufrufen – genau das ermöglicht Coding-Agenten die Nutzung.

Prüfe, ob es angekommen ist:

ollama ls

Du siehst dann inkling-2-mini:latest mit einer Größe von 20 GB.


Teil 4 — Schritt 3: Inkling 2 Mini zum ersten Mal in Ollama ausführen

Starte einen Chat im Terminal:

ollama run inkling-2-mini --verbose

Der erste Start dauert einen Moment, weil Ollama 20 GB von deiner Festplatte in den Arbeitsspeicher lädt. Danach erscheint die >>> Eingabeaufforderung. Probiere etwas wie:

Erkläre in drei Sätzen, was ein Looped Transformer ist.

Inkling 2 Mini denkt nach, bevor es antwortet, sodass du zuerst seine Überlegungen siehst und danach die Antwort. Wenn du ihm nicht beim Denken zusehen möchtest, starte es mit --hidethinking stattdessen.

Lies die Zahlen

Weil du --verbosehinzugefügt hast, gibt Ollama nach jeder Antwort Statistiken aus. Zwei Zeilen sind wichtig:

Zeile Was es bedeutet
Prompt-Eval-Rate Wie schnell das Modell lesen deine Nachricht, in Tokens pro Sekunde
eval rate Wie schnell es die Antwort geschrieben hat , in Tokens pro Sekunde. Ein Token ist ungefähr drei Viertel eines englischen Wortes

Zum Vergleich: Der einzige veröffentlichte Ollama-Test auf einem Mac mit 32 GB, einem M2 Max, ergab etwa 24 Tokens pro Sekunde. Teil 8 enthält die weiteren Messwerte.

Ein paar Dinge, die du als Nächstes tun kannst

  • Beende den Chat: Typ /bye oder drücke Ctrl-D. Das Modell bleibt fünf Minuten im Arbeitsspeicher, falls du zurückkommst.
  • Gib den Arbeitsspeicher jetzt frei: ollama stop inkling-2-mini.
  • Frag etwas zu einem Bild: tippe deine Frage ein und ziehe dann eine Bilddatei aus dem Finder in das Terminal-Fenster, wodurch ihr vollständiger Pfad eingefügt wird. Drücke die Eingabetaste.
  • Nutze stattdessen die App: öffne die Ollama-App und wähle inkling-2-mini im Modellmenü aus und chatte dort. Du kannst Bilder auch in das Fenster ziehen.

Prüfe, ob Inkling 2 Mini richtig läuft

Öffne, während das Modell geladen ist, ein zweites Terminal-Fenster und führe aus:

ollama ps
Spalte Was du sehen möchtest
NAME inkling-2-mini:latest
SIZE Wie viel Arbeitsspeicher das Modell belegt
PROCESSOR 100% GPU. Auf Apple Silicon heißt das, dass es auf dem Grafikprozessor im gemeinsamen Speicher läuft
CONTEXT Wie viele Token Konversation es halten kann. Auf den meisten 32-GB-Macs steht hier 4096 bis du es in Teil 5 änderst
RUNNER mlx, Ollamas Engine für Apple Silicon
UNTIL Wann Ollama es entlädt, wenn du es nicht nutzt

Du kannst Ollama auch fragen, was es beim Start erkannt hat:

grep "vram-based default context" ~/.ollama/logs/server.log | tail -1

Auf einem 32-GB-Mac solltest du einen total_vram von etwa 21 GiB und default_num_ctx=4096. Diese eine Zeile erklärt den größten Teil von Teil 5.


Chatten funktioniert ohne jede Änderung. Bei Coding-Agenten und langen Dokumenten klappt das nicht, weil ein 32-GB-Mac seinen Speicher aufteilt. Alle Speicherangaben in diesem Teil sind in GiB, den binären Gigabyte also, die macOS und Ollama melden; ein "32 GB"-Mac hat 32 GiB.

Hier die Rechnung. Die Gewichte von Inkling 2 Mini belegen 18,8 GiB. Auf einem 32-GB-Mac erlaubt macOS dem Grafikprozessor, etwa zwei Drittel des Speichers zu nutzen, etwa 21,3 GiB, sofern du das nicht änderst. VisualInference hat dieselben Originalgewichte in einer anderen MLX-App, mlx-vlm, auf einem 48-GB-M4 Pro gemessen. Der Speicher erreichte Spitzenwerte von 20,3 GiB mit einem kurzen Prompt, 21,4 GiB bei 4.000 Token und 22,1 GiB bei 16.000 Token. Mit anderen Worten: Sobald der Prompt lang wird, erreicht das Modell allein die Grenze des Standard-GPU-Budgets. Und das, bevor macOS und deine anderen Apps ihren Anteil nehmen.

Inkling 2 Mini Arbeitsspeicher auf einem 32-GB-Mac: 18,8 GiB Gewichte und gemessene Spitzen von 20,3 bis 22,1 GiB gegenüber dem Standard-GPU-Budget von 21,3 GiB und einem erhöhten Budget von 24 GiB
Wohin die 32 GiB gehen. Die Spitzenwerte wurden mit mlx-vlm auf einem 48-GB-M4 Pro mit denselben Originalgewichten gemessen, die Ollama ausliefert; Ollamas eigene Zahlen weichen etwas ab. Die GPU-Budgets sind die macOS-Standardwerte und das optional erhöhte Limit.

Vier Einstellungen machen den Unterschied.

Einstellung 1: Kontextlänge (die wichtigste)

Die Kontextlänge gibt an, wie viel Text das Modell auf einmal halten kann. Dazu gehören deine Nachrichten und seine Antworten und bei einem Agenten auch der System-Prompt, die Tool-Definitionen und jede Datei, die er gelesen hat. Zu klein, und ein Agent verliert stillschweigend seine Anweisungen und macht seltsame Fehler. Zu groß, und du reservierst Speicher, den du nie brauchst.

Ollama wählt einen Standardwert anhand des erkannten GPU-Speichers:

Von Ollama erkannter GPU-Speicher Standard-Kontext
Unter 23 GiB (die meisten 32-GB-Macs: etwa 21,3 GiB) 4K Token
23 bis 47 GiB 32K Token
47 GiB oder mehr 256.000 Token

Die Dokumentation von Ollama nennt die Stufen unter 24, 24–48 und 48 GiB oder mehr. Der Code in 0.40.17 verwendet 23 und 47 GiB, um kleine Unterschiede in dem auszugleichen, was jeder Mac meldet.

Was ein größeres Kontextfenster Inkling 2 Mini an Speicher kostet, berechnet aus seiner Konfiguration:

Kontext Zusätzlicher Speicher für das Kontextfenster
4K 0.28 GiB
8K 0.41 GiB
16K 0.66 GiB
32K 1.16 GiB
64K 2.16 GiB
128K 4.16 GiB

Inkling 2 Mini braucht weniger Speicher pro Kontext-Token als die meisten Modelle seiner Größe. Nur vier seiner 24 Schichten blicken über die gesamte Unterhaltung zurück. Der Arbeitsspeicher, der beim Lesen eines Prompts dazukommt, kommt obendrauf; die oben gemessenen Spitzenwerte enthalten ihn.

Was du einstellst

Was du gerade machst Kontext Warum
Chatten und kurze Fragen 4K–8K (der Standard reicht) Braucht den wenigsten Speicher
Lange Dokumente oder Codedateien einfügen 16K Etwa 12.000 englische Wörter
Pi-Agent 16K (8K auf Chips ohne das speichersparende Prompt-Lesen aus Teil 6) Pis eigene Anweisungen sind winzig (Teil 7)
OpenCode 32K auf einem M2 Pro Das Maximum, das du ihm auf 32 GB bequem geben kannst. Ollama empfiehlt 64K oder mehr für Agenten, was sich dieser Mac neben einem 20-GB-Modell kaum leisten kann. Lies auf anderen Chips zuerst Teil 6
Claude Code 64K oder mehr laut Ollama Auf 32 GB nicht realistisch; siehe Teil 7

So stellst du es ein

Am einfachsten änderst du die Kontextlänge von Ollama in der App: Öffne Einstellungen → Kontextlänge und verschiebe den Schieberegler, der Raster bei 4k, 8k, 16k, 32k, 64k, 128k und 256k hat. Ollama startet seinen Server neu, um das anzuwenden, und die Einstellung übersteht einen Neustart deines Mac.

Es gibt drei weitere Wege, die später nützlich sind:

# Nur für eine Chat-Sitzung, innerhalb von `ollama run`:
/set parameter num_ctx 16384

# Für die Ollama-App, bis du deinen Mac neu startest (dann Ollama beenden und neu öffnen):
launchctl setenv OLLAMA_CONTEXT_LENGTH 32768

Wenn du den Schieberegler der App schon verschoben hast, gewinnt der Regler gegenüber der launchctl Einstellung.

Oder erstelle eine Kopie des Modells mit eigenem, fest eingebautem Kontext, was praktisch ist, wenn du 8K für den Chat, aber 32K für einen Agenten willst. Füge das in Terminal ein; es erstellt eine kleine Textdatei namens Modelfile und dann das neue Modell:

cat > Modelfile <<'EOF'
FROM inkling-2-mini
PARAMETER num_ctx 32768
EOF
ollama create inkling-2-mini-32k -f Modelfile

Die Kopie lädt die 20 GB an Gewichten nicht herunter und dupliziert sie auch nicht. Danach verwendest du inkling-2-mini-32k überall dort, wo du sonst inkling-2-mini. Welche Methode du auch wählst, bestätige sie in der CONTEXT Spalte von ollama ps.

Einstellung 2: Gib der GPU mehr Platz (optional)

macOS begrenzt, wie viel Speicher die GPU für sich behalten darf, und Ollama behandelt dieses Limit als deinen "VRAM". Auf einem Mac mit 32 GB sind das etwa 21,3 GiB. Daraus folgt dreierlei. Ollama leitet daraus sein Standard-Kontextfenster ab (Einstellung 1). Ollamas MLX-Engine hält das geladene Modell bis zu diesem Limit im Speicher. Ist das Modell größer, protokolliert sie eine Warnung, dass die Leistung sinken kann. Und wenn ein einzelner Arbeitsschritt mehr GPU-Speicher braucht, als verfügbar ist, stoppt macOS ihn. Das ist der Insufficient Memory Crash aus Teil 6. Laut Apples Dokumentation bedeutet er, dass die GPU nicht genügend Speicher hatte, um einen Command Buffer auszuführen.

Du kannst das Limit bis zu deinem nächsten Neustart anheben; Apples MLX-Dokumentation nennt genau dafür den Befehl. Prüfe zuerst den aktuellen Wert; 0 steht für den Standard von macOS:

sysctl iogpu.wired_limit_mb

Setz es auf 24 GiB, dann bleiben 8 GiB für macOS und deine Apps:

sudo sysctl iogpu.wired_limit_mb=24576

Beende Ollama dann über die Menüleiste und öffne es erneut, denn Ollama liest das Limit nur beim Start. Führe den grep Befehl aus Teil 4 erneut aus, dann total_vram sollte er jetzt etwa 24 GiB anzeigen.

Vier Dinge, die du wissen solltest

  • Es ändert auch dein Standard-Kontextfenster. Wenn 24 GiB erkannt werden, springt Ollamas Standard von 4K auf 32K (die Tabelle oben), sodass du Einstellung 1 vielleicht gar nicht brauchst.
  • Es gibt der GPU mehr Platz, nicht mehr Speicher. Es verschiebt die Grenze zwischen GPU und macOS; es fügt keinen hinzu. Wird es für deine anderen Apps dann knapp, lagert macOS stattdessen aus.
  • Es wird zurückgesetzt, wenn du deinen Mac neu startest. Das ist ein Sicherheitsnetz, kein Bug. Wenn du es früher rückgängig machen willst: sudo sysctl iogpu.wired_limit_mb=0.
  • Es ist keine offizielle macOS-Einstellung. Es ist für lokale KI weit verbreitet, aber wenn dein Mac während einer Sitzung stark auslagert, einfriert oder unerwartet neu startet, setz es zurück auf 0. Auf einem Mac mit 32 GB solltest du nicht viel höher als 24 GiB gehen.

Einstellung 3: Denkaufwand

Inkling 2 Mini entscheidet anhand der Einstellung Denkaufwand darüber, wie stark es nachdenkt. Ollamas Standard ist hoch. So übersetzt Ollama 0.40.17 die Namen in den Wert, den das Modell tatsächlich erhält:

Ollama-Einstellung Aufwand, den das Modell erhält Geeignet für
keine oder false 0 (Denken ausgeblendet) Einfache Nachschlagevorgänge
minimal 0.1 Kurze Fakten
niedrig 0.2 Kurze Antworten, Zusammenfassungen, Umformulierungen
mittel 0.7 Alltagsfragen
hoch oder wahr (default) 0.9 Coding und Agentenarbeit
xhigh oder max 0.99 Schwierige Probleme, wenn du warten kannst

Aus Ollama 0.40.17’s Inkling 2 Mini-Renderer. Thinking Machines merkt an, dass selbst das Minimum das Nachdenken nicht vollständig abschaltet.

Inkling 2 Mini Reasoning-Aufwand in Ollama: die think-Werte none, minimal, low, medium, high und max, abgebildet auf die Aufwandsnummern, die das Modell erhält, mit high als Standard
Sieben Namen, sechs Aufwandsstufen: xhigh und max übergeben denselben Wert. Die Standardeinstellung high ist die richtige Wahl fürs Programmieren.

So legst du ihn für einen Chat fest:

ollama run inkling-2-mini --think=low

Innerhalb eines Chats /set nothink senkt ihn auf die niedrigste Stufe und blendet das Nachdenken aus, und /set think schaltet es wieder ein. In Ollama’s API kommen dieselben Namen in das think Feld.

Meine Empfehlung: lass ihn auf hoch beim Programmieren und bei Agenten, wo sich das Nachdenken bezahlt macht. Nutze niedrig oder mittel bei schnellen Fragen, damit du nicht auf langes Nachdenken für eine Ein-Zeilen-Antwort wartest.

Einstellung 4: Im Speicher halten und danach wieder entladen

Ollama entlädt ein Modell nach fünf Minuten ohne Nutzung, und 20 GB erneut zu laden kostet Zeit. In einer Agentensitzung mit Pausen nervt das. Um es nach jeder Nutzung 30 Minuten geladen zu halten:

launchctl setenv OLLAMA_KEEP_ALIVE 30m

Dann beende Ollama und starte es neu. Für einen einzelnen Chat ollama run inkling-2-mini --keepalive 30m macht dasselbe. Die Kehrseite: Wenn du fertig bist, gib den Speicher zurück mit ollama stop inkling-2-mini.

Zwei weitere Stellschrauben für Neugierige

  • Der eingebaute Drafter. Thinking Machines liefert Inkling 2 Mini mit einem kleinen Hilfsnetzwerk, DSpark, das ein paar Wörter vorausrät. Das Hauptmodell prüft sie dann in einem Durchgang. Ollama unterstützt das und schaltet das Drafting für jedes Modell mit Drafter standardmäßig ein. In veröffentlichten MLX-Tests außerhalb von Ollama steigerte DSpark die Schreibgeschwindigkeit von Inkling auf einem M5 Max von 43,6 auf 70,9 Token pro Sekunde. Auf einem M4 Pro senkte es die Geschwindigkeit von 31,1 auf 18,7. Teste es also auf deinem Mac: in einem Chat /set parameter draft_num_predict 0 schaltet es ab; vergleiche die eval rate mit und ohne.
  • Parallele Anfragen. Seit 0.40.17 kann Ollama auf Apple Silicon mehrere Anfragen gleichzeitig beantworten, und jede braucht ihren eigenen Kontextspeicher. Ollama wählt dafür einen vorsichtigen Standardwert aus deinem freien Speicher. Wenn ein Agent, der Helfer parallel startet, deinen Mac trotzdem in den Swap treibt, begrenze es mit launchctl setenv OLLAMA_NUM_PARALLEL 1. Beende dann Ollama und starte es neu.

Einstellungen, die hier nicht helfen

Leitfäden für andere Modelle empfehlen oft OLLAMA_KV_CACHE_TYPE=q8_0 um den Speicher zu halbieren, den ein Kontext belegt, zusammen mit Flash Attention. In Ollama 0.40.17 gehören diese Einstellungen zu seiner llama.cpp Engine; Inkling 2 Mini läuft auf der MLX Engine, und nichts im Code dieser Engine liest sie. Dasselbe gilt für GPU-Layer-Einstellungen wie num_gpu. Und lass temperature in Ruhe: Ollama’s Paket verwendet den Standardwert 1,0 von Thinking Machines, den auch Unsloth empfiehlt.

Vor einer langen Sitzung: Arbeitsspeicher freimachen

Neu laden Aktivitätsanzeige (in Programme → Dienstprogramme) und klicke auf den Speicher Tab. Unten siehst du die Speicherdruck Grafik und Swap-Speicher. Grün ist gut, Gelb bedeutet, dass macOS den Arbeitsspeicher komprimiert, und Rot bedeutet, dass auf deine Festplatte ausgelagert wird, was alles langsam macht. Schließe vor einer Agentensitzung die großen Verbraucher: Browser mit vielen Tabs, Docker Desktop, iPhone-Simulatoren, Video- und Fotobearbeitung. Auf einem Laptop steckst du für lange Läufe das Ladegerät an.


Teil 6 — Der 32-GB-Realitätscheck: Dein Chip entscheidet

Dieser Teil ist wichtig, wenn dein Mac einen anderen Chip als den M2 Pro hat (oder einen M5 Max mit 36 GB), und das betrifft die meisten 32-GB-Macs. Es ist außerdem der Teil, den Ollama’s Release Notes nicht erwähnen.

Was passiert, wenn Inkling 2 Mini einen langen Prompt liest

Bevor ein Modell etwas schreibt, liest es deinen gesamten Prompt. Ollama’s MLX-Engine macht das 2.048 Token auf einmal. Für jeden Block berechnet Inkling 2 Mini, wie jedes neue Token zu jedem Token davor in Beziehung steht, anhand eines gelernten Abstandsmaßes zwischen ihnen. Dieser Schritt braucht eine temporäre Tabelle, die mit allem wächst, was das Modell bisher in der Unterhaltung gelesen hat.

Ollama 0.40.17 enthält eine speichersparende Methode um das zu tun, die den Prompt in kleine Kacheln zerlegt, sodass die Tabelle nie groß wird. Der Quellcode aktiviert sie nur für diese Chips: M2 Pro, M2 Ultra, M3 Ultra, M4 Pro sowie M5 Pro, Max und Ultra. Jeder andere Chip fällt auf eine allgemeine Methode zurück, deren Speicherbedarf mit dem Prompt wächst. Dazu gehören M1 Pro und Max, M2 Max sowie das Basismodell M4 und das Basismodell M5.

Wie das auf einem M2 Max mit 32 GB aussah

Der einzige veröffentlichte Test von Ollama 0.40.17 auf einem 32-GB-Mac stammt von den Entwicklern von Genex. Das Team probierte Inkling 2 Mini auf einem M2 Max mit 32 GB aus:

  • Der Download funktionierte, und eine kurze Tool-Calling-Anfrage lieferte eine korrekte Antwort mit etwa 24 Tokens pro Sekunde.
  • Eine Anfrage mit 18.003 Token stürzte nach 12.288 Token ab mit dem Fehler mlx: [METAL] Command buffer execution failed: Insufficient Memory. Kontext auf 32.768 und Batchgröße auf 512 zu setzen, half nicht.
  • Der echte Prompt der Entwickler mit 15.089 Token stürzte genauso ab.
  • Eine von echten Screenshots angetriebene Computer-Use-Schleife funktionierte.

Die Forscher schlossen daraus, dass das Modell für kurze Prompts auf einen 32-GB-Mac passt, nicht aber für die langen Prompts ihrer App. Also änderten sie ihre App so, dass sie Inkling 2 Mini erst ab 48 GB empfiehlt.

Was du dagegen tun kannst

Dein Chip Was heute zu erwarten ist Was zu tun ist
M2 Pro (32 GB) oder M5 Max (36 GB) Lange Prompts nutzen begrenzten Speicher Agenten mit 16K–32K-Kontext, bei angehobenem GPU-Budget (Teil 5)
M1 Pro, M1 Max, M2 Max, M4, M5 (32 GB) Eine Sitzung, die deutlich über etwa 10.000 Token hinauswächst, riskiert einen Absturz mit "Insufficient Memory" Nutze es für Chat und kürzere Dokumente; für Agenten nutze Pi mit einem 8K-Kontext und starte für jede Aufgabe eine neue Sitzung; erhöhe das GPU-Budget; aktualisiere Ollama, sobald eine neue Version erscheint
M3 Pro, M3 Max, M4 Max (36 GB) Gleicher Fallback, mit etwa 4 GB mehr Platz Wie oben, mit etwas mehr Spielraum

Zwei Dinge solltest du im Blick behalten. Erstens ist das eine Softwaregrenze, keine Hardwaregrenze. Der speichersparende Code existiert; er ist nur noch nicht für jeden Chip aktiviert, und Ollama veröffentlicht fast jede Woche neue Versionen. Lies die Versionshinweise, wenn du aktualisierst. Zweitens zählt, wie viel Text das Modell in einer Sitzung durcharbeiten muss, nicht die Zahl am Kontextregler. Jeder neue Abschnitt wird mit allem davor verglichen, also schadet eine lange Unterhaltung genauso wie ein langer Prompt, und Coding-Agenten bauen schnell lange Unterhaltungen auf. Ein kleiner Kontext hält Sitzungen kurz; frische Sitzungen halten sie noch kürzer.


Teil 7 — Schritt 5: Inkling 2 Mini als lokales Backend für einen Coding-Agenten nutzen

Ein Coding-Agent ist ein Programm, das einem Modell Werkzeuge gibt, etwa das Lesen von Dateien, das Bearbeiten von Dateien und das Ausführen von Befehlen. Es lässt das Modell eine Aufgabe Schritt für Schritt durcharbeiten. Normalerweise sitzt das Modell in einem Rechenzentrum. Hier wird Inkling 2 Mini auf deinem Mac zum lokalen Backend: der Agent schickt seine Anfragen stattdessen an Ollama.

Ollama als lokales Backend für Coding-Agenten: Pi, OpenCode und Claude Code schicken ihre Modellanfragen an Inkling 2 Mini unter localhost:11434, auf demselben Mac
Wie die Teile zusammenpassen. Ollama lauscht standardmäßig nur auf deinem eigenen Mac und spricht die API-Formate, die Agenten ohnehin verstehen.

Wie es funktioniert

Wenn Ollama läuft, lauscht es auf http://localhost:11434, einer Adresse, die nur Programme auf deinem Mac erreichen können. Es spricht die API-Formate, die Agenten bereits kennen: ein OpenAI-kompatibles Angebot unter http://localhost:11434/v1, ein Anthropic-kompatibles Angebot für Claude Code, und sein eigenes. Der Agent schickt seinen Prompt und seine Werkzeugdefinitionen, und Inkling 2 Mini entscheidet, welches Werkzeug aufgerufen wird. Der Agent führt dieses Werkzeug auf deinem Mac aus und schickt das Ergebnis zurück. Die Schleife wiederholt sich, bis die Aufgabe erledigt ist.

Nichts davon musst du von Hand konfigurieren. Der ollama launch Befehl installiert unterstützte Agenten, falls sie fehlen, richtet sie auf Ollama aus und startet sie.

Bevor du einen Agenten startest

  1. Kontext zuerst einstellen (Teil 5). Das ist wichtiger, als es klingt: wenn du OpenCode über ollama launchstartest, liest Ollama den Kontext, mit dem das Modell tatsächlich geladen wurde, und nennt OpenCode diese Zahl. Steht Ollama noch auf 4K, glaubt OpenCode das.
  2. Arbeite in einem Testordner unter Git, damit du jede Änderung siehst und rückgängig machen kannst:
mkdir -p ~/Projects/inkling-test
cd ~/Projects/inkling-test
git init

Wenn du gitzum ersten Mal benutzt, kann macOS anbieten, Apples Command Line Developer Tools zu installieren. Nimm das Angebot an; es dauert ein paar Minuten.

  1. Schließe die speicherhungrigen Apps (Teil 5).

Welchen Agenten solltest du bei 32 GB nutzen?

Pi OpenCode Claude Code
Einrichtung mit einem Befehl ollama launch pi --model inkling-2-mini ollama launch opencode --model inkling-2-mini ollama launch claude --model inkling-2-mini
Du installierst zuerst Node.js Nichts; Ollama bietet die Installation an Nichts; Ollama bietet die Installation an
Anweisungen und Werkzeuge, die vor deinem ersten Wort gesendet werden Unter 1.000 Tokens Etwa 6.900 Tokens Etwa 32.800 Token
Fragt vor dem Ausführen von Befehlen Nein, von Haus aus Nicht standardmäßig; eine Konfigurationsänderung schaltet es ein Ja, für die meisten Aktionen
Kontext, den du auf 32 GB einstellen solltest 16K (8K auf Chips ohne das speichersparende Prompt-Lesen) 32K auf einem M2 Pro Ollama empfiehlt 64K oder mehr
Am besten auf Jedem 32-GB-Mac, in einem Wegwerfordner M2 Pro mit 32 GB oder 48 GB und mehr 48 GB und mehr

Die Zahl für Pi stammt von seinem Autor. Die Werte für OpenCode und Claude Code kommen aus Systimas Messung vom Juli 2026 der ersten Anfrage jedes Agenten. Systima nutzte ein leeres Projekt ohne MCP-Server, OpenCode 1.17 und Claude Code 2.1 mit einem Claude-Modell. Beide Agenten wurden seither aktualisiert, lies die Zahlen also als Größenordnungen. Ollamas allgemeine Empfehlung für Agenten ist ein Kontextfenster von mindestens 64K.

Pi vs OpenCode vs Claude Code mit Inkling 2 Mini auf einem 32-GB-Mac: Setup-Befehl, Anweisungen pro Anfrage, Berechtigungsabfragen und die beste Eignung für jeden
Auf einem 32-GB-Mac tauschst du Speicher gegen Leitplanken: Pi sendet am wenigsten, fragt aber nach nichts; Claude Code fragt am meisten, sendet aber auch am meisten.

Option A: Pi, der leichteste

Pi ist ein bewusst minimaler Coding-Agent mit vier Werkzeugen: read, write, edit und bash. Sein Autor sagt, sein System-Prompt und seine Werkzeugdefinitionen kommen zusammen auf unter 1.000 Token. Damit passt er am besten zu einem 32-GB-Mac, und es ist der Agent, den Ollama in seiner eigenen Inkling-2-Mini-Ankündigung vorgeschlagen hat.

  1. Installieren Node.js: lade den LTS-Installer herunter von nodejs.org und führe ihn aus. ollama launch pi braucht Nodes npm um Pi zu installieren.
  2. Wechsle in deinen Testordner und starte:
cd ~/Projects/inkling-test
ollama launch pi --model inkling-2-mini

Ollama installiert Pi, konfiguriert es für dein lokales Modell und öffnet eine Sitzung.

⚠️ Pi fragt nichts nach. Sein Autor beschreibt es als Laufen im "Voll-YOLO-Modus": keine Berechtigungsabfragen für Dateioperationen oder Befehle und uneingeschränkter Zugriff auf deine Dateien. Thinking Machines warnt außerdem, dass Inkling 2 Mini Dateien ohne Bestätigung löschen oder überschreiben kann. Zusammen bedeutet das: starte Pi nur in einem Wegwerfordner, nie in deinem Home-Ordner oder einem Projekt ohne Backup. Sein Autor schlägt vor, es in einem Container laufen zu lassen, wenn du eine echte Grenze willst; mein Apple-Container-Leitfaden zeigt, wie du einen auf einem Mac einrichtest.

Noch ein Detail: Wenn Pi über Ollama gestartet wird, nutzt sein Websuche-Werkzeug Ollamas Cloud-Websuche. Dafür brauchst du ein Ollama-Konto und die Cloud-Einstellung aktiviert. Alles andere bleibt auf deinem Mac.

Option B: OpenCode, der ausgereifte Mittelweg

OpenCode ist ein beliebter Open-Source-Coding-Agent mit Vollbild-Terminaloberfläche, Snapshots pro Schritt und einem Berechtigungssystem, das du verschärfen kannst.

cd ~/Projects/inkling-test
ollama launch opencode --model inkling-2-mini

Wenn OpenCode nicht installiert ist, fragt Ollama, ob es installiert werden soll; sag ja. Ollama übergibt OpenCode dann seine Einstellungen für diese Sitzung, ohne deine eigenen zu überschreiben ~/.config/opencode/opencode.json. Es richtet die Limits von OpenCode an dem Kontext aus, mit dem das Modell geladen wurde, und behält ein Viertel davon, bis zu 8K Tokens, für die Antwort. Seit 0.40.17 reicht es auch die Denkoptionen von Inkling 2 Mini weiter.

Die erste Anfrage von OpenCode ist moderat, etwa 6.900 Tokens in Systimas Messung vom Juli. Aber jede Datei, die es liest, und jede Befehlsausgabe, die zurückkommt, kommen zur Unterhaltung hinzu. Auf einem 32-GB-Mac ohne das speichersparende Prompt-Lesen aus Teil 6 ist das die Zahl, auf die du achten musst. Es braucht nicht viele Dateien, um die 12.000 Tokens zu überschreiten, bei denen der M2 Max abgestürzt ist.

OpenCode v2 findet die Modelle von Ollama beim Start auch selbst, du kannst also einfach opencode starten und das Modell auswählen mit /models. Der Start über Ollama ist auf 32 GB trotzdem der bessere Weg, weil es OpenCode mitteilt, welchen Kontext du tatsächlich hast.

Lass es zuerst fragen und begrenze die Schritte

Standardmäßig lässt OpenCode v2 das Modell Shell-Befehle ausführen und Dateien bearbeiten, ohne zu fragen; seine Standardregeln fragen nur vor dem Lesen von .env Dateien. Bei einem Modell, dessen Hersteller vor destruktiven Aktionen warnt, solltest du das ändern. Thinking Machines empfiehlt außerdem, die Agenten-Runden zu begrenzen, weil das Modell manchmal in langen Denkschleifen hängt, besonders beim Debuggen, und die steps -Option von OpenCode erledigt das. Beides gehört in ~/.config/opencode/opencode.json (leg die Datei an, falls sie noch nicht existiert):

{
  "$schema": "https://opencode.ai/config.json",
  "permissions": [
    { "action": "shell", "resource": "*", "effect": "ask" },
    { "action": "edit", "resource": "*", "effect": "ask" }
  ],
  "agents": {
    "build": { "steps": 40 }
  }
}

Die permissions Regeln lassen OpenCode vor jedem Shell-Befehl und jeder Bearbeitung fragen. Der Erstellen build-Agent ist der Standard von OpenCode; beim letzten erlaubten Schritt entfernt OpenCode die Tools und bittet das Modell um eine Zusammenfassung. Prüf, ob es wirkt, indem du OpenCode bittest, eine Datei zu erstellen: Jetzt sollte es dich zuerst fragen. Wenn nicht, erklärt die Berechtigungsdokumentation von OpenCode, wie Agenten eigene Regeln hinzufügen können. Zu allem anderen rund um OpenCode, von Plänen bis zu MCP-Servern, siehe meinen OpenCode-Leitfaden.

Option C: Claude Code, der schwerste Kandidat

Claude Code arbeitet über Ollamas Anthropic-kompatible API mit Ollama zusammen, seine Anfragen gehen also an deinen Mac statt an die Server von Anthropic. Standardmäßig fragt es vor den meisten Aktionen nach Erlaubnis, was es zum vorsichtigsten der drei macht.

cd ~/Projects/inkling-test
ollama launch claude --model inkling-2-mini

Ollama bietet an, Claude Code zu installieren, falls es fehlt. Wenn du es lieber später selbst starten willst, sind das die Einstellungen, um die es sich ollama launch kümmert:

export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model inkling-2-mini

Ollama 0.40.17 lässt Claude Code MCP-Tools außerdem nur laden, wenn sie gebraucht werden, statt alle auf einmal, was die Prompts kürzer hält. Die eingebauten Tools von Claude Code bleiben aber unangetastet, und genau die machen es schwer. In Systimas Messung vom Juli ohne MCP-Server lag die allererste Anfrage von Claude Code bei etwa 32.800 Tokens, überwiegend Tool-Definitionen. Das ist mehr, als ein 32K-Kontext fasst, und deutlich über den 12.000 Tokens, bei denen der M2 Max abgestürzt ist. Ollama empfiehlt dafür einen Kontext von 64K oder mehr. Auf einem 32-GB-Mac kannst du es aus Neugier probieren; plane es ab 48 GB ein.

Weitere Agenten und Apps

Die Bibliotheksseite von Ollama listet Ein-Befehl-Starts für zwei weitere Agenten, und dasselbe Muster funktioniert für Codex:

ollama launch hermes --model inkling-2-mini     # Hermes Agent
ollama launch openclaw --model inkling-2-mini   # OpenClaw
ollama launch codex --model inkling-2-mini      # OpenAIs Codex-CLI

Jedes andere Tool, das die OpenAI API spricht, kann Inkling 2 Mini ebenfalls nutzen. Gib ihm die Basis-URL http://localhost:11434/v1, den Modellnamen inkling-2-mini und irgendeinen Text als API-Schlüssel. Ollama prüft den Schlüssel nicht, aber viele Tools lehnen einen leeren ab.

Deine erste Agenten-Aufgabe

Fang mit etwas Kleinem und Sichtbarem in deinem Testordner an:

Erstelle eine einseitige To-do-Listen-Webseite namens index.html, die Aufgaben
im Browser speichert. Halte es einfach und erklär, wie man sie am Ende öffnet.

Sieh zu, was es tut: welche Dateien es liest, was es schreibt, welche Befehle es ausführt. Wenn es fertig ist, öffne die Seite mit open index.html, und prüf die Änderung mit Git:

git status      # welche Dateien sich geändert haben oder neu aufgetaucht sind
git diff        # was sich in Dateien geändert hat, die Git bereits kannte

Wenn dir das Ergebnis nicht gefällt, lösch den Ordner und fang von vorn an. Genau dafür ist ein Testordner da.

Fünf Regeln für den sicheren Betrieb eines lokalen Agenten

Die Modellkarte von Thinking Machines ist ungewöhnlich offen über die Fehlermodi von Inkling 2 Mini. Es kann in langen Denkschleifen hängen bleiben. Es kann Dateien ohne Bestätigung löschen oder überschreiben, und es meldet das Ergebnis seiner Arbeit möglicherweise nicht korrekt. Außerdem nennt es falsche Fakten eher mit Überzeugung als größere Modelle. Nichts davon ist für ein Modell dieser Größe ungewöhnlich. Es bedeutet nur:

  1. Git oder eine Kopie, immer. Lass einen Agenten niemals auf Dateien los, die du nicht wiederherstellen kannst.
  2. Schalte Berechtigungsabfragen ein wo der Agent sie hat (OpenCode braucht die obige Konfigurationsänderung), und lies, was du genehmigst.
  3. Begrenze Schritte und Ausgabe. Nutze OpenCodes steps; in einem Ollama-Chat, /set parameter num_predict 4096 begrenzt eine einzelne Antwort.
  4. Prüfe seine Behauptungen. Führe die Tests selbst aus, bevor du "alle Tests bestanden" glaubst.
  5. Richte einen Agenten niemals auf deinen Home-Ordner. Und für Pi nimm einen Wegwerfordner oder einen Container.

Wenn du weiter gehen willst, mein Leitfaden zu Agenten-Skills und MCP-Servern zeigt, wie du begrenzt, worauf die Werkzeuge eines Agenten zugreifen können. Alle KI-Coding-Harnesses im Vergleich geht die Agenten selbst ausführlich durch.


Teil 8 — Wie schnell ist Inkling 2 Mini auf einem 32-GB-Mac?

Geschwindigkeit hat zwei Teile: wie schnell das Modell liest deinen Prompt und wie schnell es schreibt seine Antwort. Hier sind die relevanten Messungen, die bis zum 21. November veröffentlicht wurden, mit der jeweils verwendeten Laufzeitumgebung:

Mac Laufzeit Schreibgeschwindigkeit Lesegeschwindigkeit Anmerkungen
M2 Max, 32 GB Ollama 0.40.17 Etwa 24 Tok/s Nicht veröffentlicht Kurze Tool-Calling-Anfrage
M4 Pro, 48 GB Ollama 0.40.17 Etwa 32 Tok/s 279 tok/s Ein Prompt mit 12.000 Token, 64K-Kontext; insgesamt 65 Sekunden
M4 Pro, 48 GB mlx-vlm, gleiche Originalgewichte 25,9 Tok/s Nicht veröffentlicht VisualInference
M5 Pro, 48 GB MLX-VLM, Community-Build mit 4/8 Bit Etwa 27 Tok/s Etwa 123–144 Tok/s bei sehr kurzen Prompts ModelFit; sehr kurze Prompts werden langsam gelesen, daher ist das nicht mit den 279 oben vergleichbar

Third-party measurements, collected on 21 November 2026. No published Ollama runs yet for the M1 Pro, M1 Max, M2 Pro, base M4 or base M5.

Inkling 2 Mini Geschwindigkeit auf dem Mac mit Ollama und MLX: gemessene Token pro Sekunde auf einem 32-GB-M2 Max, einem 48-GB-M4 Pro und einem 48-GB-M5 Pro
Veröffentlichte Schreibgeschwindigkeiten, nach Laufzeitumgebung gekennzeichnet. Nur die beiden Ergebnisse mit Ollama 0.40.17 stammen aus dem Setup, das dieser Leitfaden verwendet.

Was diese Zahlen in der Praxis bedeuten

  • Für Chat, sind rund 24 Token pro Sekunde schneller, als du liest. Eine Antwort mit 300 Wörtern nach tausend Token Nachdenken, insgesamt rund 1.400 Token, dauert bei dieser Geschwindigkeit etwa eine Minute. Senkst du den Denkaufwand für schnelle Fragen, wird sie viel kürzer.
  • Für Agenten, zählt die Lesegeschwindigkeit genauso viel wie die Schreibgeschwindigkeit, weil ein Agent bei jeder Runde einen langen Prompt schickt. Auf dem M4 Pro mit 48 GB brauchte ein Prompt mit 12.000 Token etwa 43 Sekunden zum Lesen. Ollama nutzt seinen Cache für den gemeinsamen Anfang einer Unterhaltung zwischen den Runden wieder, sodass spätere Runden meist nur das Neue lesen.
  • Zum Vergleich, brauchte auf demselben M4 Pro Qwen3.8-27B 122 Sekunden für die Aufgabe mit 12.000 Token, die Inkling 2 Mini in 65 abschloss. Qwen las mit 107 und schrieb mit 27 Token pro Sekunde. Mein Vergleich der beiden Modelle geht auf das Warum ein und auf den einen Haken: Inkling 2 Mini neigt dazu, pro Aufgabe mehr Token zu schreiben.

Was dich auf anderen 32-GB-Macs erwartet

Niemand hat bisher Ollama-Werte für den Basis-M4 und den M5 veröffentlicht. Ihre Speicherbandbreite liegt bei 120 und 153,6 GB/s, gegenüber 409,6 GB/s beim M2 Max, der etwa 24 Token pro Sekunde schaffte. Erwarte, dass sie deutlich langsamer sind. Wie viel langsamer, ist im Voraus schwer zu sagen, denn mit der aktuellen Software wird Inkling 2 Mini nicht proportional zur Bandbreite schneller. Wenn du einen hast, führe den --verbose Test aus Teil 4 aus, und du weißt es in einer Minute.


Teil 9 — Fehlerbehebung für Inkling 2 Mini in Ollama

Finde dein Symptom unten. Wenn es nicht aufgeführt ist, sagt Ollamas Log meist, was schiefgelaufen ist; der letzte Abschnitt dieses Teils zeigt, wie du es liest.

Fehlerbehebung bei Inkling 2 Mini in Ollama: Lösungen für Fehler 412, Abstürze mit „Insufficient Memory“, einen 4K-Kontext, starkes Swapping und Agenten-Schleifen auf einem 32-GB-Mac
Die meisten Probleme auf einem 32-GB-Mac laufen auf zwei Dinge hinaus: die Kontext-Einstellung und den Speicherdruck.

Wenn Inkling Mini 2 sich nicht herunterladen oder starten lässt

Symptom Wahrscheinliche Ursache Fix
ollama pull inkling-2-mini scheitert mit 412 und "requires a newer version" Ollama älter als 0.40.17 Aktualisieren (Teil 2), dann erneut pullen
ollama: command not found Der Link für die Kommandozeile wurde nicht angelegt Öffne die Ollama-App und nimm ihr Angebot an, den Befehl zu installieren, oder installiere die App neu
PROCESSOR in ollama ps sagt nicht 100% GPU Mit dem GPU-Setup stimmt etwas nicht Beende Ollama und öffne es neu; prüfe, ob du auf Apple Silicon und macOS 14 oder neuer bist
Du bist unter Windows oder Linux Ollama 0.40.17 unterstützt Inkling 2 Mini nur auf Apple Silicon; Ollamas reine Mac-Modelle haben den Download anderswo mit 412: this model requires macOS Warte auf ein späteres Release oder nutze llama.cpp oder vLLM

Wenn Inkling 2 Mini abstürzt, Dinge vergisst oder deinen Mac ausbremst

Symptom Wahrscheinliche Ursache Fix
Das Modell bricht mitten in der Antwort ab, mit Insufficient Memory oder Command buffer execution failed im Log Der Prompt war heute zu lang für den Speicher deines Chips (Teil 6), oder andere Apps haben den Speicher belegt Schließe Apps, kürze den Prompt oder die Dokumente, die du einfügst, nutze Pi statt eines schwereren Agenten, erhöhe das GPU-Budget (Teil 5) und aktualisiere Ollama
Der Agent vergisst Anweisungen, Tool-Aufrufe scheitern, Bearbeitungen brechen auf halbem Weg ab Der Kontext ist zu klein: wahrscheinlich der 4K-Standard Stelle 16K–32K ein (Teil 5) und prüfe die Spalte CONTEXT in ollama ps. Starte dann den Agenten neu
Dein Mac wird quälend langsam, die Lüfter drehen auf, der Swap wächst Speicherdruck Prüfe die Aktivitätsanzeige; schließe Apps; senke den Kontext; ollama stop jedes andere geladene Modell
Die erste Antwort nach einer Pause ist langsam Ollama hat das Modell nach fünf Minuten Leerlauf entladen Set OLLAMA_KEEP_ALIVE (Teil 5)

Wenn ein Coding-Agent verrücktspielt

Symptom Wahrscheinliche Ursache Fix
Das Modell denkt ewig nach oder wiederholt sich Lange Reasoning-Schleifen, vor denen Thinking Machines warnt Gib kleinere Aufgaben, begrenze Schritte und Ausgabe-Tokens, nutze bei einfachen Fragen weniger Aufwand
Der Agent sagt, das Modell existiere nicht Ein Tippfehler im Modellnamen Verwende genau inkling-2-mini; ollama ls listet auf, was du hast
Die Websuche von Pi funktioniert nicht Es nutzt die Cloud-Websuche von Ollama Melde dich bei Ollama an und schalte Cloud ein, oder arbeite ohne Websuche
OpenCode bearbeitet Dateien, ohne zu fragen OpenCode v2 erlaubt standardmäßig Bearbeitungen und Shell-Befehle Ergänze die permissions Regeln aus Teil 7

Prüfe das Log von Ollama

Die Logs von Ollama liegen in ~/.ollama/logs/server.log. So siehst du die letzten Zeilen, wenn etwas schiefgeht:

tail -n 40 ~/.ollama/logs/server.log

Teil 10 — Wenn 32 GB nicht reichen

Du merkst, dass du an die Grenze gestoßen bist, wenn lange Prompts abstürzen, wenn Agenten ihr Gespräch ständig komprimieren oder wenn dein Mac jedes Mal auslagert, sobald das Modell geladen wird. Die ersten drei Optionen kosten nichts; die letzten drei kosten Geld, Datenschutz oder beides.

Auf dem Mac, den du hast

  • Behalte ihn und nutze ihn für das, was passt. Chat, kurze Dokumente, Bildfragen und Pi bei kleinen Aufgaben funktionieren auf jedem 32-GB-Mac gut. Beobachte die Release Notes von Ollama: Wenn das speichersparende Prompt-Lesen aus Teil 6 mehr Chips erreicht, würde sich das Bild über Nacht ändern.
  • Eine kleinere Datei in einer anderen Runtime. Unsloths 4-Bit-Version ist 17,6 GB groß, etwa 2,6 GB kleiner als das Paket von Ollama, und läuft mit Unsloths eigenem Build von llama.cpp. Die Version ist technischer, und der Support am ersten Tag war holpriger; mein Vergleichsartikel behandelt es.
  • Ein anderes lokales Modell. Qwen3.8-27B erreicht auf dem Index von Artificial Analysis denselben Wert wie Inkling 2 Mini, läuft überall und ist besser bei Wissensfragen, aber auf demselben Mac langsamer. Derselbe Artikel.

Jenseits deines Macs

  • Mehr Arbeitsspeicher. Ab 48 GB laufen Agenten mit Inkling 2 Mini komfortabel, und ab 64 GB kannst du es neben einem anderen Modell geladen halten. Wenn du entscheidest, was du kaufen sollst, sind meine Leitfäden zu ob sich ein MacBook für lokale LLMs lohnt und die MacBook Pro M5 Pro mit 64 GB die Kompromisse abwägen.
  • Der große Bruder, in der Cloud. Inkling 2 Small, das Modell von Thinking Machines mit 594 Milliarden Parametern, ist in der Cloud von Ollama als inkling-2-small:cloud. Es funktioniert mit denselben Startbefehlen, zum Beispiel ollama launch opencode --model inkling-2-small:cloud. Es braucht ein Ollama-Konto, und deine Prompts verlassen dann deinen Mac.
  • Ein Coding-Plan für die harten 10 %. Viele Leute betreiben ein lokales Modell für private und alltägliche Arbeit und leiten die schwierigste Planung und Fehlersuche an ein großes Cloud-Modell weiter. Eine günstige Option ist der GLM Coding Plan von Z.ai, der in OpenCode, Claude Code und anderen Agenten funktioniert. Du kannst über meinen Affiliate-Link 10 % Rabatt auf den GLM Coding Plan bekommen. (Affiliate-Link — siehe den Hinweis oben.)

Häufig gestellte Fragen

Kann ich Inkling 2 Mini auf einem Mac mit 32 GB Arbeitsspeicher ausführen?

Ja. Thinking Machines und Ollama unterstützen beide Inkling 2 Mini auf Macs mit Apple Silicon und 32 GB oder mehr, über Ollama 0.40.17 oder neuer. Das Modell belegt etwa 20 GB, Chat und kurze Dokumente funktionieren also gut. Lange Prompts sind die Grenze. Auf den meisten 32-GB-Chips nutzt Ollama 0.40.17 seine speicherschonende Prompt-Verarbeitung noch nicht. Ein Test auf einem M2 Max stürzte nach etwa 12.000 Tokens ab.

Welche Version von Ollama brauche ich für Inkling 2 Mini?

Ollama 0.40.17 oder neuer. Ollama kündigte die Unterstützung für Inkling 2 Mini in 0.40.17 am 20. November 2026 als Vorabversion an, und die finale 0.40.17 folgte innerhalb eines Tages. Prüfe mit ollama --version. Ältere Versionen verweigern den Download mit einem 412-Fehler. In 0.40.17 wird Inkling 2 Mini nur auf Apple Silicon unterstützt.

Wie groß ist der Download von Inkling 2 Mini in Ollama?

20.188.097.271 Bytes, etwa 20,2 GB oder 18,8 GiB. Alle drei Tags, latest, 26b-a5b und 26b-a5b-nvfp4, sind dasselbe Paket: die ursprünglichen NVFP4- und MXFP8-Gewichte von Thinking Machines, mit Bildunterstützung. Es gibt keine kleinere Ollama-Version. Bei 100 Mbit/s dauert der Download etwa 27 Minuten.

Warum gibt Ollama Inkling 2 Mini auf meinem Mac nur ein 4K-Kontextfenster?

Ollama legt sein Standard-Kontextfenster anhand des erkannten GPU-Speichers fest: 4K unter etwa 23 GiB, 32K bis etwa 47 GiB und 256K darüber. Auf einem Mac ist dieser Wert das GPU-Budget, das macOS erlaubt, und das sind auf einem 32-GB-Mac etwa 21,3 GiB, also bekommst du 4K. Ändere es mit dem Regler für die Kontextlänge in den Einstellungen von Ollama oder indem du das GPU-Budget auf 24 GiB erhöhst.

Welche Kontextlänge sollte ich für einen Coding-Agenten mit 32 GB verwenden?

16K für Pi und 32K für OpenCode auf einem M2 Pro, das ist das Maximum, das ein 32-GB-Mac neben einem 20-GB-Modell bequem hergibt. Auf Chips ohne Ollamas speicherschonende Prompt-Verarbeitung nimm 8K und kurze Sitzungen. Ollama empfiehlt 64K oder mehr für Coding-Agenten, was ab 48 GB funktioniert. Stelle es ein, bevor du den Agenten startest, denn ollama launch opencode gibt das geladene Kontextfenster an OpenCode weiter.

Sollte ich das GPU-Speicherlimit mit iogpu.wired_limit_mb erhöhen?

Auf einem 32-GB-Mac hilft das. Der Aufruf sudo sysctl iogpu.wired_limit_mb=24576 hebt das GPU-Budget von etwa 21,3 GiB auf 24 GiB und lässt 8 GiB für macOS übrig. Ollama nutzt dann standardmäßig ein 32K-Kontextfenster. Beende Ollama danach und starte es neu. Die Einstellung wird zurückgesetzt, wenn du deinen Mac neu startest; sudo sysctl iogpu.wired_limit_mb=0 stellt den Standard früher wieder her. Es ist keine offizielle macOS-Einstellung, also mach sie rückgängig, wenn dein Mac stark auslagert oder instabil wird.

Wie ändere ich den Reasoning-Aufwand von Inkling 2 Mini in Ollama?

Nutze die --think Flag: ollama run inkling-2-mini --think=low. Ollama akzeptiert keine, minimal, niedrig, mittel, hoch (Standard), xhigh und max, die es als Aufwandsstufen von 0 bis 0,99 an das Modell sendet. Innerhalb eines Chats /set nothink setzt die niedrigste Stufe und blendet das Denken aus. Selbst das Minimum schaltet das Reasoning nicht vollständig ab.

Welcher Coding-Agent funktioniert am besten mit Inkling 2 Mini auf einem Mac mit 32 GB?

Pi, weil sein System-Prompt und seine Tools unter 1.000 Tokens bleiben, was die Prompts kurz hält: ollama launch pi --model inkling-2-mini. Aber Pi führt Befehle ohne Nachfrage aus, also nutze es nur in einem Wegwerfordner. OpenCode startet mit etwa 6.900 Tokens und arbeitet mit einem 32K-Kontextfenster, am besten auf einem M2 Pro. Es fragt vor dem Handeln nach, sobald du zwei Berechtigungsregeln zu seiner Konfiguration hinzufügst. Claude Code fragt standardmäßig nach, aber seine erste Anfrage maß etwa 32.800 Tokens, mehr als ein 32K-Kontextfenster fasst, deshalb ist es ab 48 GB besser.

Warum ist Ollama mit "Insufficient Memory" abgestürzt?

Höchstwahrscheinlich war der Prompt oder die Unterhaltung zu lang für den GPU-Speicher deines Mac. Ollama 0.40.17 liest lange Prompts nur auf dem M2 Pro, M2 Ultra, M3 Ultra, M4 Pro und M5 Pro, Max und Ultra mit einer speicherschonenden Methode. Auf anderen Chips wächst der Speicherverbrauch mit allem, was das Modell gelesen hat, und ein 32-GB-M2-Max stürzte nach 12.288 Tokens ab. Schließe andere Apps, halte Sitzungen kurz, nutze Pi, erhöhe das GPU-Budget und halte Ollama aktuell.

Wie schnell ist Inkling 2 Mini auf einem Mac mit 32 GB?

Im einzigen veröffentlichten Ollama-Test auf einem Mac mit 32 GB, einem M2 Max, lief eine kurze Anfrage mit etwa 24 Tokens pro Sekunde. Auf einem M4 Pro mit 48 GB und Ollama 0.40.17 schrieb es mit etwa 32 Tokens pro Sekunde und las einen Prompt mit 12.000 Tokens mit 279 Tokens pro Sekunde. Basis-M4- und M5-Macs haben deutlich weniger Speicherbandbreite und sollten langsamer sein; bisher wurden keine Läufe veröffentlicht.

Kann ich Inkling 2 Mini mit Ollama auf einem Mac mit 16 GB oder 24 GB ausführen?

Nicht mit Ollamas Paket, das eine einzige 20-GB-Version ist, und Thinking Machines unterstützt 32 GB als Minimum. Unsloth veröffentlicht 2-Bit- und 3-Bit-Dateien von etwa 9 bis 14 GB, die mit seinem eigenen llama.cpp-Build auf kleineren Macs laufen. Diese Dateien kosten etwas Qualität und brauchen mehr Einrichtung.

Sendet Inkling 2 Mini meinen Code oder meine Prompts irgendwohin?

Nicht, wenn es lokal läuft. Ollama führt das Modell auf deinem Mac aus, und in seinen FAQ heißt es, dass es deine Prompts und Daten nicht sieht, wenn du lokal arbeitest. Coding-Agenten, die mit ollama launch sprechen mit Ollama unter localhost:11434, auf deiner eigenen Maschine. Cloud-Modelle und Websuche sind etwas anderes: Sie senden Daten an die Server von Ollama, und du kannst sie mit der Cloud-Einstellung abschalten. Die Agenten sind eigene Programme mit ihren eigenen Netzwerk-Tools, etwa dem Web-Fetch von OpenCode, also prüfe ihre Einstellungen, wenn du vollständig offline arbeiten willst.

Kann ich Inkling 2 Mini mit Ollama unter Windows oder Linux ausführen?

Nicht in Ollama 0.40.17, dessen Release Notes sagen, dass Inkling 2 Mini in dieser Version nur auf Apple Silicon unterstützt wird. Auf NVIDIA-Hardware unterstützt Thinking Machines vLLM und SGLang, und Unsloths llama.cpp-Build führt seine GGUF-Dateien aus. Eine spätere Ollama-Version könnte weitere Plattformen hinzufügen.

Wie entferne ich Inkling 2 Mini und gebe den Speicherplatz frei?

Laufen ollama rm inkling-2-mini. Entferne alle Kopien, die du erstellt hast, mit ollama create, etwa inkling-2-mini-32k, genauso: Die 20 GB Gewichte werden frei, sobald kein Modell sie mehr nutzt. Um Ollama selbst zu entfernen, beende es, lösche es aus Programme und lösche den .ollama Ordner in deinem Benutzerordner; Ollama’s macOS-Dokumentation listet jede Datei auf.

Das Fazit

Inkling 2 Mini ist ein leistungsfähiges offenes Modell, das sein Hersteller auf einem Mac mit 32 GB unterstützt, und Ollama macht die Grundlagen wirklich einfach: installieren, pullen, ausführen. Für Chat, Dokumente und Fragen zu Bildern reicht ein Mac mit 32 GB vollkommen aus.

Bei Agenten wird es mit 32 GB eng, aus zwei Gründen. Ollama startet die meisten Macs mit 32 GB mit einem 4K-Kontext, was Agenten stillschweigend kaputt macht, bis du das änderst. Und auf den meisten 32-GB-Chips können lange Prompts weiterhin den Speicher sprengen, weil Ollama’s speichersparendes Prompt-Lesen nur einige Chips abdeckt. Setze also den Kontext, erhöhe das GPU-Budget und schließe deinen Browser. Fang mit Pi in einem Wegwerfordner an und aktualisiere Ollama oft.

Wenn du einen M2 Pro hast, bist du heute in der besten Position, die ein 32-GB-Mac haben kann. Wenn du 48 GB oder mehr hast, fallen die meisten Einschränkungen hier weg. Und welchen Mac du auch hast, ollama run inkling-2-mini --verbose sagt dir in fünf Minuten mehr über deine eigene Maschine als jede Tabelle in diesem Leitfaden.


Läuft Inkling 2 Mini bei dir auf einem 32-GB-Mac? Teile deinen Chip, deine Ollama-Version, deine Kontext-Einstellung und --verbose deine Werte in den Kommentaren, besonders von einem M1, M4 oder M5. Die nützlichsten Ergebnisse füge ich mit Nennung des Absenders in Teil 8 ein. Korrekturen sind ebenfalls willkommen: Bei so neuer Unterstützung werden sich einige Details von heute schnell ändern.

Offenlegung: Dieser Leitfaden enthält einen Affiliate-Link, und zwar zum GLM Coding Plan von Z.ai (in Teil 10). Wenn du darüber abonnierst, bekommst du 10 % Rabatt und ich erhalte möglicherweise eine Provision, ohne dass dir dadurch zusätzliche Kosten entstehen. Kein anderes Produkt und kein anderes Unternehmen in diesem Leitfaden ist gesponsert, und keines davon hat ihn vor der Veröffentlichung geprüft.

Fakten geprüft: 21. November 2026.

Füge dein Signal hinzu.

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

de_DEDeutsch