Thinking Machines hat nur zwei Wochen nach Inkling mit Inkling-Small ein weiteres offenes KI-Modell vorgestellt. Das Startup um die frühere OpenAI-Technikchefin Mira Murati beschreibt das System als deutlich kleiner, aber nur wenig schwächer als das größere Modell. In mehreren Tests liegt Inkling-Small sogar vor dem Vorgänger. Das Modell steht unter Apache 2.0 und kann damit breit kommerziell genutzt werden.
Zusammenfassung
- Thinking Machines veröffentlicht mit Inkling-Small ein multimodales Open-Weight-Modell als Nachfolger von Inkling.
- Das Modell verarbeitet Text, Bilder und Audio, nutzt 276 Milliarden Gesamtparameter und 12 Milliarden aktive Parameter pro Token.
- Auf dem Artificial Analysis Intelligence Index erreicht Inkling-Small 40 Punkte und liegt damit nur einen Punkt hinter Inkling.
- Für Unternehmen interessant sind die geringeren Infrastrukturanforderungen, die offene Apache-2.0-Lizenz und die Unterstützung für Fine-Tuning über Tinker.
- Der Standardzugang kostet laut Launch-Angaben zeitweise halbiert 0,58 US-Dollar pro Million Input-Tokens, 1,44 US-Dollar pro Million Output-Tokens und 1,73 US-Dollar pro Million Training-Tokens.
Inkling-Small rückt dicht an das größere Vorbild heran
Das von Mira Murati geführte Unternehmen Thinking Machines hat mit Inkling-Small ein neues offenes multimodales KI-Modell vorgestellt. Es folgt nur kurz nach dem ersten Release von Inkling und soll trotz deutlich geringerer Größe fast die gleiche Leistung liefern. In einigen Benchmarks schneidet die kleinere Version sogar besser ab als das ursprüngliche Modell.
Inkling-Small ist ein Reasoning-Modell mit 276 Milliarden Parametern und einer sehr großzügigen Kontextlänge von bis zu einer Million Tokens. Es akzeptiert Text-, Bild- und Audioeingaben und gibt Text aus. Nach Angaben von Thinking Machines stehen 12 Milliarden aktive Parameter pro Token zur Verfügung, während Inkling mit 41 Milliarden aktiven Parametern arbeitet. Das Unternehmen stellt die Gewichte auf Hugging Face bereit und ermöglicht Fine-Tuning über die eigene Tinker-API.
Kaum schwächer in der Gesamtwertung
Der externe Anbieter Artificial Analysis vergab für Inkling-Small 40 Punkte auf dem Intelligence Index. Inkling kam auf 41 Punkte. Dass das kleinere Modell so nah an den größeren Bruder heranreicht, ist vor allem deshalb bemerkenswert, weil Inkling-Small mit 276 Milliarden Gesamtparametern und 12 Milliarden aktiven Parametern deutlich schlanker ausfällt als Inkling mit 975 Milliarden Gesamtparametern und 41 Milliarden aktiven Parametern.
Laut Artificial Analysis ist Inkling-Small zudem das am besten bewertete offene Modell in seiner Größenklasse oder darunter. Auf einzelnen Aufgaben liegt es sogar vorn: Thinking Machines nennt 80,2 Prozent auf SWE-bench Verified gegenüber 77,6 Prozent für Inkling sowie 64,7 Prozent auf Terminal Bench 2.1 gegenüber 63,8 Prozent für das größere Modell. Auch bei SciCode, Humanity’s Last Exam, GPQA Diamond und CritPt soll Inkling-Small leicht besser abschneiden.
Die Unterschiede sind jedoch nicht in allen Disziplinen gleich. Bei Faktenwissen und einigen agentischen Aufgaben bleibt Inkling vorne. So erreicht Inkling-Small auf τ³-Banking 15,5 Prozent, während Inkling dort auf 23,7 Prozent kommt. Auch beim AA Omniscience Score schneidet das kleinere Modell schwächer ab; der Wert liegt im negativen Bereich und deutet auf eine geringere Faktenabdeckung hin, obwohl die genannte Halluzinationsrate etwas niedriger ausfällt.
Für Unternehmen bedeutet das: Inkling-Small eignet sich besonders für Coding-Assistenten, Tool-Nutzung, Retrieval-gestützte Anwendungen, Dokumentenanalyse und multimodale Workflows. Für fachlich heikle Faktenaufgaben bleibt aber zusätzliche Absicherung durch Suche, Verifikation und menschliche Prüfung notwendig.
Mixture-of-Experts mit sparsamer Aktivierung
Technisch setzt Inkling-Small auf ein sparsames Mixture-of-Experts-Design. Laut dem von Thinking Machines veröffentlichten Model Card arbeitet der 42-schichtige Decoder pro Token mit sechs von 256 spezialisierten Experten sowie zwei gemeinsam genutzten Experten, die immer aktiv sind. So erklärt sich der Unterschied zwischen der großen Gesamtzahl der Parameter und den vergleichsweise wenigen aktiv genutzten Parametern pro Schritt.
Das Modell ist nativ multimodal aufgebaut. Text, Bild und Audio werden in eine gemeinsame Repräsentation überführt und vom Decoder gemeinsam verarbeitet, statt über getrennte externe Systeme zu laufen. Thinking Machines nennt unter den vorgesehenen Einsatzfeldern unter anderem Coding-Assistenten, agentische Anwendungen, Chatbots und RAG-Systeme. Zudem unterstützt Inkling-Small variablen Reasoning-Aufwand, sodass Entwickler die Rechenmenge zur Laufzeit je nach Komplexität der Aufgabe erhöhen oder senken können.
Kleiner heißt hier nicht lokal nutzbar
Trotz des Namens bleibt Inkling-Small ein sehr großes Modell. Für den Standard-BF16-Checkpoint nennt Thinking Machines einen Bedarf von mindestens 600 Gigabyte aggregiertem GPU-Speicher. Als unterstützte Setups führt das Unternehmen vier NVIDIA-B300-GPUs oder acht NVIDIA-H200-GPUs auf.
Ein quantisierter NVFP4-Checkpoint senkt den Bedarf auf rund 180 Gigabyte VRAM. Diese Variante soll im W4A4-Modus auf einer einzelnen NVIDIA B300 oder im W4A16-Modus auf zwei H200-GPUs laufen. Normale Laptops, MacBooks, Gaming-PCs oder übliche Entwickler-Workstations reichen dafür nicht aus. Zielumgebungen sind vielmehr Enterprise-Server, Cloud-Cluster und spezialisierte Inference-Anbieter.
Der Nutzen liegt deshalb weniger in der lokalen Nutzung als in einem kleineren Infrastruktur-Fußabdruck im Vergleich zum größeren Modell. Für Unternehmen mit eigener GPU-Infrastruktur kann das die Hosting-Kosten senken und die Planung erleichtern. Gerade für Organisationen, die Modelle selbst betreiben und anpassen wollen, ist außerdem wichtig, dass Inkling-Small unter Apache 2.0 erscheint.
Apache 2.0 erleichtert den Einsatz im Unternehmen
Die Lizenz dürfte für viele Firmen ebenso relevant sein wie die Benchmarks. Apache 2.0 erlaubt in der Regel Nutzung, Modifikation, Fine-Tuning, Weitergabe und kommerzielle Verwendung, auch in proprietären Produkten, solange die Lizenzbedingungen eingehalten werden. Das ist deutlich einfacher als bei vielen KI-Lizenzen, die zusätzliche Regeln zu Umsatzgrenzen, Branding oder kommerziellem Einsatz enthalten.
Gerade im Vergleich zu anderen jüngsten Modellveröffentlichungen wird dieser Unterschied sichtbar. So hatte Moonshot die Gewichte seines Kimi-K3-Modells kürzlich unter einer eigenen Lizenz veröffentlicht, die zusätzliche kommerzielle Bedingungen enthält. Für Rechts-, Beschaffungs- und Plattformteams kann Apache 2.0 die Einführung vereinfachen, auch wenn Fragen zu Datenherkunft, Compliance und Sicherheit weiterhin geprüft werden müssen.
Ein wiederholbarer Entwicklungsprozess
Thinking Machines sieht den neuen Start auch als Zeichen dafür, dass sich die Entwicklungspipeline inzwischen etabliert hat. Der Forscher Horace He schrieb auf X, dass Inkling-Small im Vergleich zum ersten Modell deutlich routinierter entstanden sei. Nach seiner Darstellung habe das Team im Wesentlichen dieselbe Pipeline erneut genutzt und nur ein kleineres Modell eingesetzt.
Nach Angaben des Unternehmens profitierte Inkling-Small von einer verbesserten Pre-Training-Datenmischung, Anpassungen am Machine-Learning-Rezept und On-Policy-Distillation mit Inkling als Lehrermodell. Anschließend lief für zwei Wochen weiteres agentisches Coding-Reinforcement-Learning. Auch Mira Murati betonte, dass Inkling-Small ungefähr ein Viertel der Größe von Inkling habe und die Gewichte sofort offen und über Tinker feinabstimmbar seien.
Verfügbarkeit, Preise und Einsatzwege
Zum Start bewirbt Thinking Machines einen zeitlich befristeten Rabatt von 50 Prozent. Dadurch kostet die Standardvariante mit 64K-Kontext laut Anbieter 0,58 US-Dollar pro Million Prefill-Token, 1,44 US-Dollar pro Million Output-Token und 1,73 US-Dollar pro Million Training-Token. Für gecachte Prefill-Anfragen nennt das Unternehmen 0,116 US-Dollar pro Million Token. Zusätzlich gibt es eine 256K-Kontext-Version mit höheren Preisen.
Das Unternehmen stellt vollständige BF16- und NVFP4-Checkpoints bereit und unterstützt Deployments über SGLang, vLLM, TokenSpeed, Unsloth und Hugging Face Tools. Entwickler können das Modell damit über eine API nutzen, über Tinker feinabstimmen, bei einem externen Inference-Anbieter betreiben oder auf eigener Infrastruktur ausrollen.
Inkling-Small dürfte damit vor allem für Unternehmen interessant sein, die ein offenes Modell mit hoher Leistungsfähigkeit suchen, aber nicht die volle Größe eines Spitzenmodells betreiben wollen. Für den Massenmarkt ist es wegen der Hardwareanforderungen nicht gedacht. Für Firmen mit eigenen GPUs bietet es jedoch einen Weg, viel Modellleistung mit vergleichsweise geringerem Aufwand bereitzustellen.
Die Veröffentlichung zeigt außerdem, dass Thinking Machines seinen ersten Modellrelease nicht als Einzelereignis versteht. Stattdessen baut das Unternehmen offenbar eine wiederverwendbare Pipeline für Training, Bewertung und Auslieferung auf, mit der weitere offene multimodale Modelle schneller entstehen können.
Info entdeckt bei venturebeat.com
Symbolbild: KI generiert
