Das US-Unternehmen Sapient Intelligence hat nach eigenen Angaben, das neue Architektur Modell „HRM-Text“ für nur rund 1.500 US-Dollar trainiert. Dies geht aus einer Pressemeldung hervor. HRM-Text ist eine neu angepasste Architektur für sprachbasierte Aufgaben, die nicht auf klassischen Transformer-Strukturen basiert. Das Modell mit 1 Milliarde Parametern wurde laut Sapient in 1,9 Tagen auf einem Cluster mit 16 GPUs trainiert. Ziel ist ein kompakteres Reasoning-Modell für Unternehmensanwendungen.
Zusammenfassung
- Sapient Intelligence hat mit HRM-Text ein Foundation Model von Grund auf entwickelt, das auf einer hierarchischen rekurrenten Architektur basiert.
- Das Modell wurde laut Unternehmen mit 40 Milliarden Token, 16 GPUs und geschätzten 1.500 US-Dollar Compute-Kosten trainiert.
- Statt Rohtext nutzt HRM-Text ausschließlich Instruction-Response-Paare und setzt auf Aufgabenabschluss statt Next-Token-Prediction.
- Sapient sieht darin eine günstige Grundlage für Unternehmens-KI, die als Reasoning-Kern mit externen Wissensquellen kombiniert werden kann.
Neuer Ansatz statt klassischer Transformer
Sapient Intelligence hat mit HRM-Text ein Sprachmodell vorgestellt, das sich deutlich von gängigen Transformer-Architekturen unterscheidet. Das System basiert auf dem sogenannten Hierarchical Recurrent Model, das das Unternehmen bereits im vergangenen Jahr eingeführt hatte. Laut Sapient trennt diese Architektur Rechenprozesse in eine langsam arbeitende strategische Ebene und eine schnell reagierende Ausführungsebene.
Während klassische LLMs meist auf nächstes-Token-Vorhersage mit großen Mengen Internettext trainiert werden, verfolgt HRM-Text einen anderen Ansatz. Das Modell wurde ausschließlich auf Instruction-Response-Daten trainiert. Nach Angaben von Sapient passt das besser zu typischen Unternehmensszenarien, in denen Nutzer konkrete Antworten auf klar umrissene Aufgaben erwarten.
Guan Wang, CEO von Sapient Intelligence, bezeichnete die hohen Kosten und langen Iterationszyklen des bisherigen Scale-up-Ansatzes als zentrales Problem für Unternehmen. Aus seiner Sicht führen mehr Daten, mehr Rechenleistung und größere Modelle nicht automatisch zu besseren Reasoning-Fähigkeiten, sondern oft zu mehr Komplexität, höherer Latenz und stärkerer Abhängigkeit von Infrastruktur und Anbietern.
Was HRM-Text anders macht
Das ursprüngliche HRM-Modell war laut Sapient besonders für kontrollierte, symbolische Denkaufgaben geeignet. Bei Sprache habe sich die Architektur jedoch als anfälliger erwiesen, weil rekurrente Schleifen bei offenen Textaufgaben schnell instabil werden können. Um diese Probleme zu adressieren, entwickelte das Team für HRM-Text zwei zusätzliche Mechanismen: eine spezielle Normalisierung namens MagicNorm sowie ein Warm-up-Verfahren für das Training.
MagicNorm soll verhindern, dass Signale im Modell bei wiederholten internen Rechenschleifen instabil werden. Das Warm-up beginnt mit kurzen, einfachen Reasoning-Schleifen und erweitert diese im Laufe des Trainings schrittweise. Zusätzlich änderte Sapient das Trainingsziel: HRM-Text wird auf Aufgabenabschluss optimiert, nicht auf die Vorhersage einzelner Token. Dafür entfernte das Team explizite Denk-Token aus den Trainingsdaten.
Die Trainingsdaten umfassten nach Angaben von Sapient allgemeine Anweisungen, Mathematik, symbolische Logik, Schulbuchaufgaben und umgeschriebenes Wissen. Insgesamt nutzte das Unternehmen dafür 40 Milliarden Token. Der Verzicht auf Rohtext soll die Architektur gezielt auf die Struktur von Anweisungs- und Antwortmustern ausrichten.
Benchmark-Ergebnisse und Trainingsaufwand
Sapient trainierte ein Modell mit 1 Milliarde Parametern von Grund auf und verglich es mit kleineren sowie deutlich größeren offenen Modellen. In den Tests erreichte HRM-Text laut Unternehmen 60,7 Prozent auf MMLU, 84,5 Prozent auf GSM8K und 56,2 Prozent auf MATH. Damit liege das Modell bei mehreren Benchmarks im Bereich von 2- bis 7-Milliarden-Parameter-Modellen oder darüber.
Besonders betont Sapient die Effizienz beim Training. Das Modell wurde laut Unternehmen in 1,9 Tagen auf 16 GPUs trainiert, die geschätzten Compute-Kosten lagen bei etwa 1.500 US-Dollar. Im Vergleich zu Modellen wie Qwen, Gemma und Llama sei dafür laut Sapient 100 bis 900 Mal weniger Trainingsdaten und 96 bis 432 Mal weniger Rechenleistung nötig gewesen.
Das Unternehmen ließ zudem prüfen, ob Benchmark-Ergebnisse durch Datenkontamination verfälscht sein könnten. Auf DROP zeigte HRM-Text unter einer bestimmten Einstellung zwar ein geringes Kontaminationssignal, erreichte in einem streng sauberen Teilset mit 0 Prozent Kontamination aber dennoch 81,1 Prozent.
Bedeutung für Unternehmen
Sapient argumentiert, dass sich mit dem Modell eine neue Rolle für Unternehmens-KI abzeichnet. Statt ein großes Sprachmodell mit internem Firmenwissen zu füttern, könnten Unternehmen ein kompaktes Reasoning-Modell einsetzen, das Geschäftslogik, Regeln und mehrstufige Arbeitsabläufe verarbeitet und externe Systeme für Faktenwissen nutzt.
Nach Angaben von Wang wäre das besonders für Branchen mit sensiblen oder proprietären Daten relevant, etwa für Hedgefonds, Versicherer oder Banken. Solche Organisationen wollten interne Notizen, Compliance-Regeln, Risikomodelle oder Transaktionslogik häufig nicht an externe Frontier-Modelle geben. Für sie könne ein kleineres Modell mit klarer Aufgabenstruktur und kontrollierter Umgebung sinnvoller sein.
Gleichzeitig macht Sapient deutlich, dass HRM-Text derzeit noch kein vollwertiger Ersatz für Systeme wie ChatGPT ist. Wang beschrieb die erste Version als Machbarkeitsnachweis für die Architektur. Für Engineering-Teams gehe es vor allem um Templates, Moduswahl, Attention Masking und Alignment.
Verfügbarkeit und technische Einordnung
HRM-Text ist laut Sapient bereits im Transformers-Ökosystem nutzbar; dafür werde eine Version ab transformers 5.9.0 benötigt. Unterstützung für vLLM und SGLang werde derzeit noch entwickelt. Bei produktiven Multi-Turn-Chat-Anwendungen sei außerdem eine sorgfältige KV-Cache-Logik nötig, damit Nutzereingaben bidirektional verarbeitet werden können, während Antworten kausal generiert werden.
Der Kern der Arbeit ist damit weniger ein fertiges Endprodukt als ein neuer Architekturansatz für effizienteres Training. Sapient verbindet damit die Hoffnung, dass Unternehmen künftig deutlich günstiger eigene Reasoning-Modelle vortrainieren und anschließend mit externen Wissensquellen kombinieren können. Nach Darstellung des Unternehmens verschiebt sich damit die Frage weg von der reinen Modellgröße hin zur Optimierung auf konkrete Geschäftsprozesse.
Zur Pressemeldung: sapient.inc/introducing-hrm-text/
