In voller Genauigkeit (FP16) wären es laut Modellkarte rund 54 GB, die kleinere Datei von Ternary Bonsai 2 27B belegt 5,95 GB.

Erst kostenlos reinschnuppern, dann entscheiden

Bevor du dich für eine Weiterbildung entscheidest, sieh dir kostenlos an, wie sie läuft, fünf Lektionen plus Live-Demo, ohne Verpflichtung. Passt es, ist der Digitalisierungsmanager bei bewilligtem Bildungsgutschein für dich kostenlos.

Kostenlos reinschnuppern

Der Schnupperkurs ist gratis. Ob die Weiterbildung über den Bildungsgutschein gefördert wird, entscheidet die Agentur für Arbeit im Einzelfall.

Drei Werte je Gewicht

Ternary Bonsai 2 27B baut auf Qwen3.8 27B auf, das TechCrunch als verbreitetes offenes Modell von Alibaba beschreibt. Mehr zum Ausgangsmodell steht im Artikel über Qwen3.8 27B als lokales Modell. PrismML hat dessen Gewichte ternär komprimiert, jedes Gewicht nimmt also einen der Werte +1, 0 oder −1 an. Nach Angaben des Herstellers ist das Ergebnis 5,9 GB groß und damit mehr als neunmal kleiner als das Ausgangsmodell in voller Genauigkeit. TechCrunch spricht von einer Verringerung um das 9- bis 10-fache.

Die Modellkarte auf Hugging Face führt zwei Dateiformate: 5,95 GB (PTQ1_0) und 7,21 GB (PQ2_0). Dazu kommt ein optionales Bildmodul von rund 0,63 GB. Die Kontextlänge von 262.000 Token übernimmt das Modell vom Ausgangsmodell. PrismML gibt 27,8 Milliarden Parameter an, trainiert wurde laut Hersteller auf Google-TPUs.

Gedacht ist Bonsai 2 27B laut Pressemitteilung für lokale Assistenten, multimodale Agenten, private Wissensabläufe, Computersteuerung und lange Agentenaufgaben. Ausgelegt sei es auf niedrige Latenz auf Verbraucher-Prozessoren und Grafikkarten. Lizenziert ist es unter Apache 2.0, der Download ist seit dem 17. September 2026 kostenlos. Gegründet wurde PrismML laut TechCrunch von Forschern des Caltech, geführt wird das Unternehmen von Babak Hassibi.

Die Leistungszahlen stammen von PrismML

Über eine Auswahl von 20 Benchmarks kommt das Modell laut Pressemitteilung auf 83,9 Punkte. Qwen3.8 27B erreicht in dieser Auswahl nach Angaben von PrismML 85,4 Punkte, die komprimierte Fassung hält also 98,2 Prozent davon. Abgedeckt sind Schlussfolgern, Mathematik, Programmieren, das Befolgen von Anweisungen, Bildverständnis und Werkzeugnutzung. Das Vorgängermodell Ternary Bonsai 27B vom Juli 2026 hielt laut PrismML 95 Prozent der Punktzahl seines Ausgangsmodells. In der Modellkarte steht eine andere Zahl: 84,78 Punkte im Schnitt über 14 Benchmarks, gemessen im Denkmodus. Beide Werte sind Angaben von PrismML, und sie beruhen auf verschiedenen Auswahlen. Welche davon den Alltag in einem Betrieb besser abbildet, lässt sich aus den Quellen nicht ablesen. Messungen Dritter nennt keine der ausgewerteten Quellen.

TechCrunch ordnet ein, dass eine Abweichung von 2 Prozent gegenüber dem Ausgangsmodell im praktischen Einsatz wahrscheinlich kaum auffalle, weil Benchmarks echte Aufgaben ohnehin nicht vollständig abbilden.

Und auf dem Rechner im Büro?

Bis zu 143 Token pro Sekunde nennt PrismML als Geschwindigkeit, erreicht auf einer NVIDIA GeForce RTX 5090. Das ist eine teure Spitzengrafikkarte. Für einen Laptop mit Apple M5 Max gibt die Modellkarte rund 47 Token pro Sekunde an, auch das eine Angabe des Herstellers.

Für einen gewöhnlichen Büro-PC ohne solche Hardware nennt keine der Quellen einen Wert.

Nach Einschätzung von TechCrunch ist das Modell klein genug für einen PC und möglicherweise für ein Spitzen-Smartphone. Wie schnell es auf solchen Geräten antwortet, bleibt damit offen, und genau diese Zahl bräuchte ein Betrieb, der über einen Einsatz nachdenkt.

Die Laufzeit kommt ebenfalls von PrismML

Zum Ausführen nennt die Modellkarte eigene Abspaltungen, sogenannte Forks, von llama.cpp und MLX. Sie enthalten spezielle Rechenkerne für das ternäre Format. Für die Einrichtung verweist die Karte auf die Demo-Seite von PrismML als maßgebliche Quelle. Eine Laufzeitumgebung, die die passende Umrechnung nicht beherrscht, verweigert laut Karte das Laden der Datei. Nach der Modellkarte gehört zum Einsatz also neben der Datei auch diese angepasste Software.

Ob das Modell in gängigen Oberflächen ohne diese Anpassungen läuft, sagen die ausgewerteten Quellen nicht.

Unsere Einschätzung

Für Betriebe, die sensible Daten nicht in eine Cloud geben wollen, halten wir die Richtung für wichtiger als das einzelne Modell. Leistungsfähige Modelle werden so klein, dass sie auf einem gut ausgestatteten Rechner im eigenen Büro laufen können. Babak Hassibi kündigte laut TechCrunch sinngemäß an, die nächsten Modelle von PrismML sollen in einigen Monaten im Bereich mehrerer hundert Milliarden Parameter liegen. Angekündigt ist das, mehr nicht.

Vor einem Einsatz würden wir Bonsai 2 27B mit eigenen, typischen Aufgaben prüfen, auf der Hardware, die tatsächlich im Betrieb steht. Ein Dutzend echter Vorgänge aus dem eigenen Alltag, etwa Kundenanfragen oder Besprechungsprotokolle, reicht für einen ersten Eindruck. Die Benchmarkzahlen helfen dabei wenig. Sie stammen vom Hersteller, und die Einordnung von TechCrunch, dass Benchmarks echte Aufgaben nicht vollständig abbilden, gilt für die 83,9 Punkte genauso wie für den Abstand zum Ausgangsmodell. Zur Prüfung gehört aus unserer Sicht auch die Frage, wer die angepassten Laufzeitumgebungen künftig pflegt.

Lokal heißt außerdem nicht automatisch sicher. Auch ein Modell auf dem eigenen Rechner braucht Regeln, auf welche Ordner und Daten es zugreifen darf, zumal PrismML es ausdrücklich für Computersteuerung und lange Agentenaufgaben vorsieht.

Die Lizenz Apache 2.0 erlaubt die kommerzielle Nutzung. Die Herkunft des Ausgangsmodells würden wir trotzdem in die eigene Bewertung aufnehmen.

Quellen

Die genannten Angaben stützen sich auf folgende öffentlich zugängliche Quellen (Stand der Recherche: 18. September 2026):

Häufige Fragen

Was ist Bonsai 2 27B?

Ternary Bonsai 2 27B ist ein KI-Modell, das PrismML am 17. September 2026 veröffentlicht hat. Es beruht auf Qwen3.8 27B von Alibaba, dessen Gewichte PrismML ternär auf die Werte +1, 0 und −1 komprimiert hat. Laut PrismML ist das Modell 5,9 GB groß, steht unter der Lizenz Apache 2.0 und lässt sich kostenlos herunterladen.

Wie nah kommt Bonsai 2 27B an das Ausgangsmodell heran?

Nach Angaben von PrismML erreicht es über eine Auswahl von 20 Benchmarks 83,9 Punkte, das sind 98,2 Prozent der 85,4 Punkte von Qwen3.8 27B. Die Modellkarte auf Hugging Face nennt für eine andere Auswahl von 14 Benchmarks im Denkmodus 84,78 Punkte im Schnitt. Beide Zahlen sind Angaben des Herstellers, Messungen Dritter nennen die ausgewerteten Quellen nicht.

Wie schnell läuft das Modell und auf welcher Hardware?

PrismML nennt bis zu 143 Token pro Sekunde auf einer NVIDIA GeForce RTX 5090, einer teuren Spitzengrafikkarte, die Modellkarte rund 47 Token pro Sekunde auf einem Laptop mit Apple M5 Max. Für einen gewöhnlichen Büro-PC ohne solche Hardware nennen die Quellen keinen Wert. Ausgeführt wird das Modell laut Modellkarte über angepasste Fassungen von llama.cpp und MLX.

Was sollte ein Betrieb vor dem Einsatz eines solchen lokalen Modells klären?

Aus unserer Sicht gehört das Modell zuerst mit eigenen, typischen Aufgaben auf die Hardware, die tatsächlich im Büro steht, und es sollte klar sein, wer die angepassten Laufzeitumgebungen pflegt. Auch ein lokal betriebenes Modell braucht Regeln, auf welche Ordner und Daten es zugreifen darf. Die Lizenz Apache 2.0 erlaubt die kommerzielle Nutzung, die Herkunft des Ausgangsmodells würden wir trotzdem in die eigene Bewertung aufnehmen.

Mit welcher Aufgabe aus dem eigenen Betrieb ließe sich ein lokales KI-Modell ehrlich testen?

Im kostenlosen KI-Schnupperkurs zeigen wir in fünf Lektionen, wie kleine und mittlere Firmen KI im Alltag einsetzen. Tiefer und praxisnah geht es im Vollkurs Digitalisierungsmanager, DEKRA-zertifiziert und förderfähig über den Bildungsgutschein.

Zuletzt aktualisiert: 18. September 2026. Stand der Recherche: 18. September 2026.