Ist die Hetzner Inference API noch kostenlos nutzbar?

Ja. Der Zugang läuft weiterhin über die Experiments-Plattform, eine Abrechnung existiert nach wie vor nicht. Hetzner hat allerdings die Ratenbegrenzung gesenkt und die Zahl gleichzeitiger Anfragen reduziert, um mehr Nutzern eine Chance zu geben. Ein Service Level Agreement gibt es unverändert nicht, und für den Produktivbetrieb rät Hetzner weiterhin ab.

Warum ist der Durchsatz gefallen, obwohl die Antwortzeit gleich geblieben ist?

Beide Werte messen Unterschiedliches. Die Zeit bis zum ersten Token hängt vor allem daran, wie schnell eine Anfrage überhaupt drankommt. Der Durchsatz sagt, wie schnell danach Text entsteht. Wenn sich mehr Anfragen dieselbe Hardware teilen, bleibt der Einstieg schnell, die Ausgabe zieht sich aber. Genau dieses Bild zeigen die Messwerte.

Welches der beiden Modelle sollte ich nehmen?

Für alles, was Menschen lesen, spricht viel für Qwen3.8-27B, weil es in meinen Läufen sauberes Deutsch geschrieben hat. Für Aufgaben hinter den Kulissen, bei denen ein Schema die Ausgabe absichert und Tempo zählt, ist Qwen3.6 mit dem knapp dreifachen Durchsatz die pragmatischere Wahl. Beide unterliegen denselben Einschränkungen des Experiments.

Kann ich mich für ein Projekt auf diese API verlassen?

Nein, und das ist keine Kritik, sondern der ausdrückliche Stand des Angebots. Hetzner nennt es ein Experiment, es gibt kein Service Level Agreement, keinen Auftragsverarbeitungsvertrag und keine Zusage zur Verfügbarkeit. Der Verlauf der letzten vier Wochen zeigt genau das: Modelle kamen und verschwanden wieder, Grenzwerte wurden nachjustiert. Zum Entwickeln und Ausprobieren ist das brauchbar, als Fundament eines Kundenprojekts nicht.

Hetzner Inference nachgemessen: vom Durchsatz sind nach vier Wochen 41 Prozent übrig

Ende Juli habe ich Hetzners neue KI-Inferenz-API vorgestellt und das angebotene Modell danach mit echten deutschen Büroaufgaben getestet. Damals lief das Angebot seit wenigen Tagen, es gab genau ein Modell, und die Messwerte waren ordentlich.

Vier Wochen später wollte ich wissen, was daraus geworden ist. Also habe ich dieselben Prompts noch einmal gegen denselben Endpunkt geschickt, mit derselben Methode und demselben Token. Das Ergebnis ist in einem Punkt unverändert, in einem anderen deutlich schlechter, und an einer dritten Stelle überraschend besser.

Das Modellangebot hat sich zweimal gedreht

Zum Start gab es genau ein Modell, Qwen3.6-35B-A3B in FP8-Quantisierung. Anfang August kamen drei weitere dazu, und zwar durchaus prominente: Kimi-K2.7-Code, GLM-5.2 und DeepSeek-V4-Flash. Für ein kostenloses Angebot war das eine beachtliche Liste.

Heute ist davon nichts mehr übrig. Die Modellabfrage liefert genau zwei Einträge:

Qwen/Qwen3.6-35B-A3B-FP8
Qwen3.8-27B

Die drei großen Modelle sind wieder verschwunden, dafür ist ein neues, kleineres Qwen dazugekommen. Warum das so ist, hat Hetzner am 17. August selbst aufgeschrieben. Die Nachfrage übertraf die optimistischsten Erwartungen bereits innerhalb von sechs Stunden nach dem Start. DeepSeek erzeugte dabei die aufwendigsten Anfragen mit sehr großen Ein- und Ausgabemengen, während bei Qwen eine hohe Zahl kleinerer Anfragen auflief. Die Folge war eine Latenz, die im 99. Perzentil auf fast zehn Minuten bis zum ersten Token stieg. Der Dienst war zeitweise schlicht unbrauchbar.

Hetzner hat daraufhin zurückgebaut: weniger gleichzeitige Anfragen pro Instanz, gesenkte Ratenbegrenzung, Konzentration auf kleine Modelle. Das ist eine nachvollziehbare Entscheidung, und sie erklärt die Messwerte.

Stoppuhr auf einer dunklen Tischplatte Foto: KoolShooters / Pexels

Antwortzeit unverändert, Durchsatz halbiert

Ich messe zwei Dinge getrennt, weil sie Unterschiedliches aussagen. Die Zeit bis zum ersten Token beschreibt, wie lange man wartet, bis überhaupt etwas passiert. Der Durchsatz beschreibt, wie schnell danach Text entsteht.

Messwert	24. Juli (Qwen3.6)	23. August (Qwen3.6)	23. August (Qwen3.8-27B)
Zeit bis erstes Token, Median	244 ms	257 ms	364 ms
Durchsatz	181 Token/s	75 Token/s	28 Token/s

Die erste Zeile ist die gute Nachricht. Mit 257 Millisekunden liegt Qwen3.6 praktisch dort, wo es Ende Juli lag. Wer die API in einem Chat einsetzt, merkt keinen Unterschied, die Antwort beginnt genauso zügig wie vorher. Ein Ausreißer nach oben blieb auch diesmal der jeweils erste Aufruf nach einer Pause, damals 1,2 Sekunden, heute 1,25 Sekunden. Das sieht nach einem Kaltstart aus und relativiert sich ab dem zweiten Aufruf sofort.

Die zweite Zeile ist die schlechte. 75 statt 181 Token pro Sekunde bedeutet, dass von der ursprünglichen Geschwindigkeit 41 Prozent übrig sind. Im Testlauf brauchte derselbe Auftrag, eine Erklärung von rund 400 Wörtern, statt 3,8 Sekunden jetzt 8,0 Sekunden. Bei einer kurzen Klassifizierung fällt das nicht auf. Bei längeren Ausgaben, und erst recht bei einem Agenten, der mehrere Aufrufe hintereinander macht, summiert sich das spürbar.

Interessant ist, dass beide Werte in verschiedene Richtungen zeigen. Der schnelle Einstieg bei gleichzeitig langsamer Ausgabe ist genau das Bild, das entsteht, wenn sich mehr Anfragen dieselbe Hardware teilen. Man kommt sofort dran, aber die Rechenzeit wird geteilt.

Geschäftsbrief und Unterlagen auf einem Schreibtisch Foto: MART PRODUCTION / Pexels

Das neue Modell schreibt besseres Deutsch

Beim ersten Test hatte ich einen Fehler gefunden, der mir bis heute der interessanteste Befund des ganzen Experiments ist: Qwen3.6 streute in einer förmlichen deutschen Geschäftsmail chinesische Schriftzeichen ein. Konkret erschien 预计, das chinesische Wort für “voraussichtlich”, mitten im deutschen Satz, an genau der Stelle, an der das deutsche Wort hingehört hätte. In vier von sieben Läufen.

Ich habe denselben Test wiederholt, wieder sieben Läufe, gleicher Prompt.

Modell	Läufe mit chinesischen Zeichen
Qwen3.6 im Juli	4 von 7
Qwen3.6 heute	2 von 7
Qwen3.8-27B heute	0 von 7

Bei Qwen3.6 tritt der Fehler weiterhin auf, an derselben semantischen Stelle und mit demselben Wort. Zwei von sieben statt vier von sieben ist bei dieser Stichprobengröße keine Verbesserung, auf die man etwas geben sollte, sondern normale Streuung. Der Punkt ist: Der Fehler ist nach vier Wochen unverändert da.

Das neue Qwen3.8-27B zeigte ihn dagegen in keinem einzigen Lauf. Sieben saubere deutsche Geschäftsmails. Das ist der Unterschied zwischen einem Modell, das man einen Textentwurf schreiben lassen kann, und einem, bei dem jemand jede Ausgabe gegenlesen muss, bevor sie einen Kunden erreicht.

Der Preis dafür steht in der Tabelle weiter oben. Mit 28 Token pro Sekunde ist Qwen3.8-27B noch einmal deutlich langsamer als Qwen3.6 und braucht für dieselbe Aufgabe 23 statt 8 Sekunden. Man tauscht also Tempo gegen Sprachqualität, und je nach Anwendungsfall lohnt sich dieser Tausch oder eben nicht.

Serverschrank mit blinkenden Netzwerk-Leuchten Foto: panumas nikhomkhai / Pexels

Was das für den Einsatz bedeutet

Aus den Messwerten ergibt sich eine ziemlich klare Aufteilung. Für alles, was am Ende ein Mensch liest, spricht viel für das neue Modell. Für Aufgaben hinter den Kulissen, bei denen ein Schema die Ausgabe absichert, also Klassifizieren, Extrahieren, Vorsortieren, ist das ältere Modell mit dem knapp dreifachen Durchsatz die pragmatischere Wahl. Genau diese Aufteilung hatte ich schon beim ersten Test empfohlen, sie gilt weiterhin, nur verläuft die Grenze jetzt zwischen zwei Modellen statt zwischen zwei Aufgabentypen.

Was sich nicht geändert hat, sind die Rahmenbedingungen. Es gibt weiterhin kein Service Level Agreement und keinen Auftragsverarbeitungsvertrag. Für personenbezogene Daten im Produktivbetrieb fehlt damit unverändert die vertragliche Grundlage, unabhängig davon, dass die Server in Deutschland und Finnland stehen. Hetzner selbst rät vom Produktiveinsatz ab, und der Verlauf der letzten vier Wochen zeigt, warum: Modelle kamen und verschwanden, Grenzwerte wurden nachjustiert, die Leistung schwankt.

Trotzdem finde ich das Experiment eher interessanter als vorher, nicht langweiliger. Ein Anbieter, der öffentlich aufschreibt, dass ihm die eigene Nachfrage um die Ohren geflogen ist, und danach sichtbar umbaut, sagt mehr über die Ernsthaftigkeit des Vorhabens aus als eine glatte Ankündigung. Die spannende Frage ist, was am Ende daraus wird. Wenn aus dem Experiment ein Produkt mit Abrechnung, Zusagen und Vertrag wird, entsteht etwas, das es in dieser Form auf deutscher Infrastruktur bisher kaum gibt.

Bis dahin bleibt es das, was es ist: eine sehr gute Spielwiese zum Entwickeln und Ausprobieren, und keine Grundlage für ein Kundenprojekt.

Wenn du überlegst, welche Aufgaben in deinem Betrieb überhaupt ein kleines Sprachmodell erledigen kann und wo ein stärkeres Modell oder ein Mensch im Spiel bleiben muss, melde dich gerne. Diese Abgrenzung ist meist der Teil, der über Erfolg oder Frust eines KI-Projekts entscheidet.