Welche Limits gelten für die Hetzner Inference API?

Die Grenzen gelten je API-Schlüssel und je 60 Sekunden. Erlaubt sind höchstens 10 Anfragen, 4 Millionen Eingabe-Token und 100.000 Ausgabe-Token. Wer darüber liegt, bekommt den HTTP-Status 429 und muss kurz warten. Für Massenaufgaben heißt das in der Praxis, die eigenen Aufrufe auf zehn pro Minute zu takten.

Kann ich damit DSGVO-konform Kundendaten verarbeiten?

Aktuell nicht seriös. Die Server stehen zwar in Deutschland und Finnland und unterliegen nicht dem US CLOUD Act, aber Hetzner stellt für das Experiment keinen Auftragsverarbeitungsvertrag bereit. Ohne AVV fehlt die vertragliche Grundlage nach Art. 28 DSGVO. Dass laut Hetzner nur Nutzungsdaten wie Zeitstempel und Token-Zahlen gespeichert werden und keine Inhalte, ist erfreulich, ändert daran aber nichts. Bis dahin gehören in die API nur synthetische Daten, interne Inhalte ohne Personenbezug oder Prototypen.

Wie gut sind die angebotenen Modelle Qwen3.6 und Qwen3.8?

Qwen3.6-35B-A3B ist ein kleines, schnelles Mixture-of-Experts-Modell. Für Zusammenfassungen, Klassifizierung, Datenextraktion und einfache Chat-Aufgaben reicht das gut. Qwen3.8-27B ist ein dichtes Modell, das in meinen Tests saubereres Deutsch schrieb, dafür aber deutlich langsamer antwortet. Mit den großen Modellen von OpenAI, Anthropic oder Google können beide bei komplexen Aufgaben nicht mithalten. Die Modelle sind der austauschbarste Teil des Angebots, die Infrastruktur dahinter ist der interessante.

Wie probiere ich die API aus?

Über das Experiments-Dashboard unter experiments.hetzner.com einen API-Token erzeugen, dann im OpenAI-SDK die Basis-URL auf https://inference.hetzner.com/api/v1 stellen und den Token als API-Key eintragen. Wichtig ist der Parameter chat_template_kwargs mit enable_thinking auf false, sonst denkt das Modell erst lange nach. Mehr ist es nicht, ein bestehendes Hetzner-Konto vorausgesetzt. Ein erster Test kostet damit etwa zehn Minuten und kein Geld.

Hetzner Inference: die neue KI-API mit Qwen3.6 und Qwen3.8, OpenAI-kompatibel auf EU-Servern

Q: Was kostet die Hetzner KI-Inferenz-API?

In der aktuellen Experimentphase nichts, eine Abrechnung gibt es weiterhin nicht (Stand 21. September 2026). Laut Hetzners FAQ bleibt das so, solange der Dienst den Experiment-Status hat. Eine Änderung will Hetzner vorher per E-Mail ankündigen. Wer Hetzners Preispolitik bei Cloud-Servern kennt, darf für ein späteres Bezahlmodell auf Preise deutlich unter den US-Anbietern hoffen, versprochen ist das aber nirgends.

Meine Server laufen seit Jahren bei Hetzner, diese Website eingeschlossen. Warum, habe ich im Vergleich mit AWS und Azure ausführlich vorgerechnet. Deshalb bin ich hellhörig geworden, als Hetzner im Juli 2026 still ein neues Experiment freigeschaltet hat, nämlich eine eigene KI-Inferenz-API. Sprachmodelle über eine Schnittstelle abrufen, wie man es von OpenAI kennt, nur eben auf Servern in Deutschland und Finnland.

Das ist für ein Unternehmen wie Hetzner ein bemerkenswerter Schritt. Bisher hieß Open-Source-KI auf europäischer Infrastruktur fast immer, einen eigenen GPU-Server zu mieten und das Modell selbst zu betreiben. Das lohnt sich erst bei dauerhafter Auslastung und setzt einiges an Betriebswissen voraus. Eine API, bei der man nur für Abrufe zahlt, senkt die Schwelle erheblich. Genau in diese Lücke zielt das Experiment.

Stand September 2026

Seit diesem ersten Blick Ende Juli hat sich einiges bewegt. Deshalb hier der aktuelle Stand vom 21. September 2026, direkt über die Schnittstelle abgefragt und gegen die offizielle Dokumentation gelesen. Hetzner bietet zwei Modelle an, beide kostenlos und weiterhin ausdrücklich als Experiment ohne Enddatum:

Modell	Bauart	Kontextfenster
Qwen/Qwen3.6-35B-A3B-FP8	Mixture of Experts, 35 Mrd. Parameter, davon rund 3 Mrd. aktiv	262.144 Token
Qwen3.8-27B	dichtes Modell, 27 Mrd. Parameter	262.144 Token

Beide Modelle nehmen laut Dokumentation Text und Bilder entgegen. Kostenlos bleibt der Dienst, solange er ein Experiment ist, eine Änderung will Hetzner vorher per E-Mail ankündigen. Neu dokumentiert sind die Grenzen je API-Schlüssel. Pro 60 Sekunden sind höchstens 10 Anfragen, 4 Millionen Eingabe-Token und 100.000 Ausgabe-Token erlaubt, wer darüber liegt, bekommt den HTTP-Status 429. Zum Datenschutz schreibt Hetzner, dass nur Nutzungsdaten wie Zeitstempel und Token-Zahlen gespeichert werden, die Inhalte von Anfragen und Antworten dagegen nicht.

Der Weg dorthin hatte einige Wendungen. Am 24. Juli ging die Dokumentation online. Über einen eigenen Schlüssel ließ sich damals genau ein Modell ansprechen, Qwen3.6. Am 7. August schaltete Hetzner mit Kimi-K2.7-Code, GLM-5.2 und DeepSeek-V4-Flash drei große Modelle dazu und machte das Experiment ab dem 10. August bei seinen Kundinnen und Kunden bekannt. Die Nachfrage lag nach Hetzners eigenen Angaben schon nach wenigen Stunden über den optimistischsten Erwartungen, im 99. Perzentil stieg die Wartezeit bis zum ersten Token auf fast zehn Minuten. In einem ausführlichen Bericht vom 17. August kündigte Hetzner an, vorerst nur noch kleine Modelle wie Qwen 3.6 und 3.8 anzubieten und bei den großen eine Pause einzulegen. Genau so sieht das Angebot bis heute aus.

Die Geschwindigkeit habe ich am 21. September mit derselben Methode wie im Juli und August gemessen, also fünf Läufe für die Zeit bis zum ersten Token und eine Erklärung von rund 400 Wörtern für den Durchsatz, diesmal dreimal wiederholt. Der Durchsatz zählt ab dem ersten Token, damit die Wartezeit ihn nicht verfälscht.

Messwert	24. Juli	23. August	21. September
Qwen3.6, Zeit bis erstes Token (Median)	244 ms	257 ms	0,45 bis 2,3 s
Qwen3.6, Durchsatz	181 Token/s	75 Token/s	24 bis 50 Token/s
Qwen3.8, Zeit bis erstes Token (Median)	noch nicht angeboten	364 ms	9,7 s bis über 2 min
Qwen3.8, Durchsatz	noch nicht angeboten	28 Token/s	4 bis 7 Token/s

Die Werte für September stammen aus drei Messreihen zwischen 16 und 17 Uhr. Schon die unterschieden sich deutlich. Qwen3.6 schrieb je nach Durchgang nur noch ein Siebtel bis gut ein Viertel so schnell wie im Juli, die Wartezeit auf das erste Token lag im Median zwischen einer halben und gut zwei Sekunden. Die Erklärung von 400 Wörtern brauchte in der langsamsten Reihe 22 bis 28 Sekunden statt knapp 4. Qwen3.8 hat es an diesem Nachmittag deutlich härter getroffen. Die Wartezeit auf das erste Token lag in den fünf Kurztests zwischen 1,2 und gut 60 Sekunden, bei den drei längeren Texten bis zu zwei Minuten. Bei Probeaufrufen kurz vorher waren es sogar fast drei Minuten. Die Ausgabe selbst lief mit 4 bis 7 Token pro Sekunde, derselbe Text dauerte damit einschließlich Wartezeit zwischen zweieinhalb und viereinhalb Minuten. Das sind Momentaufnahmen, die zu einer anderen Tageszeit anders ausfallen können. Sie zeigen aber, dass ein kostenloser Dienst, den sehr viele Menschen gleichzeitig nutzen, keine planbare Antwortzeit hat. Den Vergleich zwischen Juli und August mit allen Einzelwerten habe ich in der Nachmessung nach vier Wochen aufgeschrieben.

Dichter Abendverkehr auf einer mehrspurigen Stadtautobahn von oben Foto: Magda Ehlers / Pexels

Unverändert ist der Denkmodus. Ohne den Parameter enable_thinking: false denkt Qwen3.6 weiterhin erst nach, im Test entfielen 284 von 290 Ausgabe-Token auf Denkschritte, obwohl die Antwort nur aus einer Zahl bestand. Wie du das abschaltest, zeigt das Codebeispiel weiter unten.

Was Hetzner konkret anbietet

Der Umfang war zum Start bewusst klein gehalten. Ende Juli gab es genau ein Modell, Qwen3.6-35B-A3B in FP8-Quantisierung. Das ist ein Mixture-of-Experts-Modell mit 35 Milliarden Parametern, von denen pro Anfrage nur rund 3 Milliarden aktiv rechnen. Vereinfacht gesagt trägt das Modell viel Wissen mit sich herum, nutzt für jede einzelne Antwort aber nur einen kleinen, passenden Ausschnitt davon. Das macht es schnell und günstig im Betrieb, bei begrenzter Tiefe. Inzwischen ist ein zweites Modell dazugekommen, den aktuellen Stand findest du oben im Abschnitt zum September 2026.

Der Zugang läuft über das Experiments-Dashboard unter experiments.hetzner.com. Dort erzeugt man einen API-Token. Ab da verhält sich die Schnittstelle wie die von OpenAI. Kostenlos ist das Ganze auch, eine Abrechnung hat Hetzner schlicht noch nicht eingebaut. Dazu gehört die andere Seite derselben Medaille, nämlich kein Service Level Agreement, keine Betriebsgarantie und ausdrücklich Experiment-Status. Hetzner will erkennbar erst einmal herausfinden, ob und wie das Angebot genutzt wird.

OpenAI-kompatibel, also nur zwei Zeilen ändern

Der praktisch wichtigste Punkt ist die Kompatibilität. Die API spricht das OpenAI-Format. Bestehender Code läuft deshalb weiter, wenn man Basis-URL und Key austauscht:

from openai import OpenAI

client = OpenAI(
    base_url="https://inference.hetzner.com/api/v1",
    api_key="<dein-hetzner-api-token>",
)

antwort = client.chat.completions.create(
    model="Qwen/Qwen3.6-35B-A3B-FP8",
    messages=[
        {"role": "user", "content": "Fasse diese Anfrage in einem Satz zusammen: ..."}
    ],
    extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)

print(antwort.choices[0].message.content)

Die Zeile mit extra_body schaltet den Denkmodus ab, der bei Hetzner standardmäßig läuft. Ohne sie denkt das Modell erst ausführlich nach, bevor die eigentliche Antwort kommt. Bei knappem Token-Limit bleibt die Antwort sogar leer. Warum das so ist, habe ich im Deutsch-Test des Modells beschrieben.

Wer schon einmal einen Anbieterwechsel bei einer klassischen Cloud durchgezogen hat, weiß, was für ein Unterschied das ist. Kein neues SDK, keine umgeschriebenen Aufrufe, keine wochenlange Migration. Das OpenAI-Format hat sich als Quasi-Standard durchgesetzt. Hetzner tut gut daran, ihn einfach zu übernehmen. Für Tests heißt das, dass sich eine bestehende Anwendung in Minuten probeweise auf Hetzner umstellen und direkt vergleichen lässt.

Entwicklungsumgebung mit Quellcode auf einem Monitor Foto: pankajpatel / Unsplash

Wie schnell ist das Ganze?

Erste unabhängige Messungen vom 23. Juli 2026 lieferten brauchbare Anhaltspunkte. Gemessen wurden 153 Millisekunden bis zum ersten Token im Median und rund 224 Token pro Sekunde bei längeren Ausgaben. Damit fühlt sich ein Chat flüssig an. Für Hintergrundaufgaben wie Zusammenfassungen oder Klassifizierung ist das mehr als genug. Es ist eine einzelne Messung zu einem einzelnen Zeitpunkt. Unter Last kann das anders aussehen, als erster Eindruck ist es aber ein ordentlicher Wert. Dass es unter Last tatsächlich anders aussieht, zeigen meine eigenen Messungen aus August und September, die Werte stehen oben im Abschnitt Stand September 2026.

Beim Modell selbst muss man die Erwartungen richtig setzen. Ein 35-Milliarden-MoE-Modell spielt nicht in der Liga der großen Modelle von OpenAI, Anthropic oder Google. In ersten Tests patzte Qwen3.6 sogar bei einfachen Rechenaufgaben. Für die Aufgaben, für die man ein kleines, schnelles Modell realistisch einsetzt, ist das aber verschmerzbar: Texte zusammenfassen, E-Mails klassifizieren, Daten aus Dokumenten ziehen, interne Suchen und RAG-Bausteine, einfache Assistenten. Solche Aufgaben machen in der Praxis einen Großteil dessen aus, was Unternehmen tatsächlich automatisieren. Dafür braucht es kein Spitzenmodell.

EU-Infrastruktur, aber noch ohne AVV

Interessant wird das Angebot durch den Standort. Die Server stehen in Deutschland und Finnland, betrieben von einem deutschen Unternehmen. Der US CLOUD Act, der amerikanische Anbieter selbst bei EU-Rechenzentren zur Datenherausgabe verpflichten kann, greift hier nicht. Für alle, die KI-Funktionen einbauen wollen und bei jedem US-Anbieter ein Datenschutz-Bauchweh haben, klingt das nach genau dem fehlenden Baustein.

Netzwerk-Hardware mit gesteckten Kabeln in einem Rack Foto: albertstoynov / Unsplash

Nur ist das Experiment dafür schlicht noch nicht gebaut. Hetzner stellt keinen Auftragsverarbeitungsvertrag bereit, auch die Dokumentation vom September 2026 nennt keinen. Ohne AVV fehlt die vertragliche Grundlage, die Art. 28 DSGVO für die Verarbeitung personenbezogener Daten durch einen Dienstleister verlangt. Der Serverstandort allein macht eine Verarbeitung nicht zulässig. Dass Hetzner laut eigener FAQ keine Inhalte von Anfragen und Antworten speichert, ist ein gutes Zeichen, ersetzt den Vertrag aber nicht. Dazu kommt das fehlende SLA, das jede Produktivnutzung zum Glücksspiel macht. Beides zusammen ergibt eine klare Grenze, die man kennen sollte, bevor man sich zu sehr freut.

Sauber geht heute schon einiges, nämlich Prototypen und Machbarkeitstests, interne Werkzeuge ohne Personenbezug, die Verarbeitung synthetischer oder anonymisierter Daten sowie Entwicklungs- und Staging-Umgebungen. Das ist weniger, als man sich wünscht, aber mehr, als es klingt. Die meisten KI-Projekte, die ich sehe, scheitern nicht am Produktivbetrieb, sondern schon davor, weil nie jemand günstig ausprobieren konnte, ob der Anwendungsfall überhaupt trägt. Genau dieses Ausprobieren ist jetzt kostenlos.

Warum ich das Experiment ernst nehme

Man kann das Ganze als Spielerei abtun, kleine Modelle, kein SLA, keine Abrechnung. Ich sehe es anders, und zwar wegen des Musters dahinter. Hetzner hat schon beim klassischen Cloud-Geschäft gezeigt, wie das Unternehmen Märkte betritt, nämlich spät, unspektakulär und dann mit Preisen, die um den Faktor 4 bis 10 unter den US-Hyperscalern liegen. Die GPU-Kapazität dafür ist vorhanden, die Rechenzentren stehen, die Kostenstruktur ist bekannt aggressiv.

Wenn aus dem Experiment ein reguläres Produkt mit Abrechnung, SLA und AVV wird, entsteht etwas, das es in dieser Form bisher kaum gibt, nämlich eine KI-Inferenz-API auf deutscher Infrastruktur zu Hetzner-Preisen. Für den Mittelstand wäre das die Antwort auf die häufigste Frage, die ich zu KI-Automatisierung höre, nämlich wo die Daten eigentlich hinlaufen. Ob es so kommt, entscheidet Hetzner vermutlich anhand der Nutzung des Experiments. Auch deshalb lohnt sich das Ausprobieren.

Bis dahin gilt eine pragmatische Zweiteilung. Entwickeln und testen auf der Hetzner-API, produktiv gehen mit personenbezogenen Daten weiterhin dort, wo AVV und SLA existieren. Durch die OpenAI-Kompatibilität ist der spätere Umzug dann tatsächlich nur ein Tausch der Basis-URL.

Mein Fazit

Hetzner Inference ist heute ein kostenloses Experiment mit zwei kleinen Modellen und klaren Grenzen, aber es ist das strategisch interessanteste Infrastruktur-Signal seit langem aus deutscher Richtung. Die Schnittstelle ist da und der Standort stimmt. Die Geschwindigkeit hängt dagegen spürbar an der Auslastung, das zeigen die Messungen vom September deutlich. Was fehlt, sind die Verträge. Die sind bei einem Anbieter dieser Größe eine Frage der Entscheidung, nicht der Fähigkeit.

Wenn du gerade überlegst, wo KI-Funktionen für deine Website oder deine internen Abläufe laufen sollen, ob bei einem US-Anbieter, auf eigener Hardware oder perspektivisch auf so einer EU-API, dann melde dich gerne. Ich baue solche Automatisierungen regelmäßig und rechne dir nüchtern vor, welche Variante zu deinem Fall passt.