Spätestens wenn es um KI-Tools geht, stellt sich in jeder Behörde dieselbe Frage: Läuft das bei uns, oder in der Cloud eines amerikanischen Konzerns?
Die Antwort der meisten Anbieter ist vorhersehbar: „Beides ist möglich, es kommt auf den Anwendungsfall an.“ Das stimmt, hilft aber niemandem weiter, der eine Entscheidung treffen muss.
Dieser Artikel gibt eine klare Einschätzung. Keine Marketingbroschüre, keine „es kommt drauf an“-Ausweichung. Sondern eine begründete Empfehlung für Behörden, die KI einsetzen wollen.
1. Was die Begriffe wirklich bedeuten
Kurze Klärung, bevor es in die Tiefe geht:
| On-Premise | Cloud |
| Software läuft auf eigenen Servern der Behörde | Software läuft auf Servern eines externen Anbieters |
| Daten verlassen das Haus nicht | Daten werden extern verarbeitet und gespeichert |
| Volle Kontrolle über Infrastruktur und Daten | Abhängigkeit vom Anbieter und dessen Rechenzentrum |
| Höherer Einrichtungs- und Wartungsaufwand | Sofort nutzbar, Updates automatisch |
| Einmalkosten + laufende IT-Kosten | Laufende Lizenzkosten, skalierbar |
Hinzu kommt eine dritte Option, die häufig übersehen wird:
| EU-souveräne Cloud: Rechenzentren in Deutschland oder der EU, betrieben nach deutschem oder europäischem Recht, ohne Zugriff durch US-Behörden (kein Cloud Act). Anbieter wie die Deutsche Telekom, Ionos oder BWI bieten entsprechende Lösungen. Für viele Behörden ein praktikabler Mittelweg. |
2. Der Datenschutz-Vergleich
Das ist für Behörden der entscheidende Faktor. Nicht weil Datenschutz eine Lästigkeit ist, sondern weil Behörden mit den sensibelsten Daten arbeiten, die es gibt: Meldedaten, Aufenthaltsstatus, Einkommensnachweise, Gesundheitsinformationen, strafrechtliche Einträge.
On-Premise: Maximale Kontrolle
- Keine Datenübertragung an Dritte
- Keine Abhängigkeit von AVV-Verträgen mit externen Anbietern
- Kein Drittstaatentransfer, kein US Cloud Act-Risiko
- DSGVO-Konformität ist strukturell gesichert, nicht vertraglich versprochen
Cloud (EU-Anbieter): Konform, aber mit Aufwand
- Auftragsverarbeitungsvertrag (AVV) ist Pflicht und muss sorgfältig geprüft werden
- Technische und organisatorische Maßnahmen (TOMs) müssen dokumentiert sein
- Reguläre Audits und Nachweise über die Einhaltung sind nötig
- EU-Anbieter ohne US-Muttergesellschaft deutlich unkomplizierter als US-Hyperscaler
Cloud (US-Hyperscaler wie AWS, Azure, Google): Risikobehaftet
- US Cloud Act ermöglicht US-Behörden unter Umständen Zugriff auf Daten, auch wenn Server in der EU stehen
- Standardvertragsklauseln bieten Schutz, aber keine absolute Rechtssicherheit
- Für Daten mit besonderem Schutzbedarf – also den meisten Verwaltungsdaten – nicht empfehlenswert
| Kurz gesagt: On-Premise ist datenschutzrechtlich die sauberste Lösung. EU-souveräne Cloud ist ein vertretbarer Mittelweg. US-Cloud mit personenbezogenen Verwaltungsdaten ist ein rechtliches Risiko, unabhängig davon, wie die Verträge formuliert sind. |
3. Der Kosten- und Aufwands-Vergleich
Hier wird häufig oberflächlich argumentiert: Cloud sei günstiger, weil keine eigene Infrastruktur nötig ist. Das stimmt, aber nur auf den ersten Blick.
| Faktor | On-Premise | Cloud (EU) |
| Einrichtungskosten | Höher: Hardware, Setup, Konfiguration | Niedriger: Sofort nutzbar |
| Laufende Kosten | IT-Personal, Wartung, Updates | Monatliche Lizenzgebühren, skalierbar |
| Abhängigkeit | Keine externe Abhängigkeit | Anbieter kann Konditionen ändern oder Dienst einstellen |
| Datenschutz-Aufwand | Gering: strukturell gesichert | Höher: AVV, Audits, laufende Prüfung |
| Skalierbarkeit | Begrenzt durch eigene Hardware | Flexibel nach Bedarf |
| IT-Know-how intern | Erforderlich | Geringer Bedarf |
Was die Tabelle nicht zeigt: Der versteckte Aufwand bei Cloud-Lösungen in Behörden. AVV-Verträge müssen geprüft, Datenschutzfolgeabschätzungen durchgeführt und laufende Compliance-Nachweise erbracht werden. Das kostet intern Zeit und wird bei der Kostenrechnung meist vergessen.
| Aus der Praxis: In kleinen und mittelgroßen Kommunen fehlt häufig das IT-Personal, um On-Premise-Lösungen zu betreiben. Hier ist eine EU-souveräne Cloud oder ein kommunaler Rechenzentrumsverbund oft die realistischere Wahl, nicht weil sie besser ist, sondern weil sie machbar ist. |
4. Die klare Empfehlung
Kein „es kommt drauf an“. Hier ist eine direkte Einschätzung nach Anwendungsfall:
| ✅ On-Premise → empfohlen für:Verarbeitung personenbezogener Bürgerdaten (Meldedaten, Sozialdaten, Aufenthaltsstatus)Systeme, die in Fachverfahren mit besonders sensiblen Daten eingebunden sindBehörden mit eigenem Rechenzentrum oder Anschluss an kommunale IT-DienstleisterLangfristige Automatisierungsinfrastruktur, die nicht von Anbieterentscheidungen abhängen soll |
| ⚠️ EU-souveräne Cloud → vertretbar für:Behörden ohne eigene IT-Kapazität für On-Premise-BetriebPilotprojekte mit überschaubarem Datenvolumen und klar geregeltem AVVAnwendungen, bei denen keine besonders sensiblen Datenkategorien (Art. 9 DSGVO) verarbeitet werdenKommunikationstools, Wissensmanagement, interne Assistenzsysteme ohne Personenbezug |
❌ US-Cloud (AWS, Azure, Google Cloud) mit personenbezogenen Verwaltungsdaten: nicht empfohlen. Das rechtliche Risiko überwiegt den Komfortvorteil. Wer es trotzdem tut, sollte das bewusst entscheiden und rechtlich wasserdicht dokumentieren.
| Die Empfehlung in einem Satz: Für sensible Verwaltungsdaten ist On-Premise oder EU-souveräne Cloud die richtige Wahl. US-Hyperscaler haben in Kernprozessen der öffentlichen Verwaltung nichts zu suchen. Nicht aus Technikfeindlichkeit, sondern aus Verantwortungsbewusstsein. |
5. Die Entscheidungs-Matrix
Fünf Fragen für die konkrete Einschätzung im eigenen Haus:
| Frage | On-Premise | EU-Cloud |
| Werden personenbezogene Daten verarbeitet? | ✅ Empfohlen | ⚠️ Mit AVV möglich |
| Gibt es IT-Personal für Betrieb und Wartung? | ✅ Voraussetzung erfüllt | ✅ Nicht nötig |
| Ist das Budget für Einrichtung vorhanden? | ⚠️ Höhere Erstinvestition | ✅ Geringere Einstiegskosten |
| Soll das System langfristig unabhängig sein? | ✅ Volle Kontrolle | ⚠️ Anbieterrisiko beachten |
| Werden Art.-9-Daten verarbeitet (Gesundheit etc.)? | ✅ Einzige sichere Option | ⚠️ Nur mit besonderer Sorgfalt |
Praxisbeispiel: BärGPT → wie Berlin es umsetzt
Berlin zeigt seit November 2025, wie ein souveräner KI-Einsatz in der Praxis aussehen kann. BärGPT, der KI-Assistent der Berliner Landesverwaltung, wurde vom CityLAB Berlin in enger Zusammenarbeit mit der Senatskanzlei entwickelt. Als Sprachmodell kommt Mistral 3.2 Small zum Einsatz, ein Modell des französischen Unternehmens Mistral AI, das bewusst als europäische Alternative zu US-Hyperscalern gewählt wurde. Die Infrastruktur läuft bei einem BSI-zertifizierten Anbieter mit Servern in Deutschland. Daten werden nicht für das Training des Modells verwendet.
Auf eine vollständige On-Premise-Lösung hat Berlin vorerst verzichtet. Nicht aus Überzeugung, sondern aus pragmatischen Gründen: Eigene Hardware wäre zum Zeitpunkt der Entwicklung technisch und finanziell nicht ohne Weiteres realisierbar gewesen. BärGPT ist jedoch LLM-agnostisch konzipiert und so aufgebaut, dass ein späterer Betrieb im landeseigenen Rechenzentrum möglich bleibt.
Das ist kein Widerspruch zur Empfehlung dieses Artikels. Es ist die EU-Cloud-Option in der Praxis mit europäischem Modell, deutschem Hosting und ohne US-Abhängigkeit. Und es zeigt: Wer den Mittelweg geht, kann ihn datenschutzkonform gehen, wenn er konsequent umgesetzt wird.
| Hinweis: BärGPT steht seit dem 25. November 2025 allen Mitarbeitenden der Berliner Landesverwaltung kostenlos zur Verfügung. Die Open-Source-Basis macht den Ansatz transparent und prinzipiell auf andere Verwaltungen übertragbar. |
Fazit
On-Premise ist für die meisten Kernprozesse in Behörden die richtige Wahl. Nicht weil Cloud per se schlecht ist, sondern weil Behörden mit Daten arbeiten, für die maximale Kontrolle keine Option, sondern eine Pflicht ist.
Wer On-Premise nicht realisieren kann wegen fehlender IT-Kapazität oder Budget sollte auf EU-souveräne Anbieter setzen und die datenschutzrechtlichen Anforderungen konsequent einhalten.
US-Cloud für sensible Verwaltungsdaten ist kein Digitalisierungsschritt. Es ist ein nicht kalkulierbares rechtliches Risiko. Wer das kennt und trotzdem so entscheidet, trägt die Verantwortung.
| Nächste Woche: Pillar Page 5 Als Entscheider KI einführen – Von der Idee zur Umsetzung: der vollständige Leitfaden für Führungskräfte in Behörden. Kein Artikel verpassen? Jetzt Newsletter abonnieren unter behoerde.ai. |
Weiterführende Artikel:
→ KI und DSGVO in Behörden – was erlaubt ist, was nicht
→ KI in der öffentlichen Verwaltung – Der komplette Überblick
→ In 5 Schritten zur ersten KI-Automatisierung
| Über den Autor Simon arbeitet seit 2014 in der öffentlichen Verwaltung: unter anderem in der Ausländerbehörde, im Einwohnermeldeamt, im Büro der Stadtverordnetenversammlung und in der Kleingartenverwaltung. Parallel studiert er angewandte Künstliche Intelligenz.Auf behoerde.ai zeigt er, wie KI und Automatisierung in Behörden wirklich funktionieren, praxisnah, verständlich und ohne Buzzword-Bingo. |