KI-Compliance für den
Mittelstand
DSGVO und EU AI Act gelten parallel. Dieser Leitfaden bündelt alles, was ihr wirklich braucht — von der Anbieter-Wahl über die Transparenzpflichten, die seit August 2026 gelten, bis zu den Hochrisiko-Pflichten, die der Digital Omnibus auf Dezember 2027 verschoben hat. Jede Antwort mit Paragraphen, Preisen und konkreten Schritten.
Kurz beantwortet
Was gilt für den Mittelstand seit August 2026 wirklich?
Seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50 für jeden KI-Einsatz: ein Chatbot muss sagen, dass er eine Maschine ist, KI-erzeugte Inhalte müssen erkennbar sein. Das gilt unabhängig davon, ob ein System als Hochrisiko eingestuft ist.
Länger läuft Artikel 4, die Pflicht, die KI-Kompetenz der Beschäftigten zu fördern, anwendbar seit dem2. Februar 2025. Die Hochrisiko-Pflichten nach Anhang III wurden mit dem Digital Omnibus auf den 2. Dezember 2027verschoben — die Transparenzpflichten sind dabei nicht mitverschoben worden.
Der Bußgeldrahmen für Transparenzverstöße liegt bei 15 Mio. Euro oder 3 % des weltweiten Jahresumsatzes; für kleine und mittlere Unternehmen gilt der niedrigere der beiden Werte. Die oft genannten 35 Mio. Euro betreffen verbotene Praktiken, nicht Transparenz.
Stand: · Fundstelle: Verordnung (EU) 2024/1689 (KI-Verordnung)
DSGVO-Rechtsgrundlage, AVV, EU-Hosting, DSFA — und der EU AI Act mit Risikoklassen und Bußgeldern bis 35 Mio. €.
Wo die Daten liegen, entscheidet die Konformität: On-Premise vs. Cloud, Open vs. Closed, Vendor-Lock-in.
Einführung, realistische Kosten, Mitarbeiter-Kompetenz und Transparenzpflichten im Tagesbetrieb.
DSGVO & Datenschutz
Welche LLMs ihr rechtssicher betreiben dürft, was in den AVV gehört und wie ihr sensible Daten schützt.
Welche LLMs sind 2026 DSGVO-konform betreibbar?
DSGVO-konform betreibbar sind 2026: Azure OpenAI in EU-Regionen, Anthropic Claude (API + Workspace) mit EU-Hosting, Mistral La Plateforme, sowie alle on-prem-Setups mit Llama 4, Mistral Large 3, Qwen 3.5 oder DeepSeek V4. Nicht ohne Weiteres konform: Consumer-ChatGPT, Claude.ai-Web ohne Workspace-Tier, OpenAI-API in US-Region ohne dezidiertes DPF-Setup, Gemini-Consumer und chinesische Modelle in der Cloud.
Antwort lesenDarf ich ChatGPT oder Claude DSGVO-konform für Geschäftsdaten nutzen?
Mit Consumer-Versionen (chat.openai.com, claude.ai) nein — keine personenbezogenen oder vertraulichen Daten. Mit Business-/API-Variante und passendem Vertragsstack ja, aber nur mit AVV, EU-Region, DSFA und sauberer Datenklassifizierung.
Antwort lesenAVV mit AI-Anbietern — welche Klauseln müssen drin sein?
Die Standard-AVVs der großen AI-Anbieter erfüllen Art. 28 DSGVO formal. Aber drei Klauseln solltest du immer kritisch prüfen: Trainings-Opt-Out, Sub-Auftragsverarbeiter-Liste und Löschpflichten nach Vertragsende. Mehr als die Hälfte der AVVs, die wir 2026 in Audits sehen, sind entweder gar nicht abgeschlossen oder enthalten ungeprüfte Sub-Prozessor-Klauseln.
Antwort lesenPseudonymisierung vor LLM-Calls — reicht das wirklich?
Pseudonymisierung reduziert das Risiko, hebt die DSGVO-Pflichten aber nicht auf — pseudonyme Daten bleiben personenbezogen (Art. 4 Nr. 5 DSGVO). Echte Anonymisierung ist bei LLM-Inputs schwer, weil Kontext-Inferenz Re-Identifikation ermöglicht. Pseudonymisierung ist trotzdem ein wichtiger Baustein, aber kein Freischuss für sonst kritische Use-Cases.
Antwort lesenSchrems II 2026 — wie steht es um Azure OpenAI, AWS Bedrock und Google Vertex?
Ja, mit dem EU-US Data Privacy Framework (DPF) ist die Übermittlung an zertifizierte US-Anbieter möglich. Aber das DPF wird von NOYB angefochten, ein Schrems-III-Urteil ist realistisch. Wer langfristig plant, baut von Anfang an einen Migrationspfad zu EU-gehosteten oder on-prem-Alternativen ein.
Antwort lesenDSFA bei KI-Systemen — wann ist eine Datenschutz-Folgenabschätzung Pflicht?
Eine DSFA nach Art. 35 DSGVO ist Pflicht, sobald ein KI-System systematisch personenbezogene Daten verarbeitet — was bei produktiven LLM-Integrationen praktisch immer der Fall ist. Die deutschen Aufsichtsbehörden (BfDI, BayLDA, LfDI BW) führen LLMs explizit auf ihren Muss-Listen. Ohne DSFA wird das Projekt zum formalen Datenschutzverstoß.
Antwort lesenEU AI Act
Die Transparenzpflichten gelten seit August 2026, die Hochrisiko-Pflichten erst ab Dezember 2027. Was davon euch trifft — und was nicht.
EU AI Act 2024/1689 — was gilt für den Mittelstand, und ab wann?
Verbotene Systeme sind seit Februar 2025 raus, GPAI-Pflichten greifen seit August 2025, und seit dem 2. August 2026 gelten die Transparenzpflichten für jeden, der KI einsetzt. Die Hauptpflichten für Hochrisiko-KI hat der Digital Omnibus auf den 2. Dezember 2027 verschoben. Wer Chatbots betreibt, muss heute kennzeichnen; wer Bewerber-Screening oder Bonitätsprüfung mit KI macht, hat mehr Zeit für die Dokumentation, aber nicht weniger zu tun.
Antwort lesenHochrisiko-KI nach AI Act — fällt mein System darunter?
Hochrisiko-KI sind Systeme nach Anhang III des AI Act — vor allem in HR, Bonität, Bildung, Strafverfolgung und kritischer Infrastruktur — sowie KI als Sicherheitskomponente in regulierten Produkten (Anhang I). Im Mittelstand sind HR-Tools, Bewerber-Screening und Kreditscoring die häufigsten Treffer. Die Pflichten greifen seit dem Digital Omnibus ab dem 2. Dezember 2027, für Anhang I ab dem 2. August 2028.
Antwort lesenAI Audit Trail — was muss geloggt werden?
Für jedes produktive KI-System brauchst du ein Audit-Log mit Eingabe, Ausgabe, Modellversion, Nutzer, Zeitstempel und Anbieter-Region. Bei Hochrisiko-KI ist das nach Art. 12 AI Act Pflicht (mindestens 6 Monate Aufbewahrung). Bei DSGVO-relevanter Verarbeitung kommen Speicherbegrenzung nach Art. 5 und Auskunfts-Möglichkeit nach Art. 15 dazu. Wer das nicht hat, kann im Audit nichts belegen — und wer nichts belegen kann, hat den Streit verloren.
Antwort lesenAI-Policy nach AI Act Art. 4 — ist sie Pflicht?
Eine schriftliche AI-Policy ist nicht ausdrücklich verlangt, aber faktisch die einzige Art, die Pflicht aus Art. 4 AI Act (KI-Kompetenz des Personals fördern) und die Rechenschaftspflicht aus Art. 5 Abs. 2 DSGVO sinnvoll zu erfüllen. Sie muss klären: welche Tools sind erlaubt, welche Daten dürfen rein, wer entscheidet, wer trägt Verantwortung. Ohne Policy ist im Audit alles individuelle Entscheidung — und damit kaum nachweisbar.
Antwort lesenMitarbeiter-Schulung zu KI — was muss rein, wer haftet?
Pflicht-Inhalte 2026: AI-Act-Grundlagen, DSGVO-Basics für AI, firmen-eigene Tool-Whitelist, Datenklassifizierung, Output-Verantwortung, Eskalationspfad. 30–60 Minuten beim Onboarding plus 15–30 Minuten Refresh jährlich. Haftung: Geschäftsführung für Schulungs-Setup, Mitarbeitende für Befolgung der Policy. Bei nachweislich fehlender Schulung haftet primär das Unternehmen, nicht der einzelne Mitarbeitende.
Antwort lesenTechnik & Architektur
On-Premise vs. Cloud, Open vs. Closed, RAG vs. Fine-Tuning — die Architektur-Entscheidungen hinter der Compliance.
On-Premise vs. Cloud-LLM — wann lohnt welcher Setup?
Cloud-LLMs (Azure OpenAI, Anthropic API) sind 2026 für die meisten Anwendungsfälle im Mittelstand die richtige Wahl: schneller Start, niedrige Einstiegskosten, kein Hardware-Risiko. On-Premise wird notwendig, wenn Art.-9-Daten verarbeitet werden, der Drittland-Transfer ausgeschlossen sein muss, Latenz unter 50 ms gefordert ist oder das Inferenzvolumen über ~50.000 €/Monat Cloud-Kosten steigt.
Antwort lesenOpen Source vs. Closed Source LLMs — was für Unternehmen?
Open-Source-Modelle haben 2026 in vielen Aufgaben aufgeschlossen und bieten volle Daten-Hoheit. Closed-Source liefert noch das beste Reasoning, das einfachste Setup und die schnellste Modellinnovation. Empfehlung: Hybrid-Stack mit Closed-Source als Default und Open-Source-Backup für sensible Daten und Lock-In-Vermeidung.
Antwort lesenRAG vs. Fine-Tuning vs. Long-Context — was wann?
RAG ist 2026 für fast jeden Anwendungsfall im Mittelstand die richtige Wahl: schneller, billiger, transparenter, aktualisierbar. Fine-Tuning nur, wenn Ton/Format dauerhaft trainiert werden muss. Long-Context (Claude 1M, Gemini 2M) ersetzt RAG für kleine, statische Wissensbasen — wird aber bei Skalierung teurer als RAG.
Antwort lesenVendor Lock-In bei AI — wie unabhängig bleiben?
Lock-In hat vier Schichten — Modell, API-Format, Embeddings, Tools/Frameworks. Schutz: Provider-Abstraktion (LiteLLM, eigener Adapter), Eval-Set für reproduzierbaren Modell-Vergleich, Embeddings-Versionierung, datensparsame Vendor-Tool-Nutzung. Pragmatisches Ziel ist nicht 100 % Anbieter-Unabhängigkeit, sondern dass ein Anbieter-Wechsel in 2–4 Wochen statt 6 Monaten machbar ist.
Antwort lesenHalluzinationen — wie bekomme ich sie im Kundenkontakt klein?
Halluzinationen werden nicht durch ein besseres Modell auf null gedrückt, sondern durch System-Design: RAG mit Quellenzwang, Retrieval-Qualität messen, Output-Plausibilisierung, klare Antwort-Verweigerung bei Unsicherheit, Human-in-the-Loop für sensible Bereiche. Wer alle fünf Hebel zieht, kommt auf eine Fehlerrate von 0,5–2 % — was für viele Use-Cases akzeptabel ist.
Antwort lesenPraxis & Einführung
Von der ersten Einführung über realistische Kosten bis zu Urheberrecht an KI-Outputs.
KI im Mittelstand einführen: der praktische Leitfaden
In fünf Schritten: (1) Reifegrad + Use-Cases klären (KI-Readiness-Audit), (2) einen Use-Case mit klarem ROI als Pilot wählen, (3) DSGVO/EU-AI-Act-Rahmen früh festzurren, (4) produktiv bauen statt Demo (mit Eval, Monitoring, Wartung), (5) messen und ausrollen. Wer mit Strategie statt Tool startet, vermeidet die teuersten Fehler — Insellösungen, Vendor-Lock-in und Compliance-Nacharbeit.
Antwort lesenWas kostet ein produktiver AI Agent realistisch?
Realistisch 15.000–80.000 € Einmal-Investition plus 500–4.000 €/Monat laufende Betriebskosten — abhängig von Komplexität, Anbindungen und Datenvolumen. Wer Angebote unter 5.000 € sieht, bekommt meist eine Workflow-Konfiguration ohne Wartung, Monitoring oder Compliance-Layer. Wer Angebote über 200.000 € sieht, zahlt Enterprise-Aufschlag, der im Mittelstand selten lohnt.
Antwort lesenUrheberrecht bei AI-Outputs — wem gehört der Output?
Nach deutschem Urheberrecht (§ 2 Abs. 2 UrhG) entstehen Urheberrechte nur an Werken mit menschlicher Schöpfung. Reine AI-Outputs sind nicht urheberrechtlich geschützt — du kannst sie nutzen, andere aber auch. Mit ausreichender menschlicher Bearbeitung kannst du eigenes Urheberrecht begründen. Bei Bildern und Code lauern zusätzlich Trainings-Daten-Risiken aus Drittquellen.
Antwort lesenDSGVO-LLM-Checkliste 2026 als PDF
Die komplette Prüf- und Entscheidungs-Checkliste zum Abhaken — Anbieter-Matrix, Go-Live-Prüfpunkte und Datenklassifizierung auf zwei Seiten.
- Konform vs. nicht konform auf einen Blick
- 10 Prüfpunkte vor dem Go-Live
- Datenklassifizierung in drei Stufen
- Anbieter-Kurzempfehlung nach Profil
Danke — die Checkliste liegt für dich bereit.
Lad sie dir hier direkt herunter.
PDF jetzt herunterladenWo steht euer Setup?
Ein 30-Minuten-Erstgespräch klärt, ob euer aktueller AI-Stack DSGVO- und AI-Act-fest ist oder wo nachzuarbeiten ist. Kostenlos, ohne Verkaufsdruck.
Erstgespräch buchen