Zum Inhalt springen
KKrynex Labs

On-Premise · Datenhoheit · Mittelstand

On-Premise-KI im Mittelstand

„Die Daten bleiben im Haus\“ ist schnell gesagt. Diese Seite sagt, was das praktisch bedeutet: was im Serverraum steht, was es an Pflege kostetund wann es die Mühe wert ist.

Wann es nötig wird

Vier Gründe, die tragen. Alles andere ist meistens Gefühl — und Gefühl ist ein teurer Grund für eine Anschaffung.

Besondere Kategorien nach Art. 9 DSGVO

Gesundheits-, Sozial- oder Personaldaten. Hier ist die Frage selten, ob ein Cloud-Anbieter es dürfte — sondern ob ihr es verantworten wollt.

Drittlandtransfer ausgeschlossen

Wenn eine Ausschreibung, ein Konzernkunde oder eine Aufsicht es verlangt, ist die Diskussion über Rechenzentrumsstandorte vorbei.

Latenz zählt

Bei Sprachanwendungen am Telefon oder in der Fertigung ist die Antwortzeit Teil der Funktion, nicht Komfort.

Dauerlast statt Spitzen

Ab einem gewissen Dauerdurchsatz ist eigene Hardware billiger als Abrechnung je Anfrage. Die Grenze liegt betriebsindividuell und gehört gerechnet, nicht geglaubt.

Was wirklich dazugehört

Eine Maschine, kein Rechenzentrum

Für die meisten mittelständischen Anwendungsfälle reicht ein einzelner Server mit einer oder zwei Grafikkarten. Der Aufwand ist näher an einem Dateiserver als an einer Cloud.

Strom und Abwärme sind real

Eine Maschine unter Dauerlast will Kühlung und macht Geräusch. Wer keinen Technikraum hat, braucht einen Platz dafür — das ist häufiger das Hindernis als der Kaufpreis.

Jemand muss es pflegen

Modellstände, Treiber, Sicherheitsaktualisierungen. Ohne Wartungsvereinbarung wird aus der eigenen Maschine binnen eines Jahres ein Gerät, das niemand anfasst.

Die Modelle sind gut genug

Für Zusammenfassen, Einordnen, Formulieren und Auskunft aus eigenen Dokumenten reichen offene Modelle inzwischen. Für Spitzenleistung in Programmierung oder komplexem Schlussfolgern nicht.

Häufige Fragen

Ab wann lohnt sich eine eigene KI-Maschine gegenüber der Cloud?+

Es gibt keine allgemeine Schwelle. Die Rechnung hat vier Posten: Anschaffung, Strom, Pflege und der Preis, den ihr sonst je Anfrage zahlt. Bei gleichmäßiger Dauerlast kippt es früher, bei seltener Nutzung praktisch nie. Wir rechnen das vor der Entscheidung durch, weil ein Kaufirrtum hier vierstellig ist.

Welche Hardware braucht man?+

Für die meisten Fälle im Mittelstand ein einzelner Server mit ein bis zwei Grafikkarten mit ausreichend Speicher. Entscheidend ist weniger die Rechenleistung als der Grafikspeicher, weil er bestimmt, welche Modellgröße überhaupt läuft.

Sind lokale Modelle schlechter?+

Für Zusammenfassen, Einordnen, Formulieren und Auskunft aus euren eigenen Dokumenten sind offene Modelle inzwischen gut genug. Bei anspruchsvollem Programmieren und mehrstufigem Schlussfolgern liegen die großen Anbieter weiter vorn. Diese Lücke ist der eigentliche Preis der Datenhoheit — nicht die Hardware.

Kann man beides kombinieren?+

Ja, und das ist der häufigste sinnvolle Aufbau: geschützte Daten lokal, alles andere über einen Cloud-Zugang mit Auftragsverarbeitungsvertrag. Die Entscheidung fällt dann je Anwendungsfall statt einmal für den ganzen Betrieb.

Tiefer:Entscheidungsmatrix On-Premise gegen Cloud,lokale und angepasste Modelle,DSGVO-Checkliste.

Erst rechnen, dann kaufen

Wir rechnen Anschaffung, Strom, Pflege und Anfragepreis gegeneinander — und sagen, ab wann sich die eigene Maschine trägt. Oder dass sie es bei euch nicht tut.