KI-Infrastruktur ohne Hyperscaler: was Sie im eigenen Haus brauchen
Viele Unternehmen wollen KI nutzen, aber nicht über AWS, Azure oder Google Cloud. Die Gründe sind meist dieselben: Kalkulationen, Konstruktionsdaten und Personalunterlagen sollen das Haus nicht verlassen, und die Abhängigkeit von einem einzelnen Anbieter soll nicht wachsen.
Kurz gesagt: Eine KI-Infrastruktur ohne Hyperscaler besteht aus einem Server mit Grafikkarte, offen verfügbaren Sprachmodellen, einer Suche über Ihre Daten und einer Rechteverwaltung, die schon bei der Suche greift. Alles läuft in Containern auf Ihrer Hardware. Für Fragen und Antworten braucht sie kein Internet.
Dieser Beitrag zeigt die Bausteine, die Entscheidungen, die Sie dabei treffen, und wann sich statt eines eigenen Aufbaus ein fertiges Produkt lohnt.
Was „ohne Hyperscaler“ genau heißt
Entscheidend ist, wo die Rechenarbeit passiert, wenn jemand eine Frage stellt:
| Bei jeder Anfrage | KI-Dienst eines Hyperscalers | Infrastruktur im eigenen Haus |
|---|---|---|
| Wo läuft das Sprachmodell? | im Rechenzentrum des Anbieters | auf Ihrem Server |
| Wohin gehen Ihre Daten? | zum Anbieter | nirgendwohin |
| Wer entscheidet über Modellwechsel? | der Anbieter | Sie |
| Braucht der Betrieb Internet? | ja | nein, nur für Aktualisierungen |
Die Bausteine
1. Hardware mit Grafikkarte
Sprachmodelle rechnen auf der Grafikkarte. Wie groß sie sein muss, hängt an der Zahl gleichzeitiger Anfragen, der Datenmenge und der Modellgröße. Ein Beispiel aus einem laufenden Angebot finden Sie im Beitrag KI auf internen Dokumenten ohne Cloud.
Ein eigener Server ist nicht zwingend. Die Infrastruktur kann auch als virtuelle Maschine in Ihrer bestehenden Umgebung laufen; die Grafikkarte wird dann per Passthrough oder vGPU durchgereicht.
2. Offen verfügbare Sprachmodelle
Statt eines Modells hinter einer fremden Schnittstelle nutzen Sie Modelle, deren Gewichte frei verfügbar sind und die auf Ihrer Hardware laufen. Damit sind Sie an keinen Hersteller gebunden: Kommt ein besseres Modell heraus, tauschen Sie es aus.
3. Suche über Ihre Daten
Ein Sprachmodell kennt Ihre Unterlagen nicht. Eine Suche findet zu jeder Frage die passenden Textstellen, das Modell formuliert daraus die Antwort. Dafür werden Ihre Dokumente einmal aufbereitet und in einer Datenbank abgelegt, die nach Bedeutung sucht und nicht nur nach Wörtern.
4. Rechte, die in den Daten wirken
Es reicht nicht, Menüpunkte auszublenden. Was eine Person nicht sehen darf, darf die Suche für sie gar nicht erst finden. Die Rechte gehören deshalb an jede Textstelle, nicht nur an die Oberfläche.
5. Betrieb: Protokoll, Sicherung, Aktualisierung
- Protokoll: Wer hat wann was gefragt. Das ist der Nachweis für Datenschutz und Betriebsrat.
- Sicherung: Dokumente, Suchindex und Protokoll liegen in offenen Systemen, die Sie mit Ihren vorhandenen Werkzeugen sichern.
- Aktualisierung: Neue Modelle und Programmstände kommen als Container. Eine Verbindung nach außen ist nur dafür nötig, und nur nach Freigabe durch Ihre IT.
Fünf Entscheidungen vor dem Aufbau
| Frage | Worum es geht |
|---|---|
| Wofür genau soll die KI eingesetzt werden? | Fragen an Unterlagen, eigene Anwendungen oder beides |
| Eigener Server oder virtuelle Maschine? | Was Ihre Umgebung hergibt und wer die Grafikkarte betreibt |
| Welche Daten kommen hinein, und wer sieht was? | Das Rechtemodell bestimmt, wie die Daten aufbereitet werden |
| Welche Systeme sollen angebunden werden? | ERP, Postfach, eigene Datenbanken |
| Wer betreibt das System? | Ihre IT, ein Dienstleister oder eine Mischung |
Fertiges Produkt oder eigener Aufbau?
Lautet Ihre Aufgabe „Fragen an unsere Unterlagen“, brauchen Sie keinen eigenen Aufbau. Dafür gibt es WissIQ: alle oben genannten Bausteine fertig zusammengestellt, im Haus betrieben, mit Quellenangabe in jeder Antwort.
Eine eigene Infrastruktur lohnt sich, wenn Sie darüber hinaus eigene KI-Anwendungen auf Ihren Daten betreiben wollen. Diese bauen wir mit Ihnen auf: Souveräne KI-Infrastruktur.
Der nächste Schritt
Im Erstgespräch sehen wir uns Ihre Aufgabe und Ihre IT-Umgebung an und sagen Ihnen, welcher Weg passt. Das Gespräch ist kostenlos. Termin vereinbaren
Geschrieben von
Dem Engineering-Team von codeitlabs
Die Beiträge stammen aus Projekten und Experimenten des Teams.
