Lokaler KI-Server

1. Was Sie aufsetzen

Einen Modellserver mit Ollama auf Ubuntu 24.04, mit zwei Modellen: gpt-oss:20b schreibt Antworten und Abfragen, bge-m3 findet Inhalte nach ihrer Bedeutung. Die Produkte verbinden sich über das Netz; ein Server kann alle drei bedienen.

2. Hardware

Eine NVIDIA-Grafikkarte mit mindestens 16 GB Speicher für gpt-oss:20b — 24 GB lassen Platz für bge-m3 daneben. 32 GB Arbeitsspeicher, 8 Kerne und 60 GB freier Plattenplatz. Ohne Grafikkarte laufen die Modelle auch, aber eine Antwort dauert Minuten statt Sekunden — gut zum Ausprobieren, nicht für die tägliche Arbeit.

Der KI-Server kann derselbe Rechner sein wie die Produkte oder ein eigener. Ein eigener hält die Last der Grafikkarte von den Anwendungen fern.

3. Der Grafiktreiber

Auf einem frischen Ubuntu 24.04 den empfohlenen NVIDIA-Treiber installieren und neu starten:

sudo apt update
sudo ubuntu-drivers install
sudo reboot

Danach zeigt dieser Befehl die Grafikkarte und ihren Speicher:

nvidia-smi

4. Ollama

Ollama richtet sich als systemd-Dienst ein, der mit dem Rechner startet:

curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama

Dann die Modelle holen:

ollama pull gpt-oss:20b
ollama pull bge-m3
ollama list

5. Erreichbar für die Produkte — und für niemanden sonst

Ollama hört auf 127.0.0.1:11434. Laufen die Produkte auf demselben Rechner, ist nichts zu tun. Auf einem eigenen Rechner lassen Sie es im Netz hören:

sudo systemctl edit ollama

# zwischen die Kommentarzeilen einfügen:
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_KEEP_ALIVE=24h"

sudo systemctl restart ollama

Ollama hat keine eigene Anmeldung. Öffnen Sie den Port nur für die Server, auf denen die Produkte laufen — nie ins Internet:

sudo ufw allow from 10.0.0.21 to any port 11434 proto tcp
sudo ufw enable

Über Netzgrenzen hinweg gehört ein Reverse Proxy mit Anmeldung oder ein VPN davor; die Produkte können Benutzer und Passwort oder einen API-Schlüssel mitschicken. OLLAMA_KEEP_ALIVE hält die Modelle geladen, damit die erste Frage am Morgen nicht auf sie wartet.

6. Die Produkte anbinden

In jedem Produkt: System settings › AI assistant.

„Test the connection“ muss die angebotenen Modelle nennen, eine Antwort des Modells und Bedeutungsvektoren mit 1024 Werten. Dann den Assistenten einschalten und speichern. Eine Adresse außer dem eigenen Server des Produkts muss ein Administrator einmal bestätigen; die Bestätigung steht im Audit Log.

Wer den Assistenten nutzen darf, steht unter General permissions („Use the AI assistant“). Der Worker baut danach den Suchindex; die KI-Einstellungen zeigen, wann er zuletzt lief.

7. Prüfen und aktuell halten

Ob der Server antwortet, vom Server eines Produkts aus:

curl http://<KI-Server>:11434/api/tags

Während eine Frage beantwortet wird, zeigt nvidia-smi die Grafikkarte bei der Arbeit. Ollama aktualisieren Sie, indem Sie die Installationszeile erneut ausführen; ein Modell, indem Sie es erneut holen. Der Prüfkatalog in den KI-Einstellungen zeigt in Zahlen, ob ein neues Modell besser antwortet als das alte.

8. Ohne eigenen Server

Die Produkte können auch die Modelle von Anthropic in deren Cloud nutzen. Fragen und gefundene Inhalte verlassen dann das Haus; die Produkte sagen das auf der Einstellungsseite und starten den Assistenten erst nach der Bestätigung eines Administrators.