Grundsätzlich ist es möglich, dass KI-Modelle direkt auf dem eigenen Computer, also ganz ohne Internetzugang (zu beachten bei Prüfungen) und vollständig privat (wichtig bzgl. Datenschutz) ausgeführt werden können. Dabei ist jedoch zu beachten: Selbst auf leistungsstarken Privat-Rechnern lassen sich nur kleinere, weniger leistungsstarke Modelle sinnvoll betreiben (z. B. GPT-OSS 20B mit rund 21 Milliarden Parametern). Für grössere, leistungsstärkere Modelle wie GPT-OSS 120B sind die Hardware-Anforderungen so hoch, dass ein Betrieb auf herkömmlichen Endgeräten praktisch ausgeschlossen ist.

Kurzanleitung:

LM-Studio (oa.) herunterladen https://lmstudio.ai/
Lade dein bevorzugtes Modell herunter (hier z.B. GPT-OSS 20B)
Sobald das Modell heruntergeladen ist, klicke auf “Start a New Chat”
Beginne mit dem Chat
- Hinweis: die Antwortgenerierung wird auf den meisten privaten Rechnern sehr langsam sein.