Kurze Antwort
Sie führen lokale KI aus, indem Sie ein Programm zur Modellausführung installieren (zum Beispiel Ollama oder LM Studio), ein auf Ihre RAM-Menge abgestimmtes Modell herunterladen und es in diesem Programm oder über dessen Oberfläche starten. Alles bleibt auf dem Computer, aber Geschwindigkeit und Qualität hängen von Prozessor, Grafik und Speicher ab, daher ist für den Anfang ein kleineres Modell am besten.
So erkennen Sie das Problem
- Sie möchten KI nutzen, dürfen aber keine Daten in die Cloud senden
- Das KI-Werkzeug im Browser funktioniert nicht oder ist nicht verfügbar
- Das Unternehmen verlangt die Verarbeitung von Dokumenten ohne Übertragung an externe Server
- Der Computer ist langsam, wenn ein größeres Modell gestartet wird
- Das Modell wird heruntergeladen, liefert aber keine Antworten oder stürzt ab
Häufigste Ursachen
Nicht genügend RAM oder VRAM
Modelle werden in den Arbeitsspeicher geladen, und größere Modelle benötigen mehrere Dutzend GB. Wenn nicht genügend Speicher vorhanden ist, lagert das Programm auf die Festplatte aus und der Betrieb wird sehr langsam.
Falsche Modellwahl
Ein Modell mit mehr Parametern liefert bessere Antworten, ist für einen Heimcomputer aber oft zu schwer. Kleinere Modelle laufen schneller bei etwas geringerer Qualität.
Keine Unterstützung für Grafikbeschleunigung
Ohne passenden Treiber oder mit nicht unterstützter Grafik läuft das Modell nur auf dem Prozessor, was deutlich langsamer ist.
Nicht genügend Speicherplatz auf der Festplatte
Jedes Modell belegt mehrere GB, und die Programme speichern auch temporäre Dateien. Ohne freien Speicherplatz werden Download oder Betrieb abgebrochen.
Netzwerk oder Download-Unterbrechung
Der erste Modell-Download ist groß, daher führen eine schwache Verbindung oder eine Unterbrechung zu einer unvollständigen Datei und einem Fehler beim Start.
Lösung Schritt für Schritt
- 1
Hardware prüfen
Öffnen Sie die Seite mit den grundlegenden Systeminformationen: unter Windows
Einstellungen > System > Info, unter macOSApple-Menü > Über diesen Mac, und unter Linux prüfen Sie die Systemeinstellungen oder führen im Terminalfree -haus. Sehen Sie sich die RAM-Menge und den Prozessortyp an. Für ein kleineres Modell mit etwa 3 bis 4 Milliarden Parametern werden 8 GB RAM empfohlen, für Modelle mit 7 bis 8 Milliarden Parametern 16 GB. Prüfen Sie auch den freien Speicherplatz auf der Festplatte, mindestens 10 bis 20 GB. - 2
Programm für den lokalen Betrieb wählen
Der einfachste Weg sind Programme, die Modelle selbst herunterladen und starten, wie Ollama (läuft in der Kommandozeile) oder LM Studio (hat eine grafische Oberfläche). Installieren Sie eines davon von der offiziellen Website gemäß der Anleitung für Ihr System. Laden Sie keine Installationen von unbekannten Websites oder aus E-Mail-Links herunter.
- 3
Kleineres Modell herunterladen
Öffnen Sie in LM Studio die Registerkarte für die Modellsuche, geben Sie den Namen der Modellfamilie ein und wählen Sie die Version mit einer Größenangabe, die zu Ihrem RAM passt. In Ollama erledigen Sie das mit einem Befehl im Terminal, zum Beispiel
ollama pullgefolgt vom Modellnamen. Beginnen Sie mit einem kleineren Modell und probieren Sie später ein größeres aus. - 4
Modell starten und erste Frage stellen
Wählen Sie in LM Studio das heruntergeladene Modell und klicken Sie auf die Schaltfläche zum Laden, dann geben Sie im Chat-Feld eine kurze Frage ein. In Ollama starten Sie das Modell mit dem Befehl
ollama rungefolgt vom Modellnamen und tippen die Frage in dieselbe Zeile. Die erste Antwort kann länger dauern, weil das Modell in den Speicher geladen wird. - 5
Prüfen, ob es ohne Internet funktioniert
Schalten Sie Wi-Fi aus oder ziehen Sie das Netzwerkkabel ab und wiederholen Sie die Frage. Wenn die Antwort weiterhin kommt, läuft das Modell lokal und die Daten verlassen den Computer nicht. Wenn das Programm eine Verbindung verlangt, prüfen Sie, ob Sie versehentlich die Option für den Betrieb über die Cloud gewählt haben.
- 6
Beschleunigung auf der Grafik einstellen
Suchen Sie in LM Studio in den Modelleinstellungen nach der Option für die Anzahl der Schichten, die auf die Grafik ausgelagert werden, und erhöhen Sie sie schrittweise, bis Sie einen schnelleren Betrieb ohne Fehler erhalten. Aktualisieren Sie unter Windows und macOS zuerst den Grafiktreiber bzw. das System. Wenn der Computer abstürzt oder einfriert, reduzieren Sie die Anzahl der Schichten.
- 7
Antwortlänge anpassen
Lange Antworten kosten Zeit und Speicher. Reduzieren Sie in den Chat-Einstellungen die maximale Token-Anzahl und die Temperatur auf einen moderaten Wert. Für Zusammenfassungen und das Umschreiben von Text fordern Sie kürzere Antworten an und stellen konkrete Fragen.
- 8
Einstellungen speichern und Backup erstellen
Notieren Sie, welches Modell und welche Einstellungen Sie verwenden, damit Sie sie leicht wiederherstellen können. Wenn das Programm Chats in einem lokalen Ordner speichert, erstellen Sie gelegentlich eine Kopie dieses Ordners. Modelle können Sie erneut herunterladen, Einstellungen und Chat-Verlauf jedoch nicht.
Wann ein lokales Modell nicht ausreicht
Lokale Modelle eignen sich gut zum Umschreiben, Zusammenfassen kürzerer Texte, Übersetzen und für den Umgang mit sensiblen Daten, die den Computer nicht verlassen dürfen. Für komplexe Analysen, lange Dokumente und die neuesten Informationen sind sie oft schwächer als Cloud-Werkzeuge, da sie keine Ereignisse nach dem Trainingszeitpunkt kennen und keinen Internetzugang haben. Wenn Sie bessere Qualität benötigen, probieren Sie zuerst ein größeres Modell auf einem Computer mit mehr RAM und erwägen Sie dann einen dedizierten Server im Unternehmen. Für die geschäftliche Nutzung legen Sie im Voraus fest, wer Modelle starten darf, wo Dateien gespeichert werden und welche Daten Sie eingeben dürfen, auch wenn alles lokal bleibt.
So beugen Sie vor
- Laden Sie Programme und Modelle nur von offiziellen Websites und aus offiziellen Quellen herunter
- Prüfen Sie vor dem Start eines größeren Modells den freien RAM und Speicherplatz auf der Festplatte
- Aktualisieren Sie regelmäßig die Grafiktreiber und das Programm für den lokalen Betrieb
- Bewahren Sie eine Kopie der Einstellungen und des Chat-Verlaufs auf, die Ihnen wichtig sind
Wann Sie einen Profi rufen sollten
Wenden Sie sich an den IT-Support, wenn das Modell auch nach der Verkleinerung nicht geladen werden kann, wenn der Computer beim Arbeiten mit der Grafik abstürzt oder wenn im Unternehmen Regeln für die lokale Verarbeitung sensibler Daten aufgestellt werden müssen.
KI-Automatisierung · KI-Agenten, die Dokumente, E-Mails und Daten verarbeitenHäufige Fragen
Funktioniert lokale KI wirklich ohne Internet?
Ja, sobald das Modell heruntergeladen und geladen ist, werden die Antworten auf Ihrem Computer verarbeitet. Internet wird nur für den ersten Download des Programms und des Modells sowie für spätere Aktualisierungen benötigt.
Wie viel RAM brauche ich für ein lokales Modell?
Für ein kleineres Modell mit etwa 3 bis 4 Milliarden Parametern reichen 8 GB RAM, für Modelle mit 7 bis 8 Milliarden Parametern werden 16 GB empfohlen. Größere Modelle benötigen deutlich mehr Speicher und eine stärkere Grafik.
Sind meine Daten sicher, wenn ich ein lokales Modell verwende?
Die Daten bleiben auf dem Computer und werden nicht an einen Anbieter gesendet, was aber nicht bedeutet, dass sie automatisch geschützt sind. Der Zugriff auf den Computer, Dateikopien und eine eventuelle Weitergabe von Ergebnissen unterliegen weiterhin den Unternehmensrichtlinien.