Du willst KI-Modelle auf deinem eigenen Rechner laufen lassen statt über eine Cloud-API, weil du sensible Dokumente verarbeitest oder einfach unabhängig von einem Anbieter sein willst? In diesem Snip stelle ich dir die drei gängigsten Wege für lokale KI gegenüber: Ollama, LM Studio und AnythingLLM. Jedes Tool hat einen anderen Fokus, und am Ende rechnen wir auch noch nach, ab wann sich lokale Hardware gegenüber einem Cloud-Abo überhaupt lohnt.
Ergebnis: Nach diesem Snip weißt du, wofür Ollama, LM Studio und AnythingLLM jeweils gebaut sind, hast alle drei einmal live mit einem kleinen Modell wie Qwen3 oder Gemma laufen sehen und kannst einschätzen, ob sich lokale Hardware für dich finanziell überhaupt rechnet.
- Lade Ollama von der offiziellen Website für dein Betriebssystem herunter oder starte es alternativ als Docker-Container über das passende Image.
- Öffne die Kommandozeile und lade ein Modell mit “ollama run” und dem Modellnamen, z. B. eine kleine Qwen3-Variante mit wenigen Milliarden Parametern.
- Stelle im Terminal eine Testfrage an das Modell und beobachte, wie lange die Antwort dauert, das hängt stark von deiner Hardware und davon ab, ob Ollama in Docker oder nativ läuft.
- Beende das Modell wieder mit “ollama stop” und dem Modellnamen, um Arbeitsspeicher und Grafikkarte zu entlasten.
- Installiere LM Studio über den Download-Button auf der Website und lade dir im Programm ein oder zwei Modelle herunter, z. B. Qwen3 und eine kleine Gemma-Variante.
- Lege in LM Studio einen Ordner an, lade ein PDF hinein und lass dir vom Modell eine Inhaltsübersicht des Dokuments geben.
- Teste die Bildverarbeitung, indem du einen Screenshot hochlädst und das Modell fragst, was auf dem Bild zu sehen ist.
- Installiere AnythingLLM, lege einen neuen Workspace an und wähle unter den Einstellungen als LLM Provider entweder “nativ” (läuft intern über Ollama) oder eine externe API wie OpenAI, Gemini oder LM Studio.
- Lade Dokumente über den Upload-Button in den Workspace, damit sie in der eingebauten Vektordatenbank gespeichert werden und in jedem Chat ohne erneuten Upload verfügbar sind.
- Aktiviere bei Bedarf zusätzliche Skills für den Workspace, z. B. Websuche, Diagrammerstellung oder Dateizugriff, und prüfe dabei, welche Rechte du dem Agenten tatsächlich geben willst.
- Verstehen, welchen Zweck Ollama, LM Studio und AnythingLLM jeweils erfüllen und wo sich die drei Tools überschneiden.
- Ein kleines Sprachmodell lokal herunterladen, starten und über Kommandozeile oder GUI damit chatten.
- Dokumente und Bilder lokal von einem Modell analysieren lassen, ohne dass Daten in eine Cloud gehen.
- Einschätzen können, ab welchem Nutzungsgrad sich eigene Hardware gegenüber einem Cloud-Abo finanziell lohnt.
- Sensible Kunden- oder NDA-Dokumente analysieren, ohne dass die Inhalte einen Cloud-Anbieter erreichen.
- Eine eigene, dauerhaft durchsuchbare Wissensbasis für Kundenprojekte in AnythingLLM aufbauen statt Dateien in jedem Chat neu hochzuladen.
- Ein lokal gehostetes Modell als Backend für eigene Tools oder Skripte bereitstellen, die per Schnittstelle auf ein LLM zugreifen müssen.
- Laufende Cloud-Kosten von mehreren APIs oder Abos gegen eine einmalige Hardware-Investition durchrechnen, bevor man sich für eine Richtung entscheidet.
