KI/AI lokal installieren?

Hallo Forum,

vor ein paar Tagen hat @kuketzblog geschrieben, dass er für Bilder eine lokale KI-Lösung installiert hat. Mich würde zum einen interessieren, wie Mike das bei sich umgesetzt hat und zum anderen wie datenschutzfreundlich denn so eine lokale Installation ist?
Wäre echt super, hierzu Infos zu bekommen.

Viele Grüße

Bei Bildgeneratoren kann ich nicht weitethelfen, aber Du kannst viele „Prompt KI“ lokal installieren. Suche doch mal nach „Ollama“ oder „LM Studio“.
Diese Apps können dann mit sog. Modellen gefüttert werden, wobei es eine Vielzahl von denen gibt. Die Downloads fangen bei ca. 2GiB an und enden bei mehreren TiB. Wobei größer nicht besser ist.
Entscheidend für die Geschwindigkeit ist die Hardware, also der Rechner, auf dem die App läuft. Wenn eine Grafikkarte vorhanden ist oder sogar spezielle GPUs (wie bei Silicon Macs), dann werden die benutzt. Wenn die Apps darauf nicht zugreifen können, dann wird die CPU benutzt, was dann sehr (!) viel (!!) läääänger (!!!) dauert.
Probier es halt aus. Kost’ nix.

Und „kost’ nix“ ist auch das Stichwort zum Datenschutz: alles, was Du eingibst, bleibt im Regelfall auf Deinem Rechner. Es wird alles lokal „berechnet“. (Ausnahme davon könnte sein, wenn die App, die das Modell benutzt, nach Hause telefoniert).

In der Empfehlungsecke gibt es dazu alle Informationen: https://www.kuketz-blog.de/empfehlungsecke/#ki-tools

@NichtDieMama
Danke für eine Antwort. Ich bin halt skeptisch, ob nicht doch bei einer lokalen Installation irgendwo irgendwelche Daten hingeschickt werden. Habe aber zu wenig (fachliche) Ahnung, um das beurteilen zu können.

Was mir als Lösung bekannt ist, das ist eine Docker Installation mit OpenWebUI und Ollama.

@kuketzblog

Mensch, das ist ja komplett an mir vorbeigegangen. Danke dir.

Darf ich dich noch fragen, auf welcher Hardware du es laufen lässt?

Über Docker geht’s auch. Ollama bietet nur Kommandozeile an, das OpenWebUI macht da noch eine Webseite drum. „LM Studio“ macht beides.
Docker kann man benutzen, wenn man sein System nicht mit extra Installationen verhunzen will. Allerdings kann es sein, dass dann z.B. die GPUs der Grafikkarte nicht erkannt werden und die Lösung noch langsamer wird.

Der Vorteil solcher lokalen LLMs ist, dass Du wechseln kannst. Also offene Modelle von OpenAI, Meta, DeepSeek, etc. ausprobieren kannst. Zur Not richtest Du in Deiner Desktopfirewall (Defender unter Windows) eine Regel ein, die der App (ollama oder LM Studio) jegliches Senden nach Außen verbietet.

1 „Gefällt mir“

Ich habe mir für 30 Tage ein ausgemustertes Macbook Air (M2-Chip) ausgeliehen.

1 „Gefällt mir“

Hi!

Ich habe zuletzt LM Studio sowie Jan getestet.

Ich habe nur einen Intel Core i3-9100 mit 16 GB RAM (keine dedizierte Grafikeinheit!). D.h. der i3-9x muss es alleine wuppen. Und das ist wirklich langsam! Quasi unbenutzbar.

Ein Bekannter hat einen Intel Core i7-13x mit 32 GB (ebenfalls ohne dedizierte Grafikeinheit)… dort es läuft wesentlich besser, man kann es schon recht gut benutzen.

Zum Programm: mir persönlich gefällt Jan besser als LM Studio. Es hat mehr Funktionen und Features und macht irgendwie einen professionelleren Eindruck (das Programm und das Projekt) (ob es wirklich professioneller ist, vermag ich nicht zu beurteilen).

Wenn man keinen Gaminglaptop hat, kann man das echt vergessen. Ich habe das auch mal auf einem i5 getestet. War zu langsam und nicht gut genug. Leider muss man das alles noch online verwenden. Solche Server haben die meisten noch nicht.

Kommt immer darauf an welche Algorithmen und Modelle man genau für welchen Anwendungszweck verwendet. Es gibt auch welche die auf schwachen Mini-PCs genügend gute Ergebnisse liefern.

Ja, spezifische laufen natürlich bereits.

Gibt es dazu eine Liste? Wenn ja wo?

Die Frage ist viel zu allgemein. Zunächst müsstest du den Anwendungszweck spezifizieren und in welchem Rahmen (z.B. mir welcher Software einbinden).

Mein Anwendungszweck wäre z.B. für die Beantwortung von wissenschaftlichen Fragen: z.B. Welche Pflanze aus folgender Liste kommt nicht in Europa vor?

Aber auch Fragen zur Programmierung z.B: Code eingeben und die KI kann Fehler korregieren.