vor ein paar Tagen hat @kuketzblog geschrieben, dass er für Bilder eine lokale KI-Lösung installiert hat. Mich würde zum einen interessieren, wie Mike das bei sich umgesetzt hat und zum anderen wie datenschutzfreundlich denn so eine lokale Installation ist?
Wäre echt super, hierzu Infos zu bekommen.
Bei Bildgeneratoren kann ich nicht weitethelfen, aber Du kannst viele „Prompt KI“ lokal installieren. Suche doch mal nach „Ollama“ oder „LM Studio“.
Diese Apps können dann mit sog. Modellen gefüttert werden, wobei es eine Vielzahl von denen gibt. Die Downloads fangen bei ca. 2GiB an und enden bei mehreren TiB. Wobei größer nicht besser ist.
Entscheidend für die Geschwindigkeit ist die Hardware, also der Rechner, auf dem die App läuft. Wenn eine Grafikkarte vorhanden ist oder sogar spezielle GPUs (wie bei Silicon Macs), dann werden die benutzt. Wenn die Apps darauf nicht zugreifen können, dann wird die CPU benutzt, was dann sehr (!) viel (!!) läääänger (!!!) dauert.
Probier es halt aus. Kost’ nix.
Und „kost’ nix“ ist auch das Stichwort zum Datenschutz: alles, was Du eingibst, bleibt im Regelfall auf Deinem Rechner. Es wird alles lokal „berechnet“. (Ausnahme davon könnte sein, wenn die App, die das Modell benutzt, nach Hause telefoniert).
@NichtDieMama
Danke für eine Antwort. Ich bin halt skeptisch, ob nicht doch bei einer lokalen Installation irgendwo irgendwelche Daten hingeschickt werden. Habe aber zu wenig (fachliche) Ahnung, um das beurteilen zu können.
Was mir als Lösung bekannt ist, das ist eine Docker Installation mit OpenWebUI und Ollama.
Über Docker geht’s auch. Ollama bietet nur Kommandozeile an, das OpenWebUI macht da noch eine Webseite drum. „LM Studio“ macht beides.
Docker kann man benutzen, wenn man sein System nicht mit extra Installationen verhunzen will. Allerdings kann es sein, dass dann z.B. die GPUs der Grafikkarte nicht erkannt werden und die Lösung noch langsamer wird.
Der Vorteil solcher lokalen LLMs ist, dass Du wechseln kannst. Also offene Modelle von OpenAI, Meta, DeepSeek, etc. ausprobieren kannst. Zur Not richtest Du in Deiner Desktopfirewall (Defender unter Windows) eine Regel ein, die der App (ollama oder LM Studio) jegliches Senden nach Außen verbietet.
Ich habe nur einen Intel Core i3-9100 mit 16 GB RAM (keine dedizierte Grafikeinheit!). D.h. der i3-9x muss es alleine wuppen. Und das ist wirklich langsam! Quasi unbenutzbar.
Ein Bekannter hat einen Intel Core i7-13x mit 32 GB (ebenfalls ohne dedizierte Grafikeinheit)… dort es läuft wesentlich besser, man kann es schon recht gut benutzen.
Zum Programm: mir persönlich gefällt Jan besser als LM Studio. Es hat mehr Funktionen und Features und macht irgendwie einen professionelleren Eindruck (das Programm und das Projekt) (ob es wirklich professioneller ist, vermag ich nicht zu beurteilen).
Wenn man keinen Gaminglaptop hat, kann man das echt vergessen. Ich habe das auch mal auf einem i5 getestet. War zu langsam und nicht gut genug. Leider muss man das alles noch online verwenden. Solche Server haben die meisten noch nicht.
Kommt immer darauf an welche Algorithmen und Modelle man genau für welchen Anwendungszweck verwendet. Es gibt auch welche die auf schwachen Mini-PCs genügend gute Ergebnisse liefern.