Liebe Leute, kann mir der eine oder andere etwas zur Anwendung datenschutzfreundlicher KI erzählen bzw. dazu Empfehlungen abgeben?
Ich habe gesehen, da gibt es zB koboldppc … Ich hab´s ausprobiert, bin aber wirklich nicht zurecht gekommen.
Seit heute bin ich mit Lumo von Proton konfrontiert worden. Was haltet ihr davon? So wie Lumo beworben wird, klingt es einwandfrei, oder?
Da ich darüber hinaus denke, dass die massenhaft angewandte KI für uns alle a la longue demokratiepolitisch nicht ungefährlich werden könnte, möge mir hier vielleicht jemand der sich dazu beflissen fühlt, etwas dazu sagen!
Beschäftige mich hier und da ebenfalls mit derartigen Fragestellungen. Es gibt auch viele solcher Fragen und Antworten dazu bereits im Netz; auch hier im Forum.
Eine allgemeingültige Antwort habe ich nie gelesen und halte die auch aufgrund der allgemeinen Fragestellung für ausgeschlossen.
Wie auch im Beispiel von @phone-company erwähnt, kann man KI-Tools bereits sehr einfach nutzen und man könnte da viele solche Lösungen hinzufügen.
Ohne Angabe von spezifischen Nutzungsarten und Anwendungszenarien wird man auch hier nicht über bereits bestehende Antworten und Hinweise hinauskommen.
Ja, sicher. Aber mir geht es um maximal möglichen Datenschutz. Ich glaube mit ziemlicher Sicherheit sagen zu können, dass du doch selbst irgendwo in diesem Forum fallen gelassen hast, dass Duck-Duck-Go nicht unbedingt vertrauenswürdig ist, da - wenn ich mich richtig erinnere - der Server in den USA steht.
Es hängt auch viel von der Art der Fragen ab, die einer KI gestellt werden, und von den genutzten Lizenzmodellen sowie der Aufgabenstellung.
Die derzeit sicherste Variante ist wohl das Betreiben eines lokal gehosteten LLM. Das funktioniert allerdings nur sehr eingeschränkt mit den Informationen, die du dem System zum Training bereitstellst. Solche RAG-Systeme [1] eignen sich besonders für Unternehmen, die allgemeine branchenbezogene Informationen mit eigenen sensiblen Daten mischen. Beispielsweise können sie Angebote, Auftragsbestätigungen und weitere auftrags- und produktionsbezogene Daten mit allgemeinen Informationen wie einzuhaltende gesetzliche Vorgaben kombinieren. Dadurch können umfangreiche Dokumente miteinander verglichen und mit eigenen Parametern abgestimmt werden.
Dann gibt es Anbieter wie DeepL, die ihren Sitz in Deutschland haben. Mit ihnen kann bei bezahlten Lizenzmodellen ein AVV abgeschlossen werden. Der Anbieter verpflichtet sich damit, die Daten des Kunden nicht zu Trainingszwecken zu verwenden, und sorgt darüber hinaus dafür, dass kein Dritter Zugriff auf die Daten bekommt. Das eignet sich aber weniger zur Recherche, sondern übersetzt beispielsweise Dokumente in andere Sprachen.
Was die großen Player im LLM-Bereich wie ChatGPT, Gemini, Llama oder Copilot betrifft, muss man neben den firmeneigenen Aussagen auch die nationalen Gesetze berücksichtigen, die den Anbieter unter Umständen dazu verpflichten, auf Anfrage Daten herauszugeben. In dieser Hinsicht stehen europäische Anbieter besser da als US-amerikanische oder gar chinesische Anbieter. Hier gilt der Grundsatz, nur mit anonymisierten Daten zu arbeiten. Die Art der Fragen kann jedoch zu einem Nutzerprofil zusammengeführt werden, was je nach Benutzerverhalten schon sehr präzise Rückschlüsse auf die Person zulässt.
Der ChatbotLe Chat ist ein Werkzeug, welches an ChatGPT angelehnt ist. Im Hintergrund werden dafür die Modelle Mistral Small, Mistral Large und ein sich in Entwicklung befindendes neues Modell Mistral Next genutzt.[11] Eine Besonderheit ist die Funktion Flash-Answers, mit der über 1.000 Wörter in der Sekunde, und damit zehnmal schneller als KI-Chatbots wie ChatGPT, generiert werden können.[12][13] Ein weiterer Unterschied: Anders als etwa bei ChatGPT haben User sogar in der kostenlosen Version Zugriff auf das beste Modell von Mistral – wenn auch nur in limitiertem Maße.[14]
Le Chat wurde am 26. Februar 2024 veröffentlicht; am 6. Februar 2025 folgten Mobile Apps. Seitdem hat sich Le Chat auch im Hinblick auf einen ausgeprägten Datenschutz als europäische Alternative zu Chatbots wie ChatGPT positioniert.[15]
Habe allerdings keine Ahnung, was das Ding wirklich kann, weil ich es nicht selbst habe. Bezüglich der ‘Datenschleuder’ Problematik hab ich zu dieser Firma aber durchaus ein gewisses Vertrauen.
Lokales LLM bleibt für den Datenschutz einfach am unkritischsten. Empfehlenswert ist dann bspw. LM Studio als Umgebung und bspw. das aktuelle OpenAI-Open-Source-Modell zur lokalen Ausführung. Kommt nicht an aktuelles ChatGPT ran, gleichzeitig schon recht gut und halbwegs aktuelle Daten verarbeitet. Kann dann komplett (nach dem Download) ohne Internetverbindung verwendet werden. Performance kommt auf den jeweiligen Rechner an – auf aktuellen Macs läuft das dank Optimierung für Apple Silicon recht flott.
Steht jeweils in der Beschreibung des jeweiligen Modells bzw. der jeweiligen “Distribution” (im erweiterten Sinn…). Wenn du nicht selbst Modelle trainieren möchtest, bist du auf ein entsprechendes Update angewiesen.
Auf Huggingface finden sich Tausende Modelle mit unterschiedlichsten “Brauchbarkeiten”.
Leichtester Einstieg zum Ausprobieren/Spielen bleiben Umgebungen wie LM Studio und einfach ein Modell dort über die Oberfläche installieren. Kann wirklich nur dazu raten nicht zu viel Theorie vorher zu versuchen, sondern ausprobieren und einen eigenen Eindruck gewinnen. Je nach konkreter Nutzung, passt es dann am Ende mit einem lokalen Model oder auch nicht.
Lumo habe ich kurz mal gegen Perplexity getestet und überzeugt mich jetzt noch nicht ganz. Mich interessiert aber nur die Echtzeitsuche im Web, die Aufbereitung und der Detailierungsgrad zu speziellen bzw. aktuellen Themen.
Getestet habe ich Kursziele, Analystenmeinungen und Fundamentalanalysen von Aktien als Echtzeitsuche - da ist Perplexity meilenweit voraus und liefert deutlich detaillierter aufbereitete Informationen ab mit denen man auch arbeiten kann.
Ich hatte gestern mal perplexity getestet und das finde ich unheimlich keine Ahnung warum … seit gestern teste ich mit Pro account Mistral und ich habe ein super Gespräch gehabt. Wir denken echt gleich
Hab gerade mal Lumo gefragt, welche LLMs dahinterstecken. Es handelt sich nicht gerade um SOTA-Modelle, daher wird es wohl schlechter funktionieren als die meisten anderen Chatbots.
Lumo isn’t built on a single proprietary model. Instead, Proton runs a portfolio of open‑source large language models that have been fine‑tuned and optimized for privacy‑first operation.
The current lineup includes:
Nemo (Mistral) – a strong general‑purpose model
OpenHands 32B – specialized for coding and programming tasks
OLMO 2 32B (Allen Institute for AI) – excels at reasoning and complex language understanding
Mistral Small 3 – a lightweight model for faster, lower‑cost responses
When you ask a question, Lumo’s routing system automatically selects the model whose strengths best match the task (e.g., OpenHands for code, OLMO 2 for deep reasoning). All of these models run exclusively on servers controlled by Proton, and none of your conversation data is used to train them—your chats remain encrypted with zero‑access encryption.
So, the “specialized” aspect refers to both the diversity of models and the intelligent routing that matches each query to the most suitable model, all while keeping your data private.
Le Chat von Mistral wäre wohl eine gute Alternative, wenn man etwas mehr Leistung braucht.
Hier mal ein paar Screenshots (Reasoning Effort “medium”):
keine Ahnung warum … seit gestern teste ich mit Pro account Mistral und ich habe ein super Gespräch gehabt. Wir denken echt gleich