KI-Systeme sollten nicht von Ihnen lernen

Viele Unternehmen sagen: „Wir trainieren nicht mit Ihren Daten.“ Das klingt präzise. Beruhigend, sogar. Aber in der Praxis überspringt es oft den Teil, der wirklich zählt. Denn je nachdem, wie ein System aufgebaut ist, können Ihre Daten immer noch das Verhalten beeinflussen, ohne jemals explizit zum erneuten Trainieren eines Modells verwendet zu werden. Dieser Einfluss zeigt sich nur an weniger offensichtlichen Stellen. Gemeinsame Embeddings werden aktualisiert. Das Ranking verbessert sich global. Die Abruflogik passt sich basierend auf aggregierter Nutzung an. Nichts wird als „Training“ gekennzeichnet, aber das Verhalten verschiebt sich immer noch basierend auf Eingaben, die woanders ihren Ursprung haben. Aus technischer Sicht ist dies der Punkt, an dem sich die Dinge zu unterscheiden beginnen. Es gibt einen bedeutsamen Unterschied zwischen Systemen, die gemeinsame Modellgewichte aktualisieren, Systemen, die global über Mandanten hinweg optimieren, und Systemen, die jede Umgebung ordnungsgemäß isoliert halten. Sie mögen von außen ähnlich aussehen. Das sind sie nicht.

Der Unterschied zwischen Daten und Einfluss

Die meisten Gespräche über KI-Sicherheit drehen sich immer noch um Datenexposition. Ist sie verschlüsselt? Wer kann darauf zugreifen? Wo wird sie gespeichert? Alles berechtigte Fragen. Nur nicht das vollständige Bild. Ein System kann Daten technisch sicher halten und dennoch zulassen, dass Einfluss auf Weisen fließt, die viel schwerer zu erkennen sind. Wenn Interaktionen eines Kunden gemeinsame Embeddings beeinflussen, das Ranking-Verhalten verändern oder die globale Optimierung des Abrufs gestalten, dann beeinflusst eine Umgebung eine andere. Damit das geschieht, müssen keine Rohdaten sichtbar sein. Mit der Zeit schafft dies Kopplung. Das Verhalten beginnt, von Signalen abzuhängen, die innerhalb eines bestimmten Systems nicht sichtbar sind. Wenn sich etwas ändert, wird es schwierig zu erklären, warum. Wir haben Systeme gesehen, bei denen sich das Verhalten wöchentlich änderte und niemand eine einzige Änderung benennen konnte, die es verursacht hätte. Das ist normalerweise der Moment, in dem die Leute erkennen, dass sie die volle Kontrolle über das System verloren haben.

Warum architektonische Grenzen wichtig sind

Viele heutige Systeme verarbeiten Interaktionen lokal, optimieren aber global. Auf dem Papier klingt das effizient. In der Praxis führt es zu einer Diskrepanz. Die Ausführung findet innerhalb eines Mandanten statt, aber das Lernen geschieht mandantenübergreifend. Das Verhalten entwickelt sich basierend auf Signalen, die nicht im eigenen Kontext des Systems enthalten sind. Damit kann man eine Weile durchkommen. In regulierten Umgebungen nicht lange. Wenn sich Ausgaben ändern, wird sich irgendwann jemand fragen, warum. Wenn Entscheidungen abweichen, muss es einen nachvollziehbaren Weg von der Eingabe zum Ergebnis geben. Sobald der Einfluss über Umgebungen verteilt ist, beginnt diese Nachvollziehbarkeit zu zerfallen. Das System funktioniert immer noch. Aber es wird schwieriger, es zu verstehen – und noch schwieriger, es zu verteidigen.

Wie das in der Praxis aussieht

Viele moderne KI-Systeme verlassen sich auf externe Modell-Anbieter, um Antworten zu generieren. Das bedeutet, dass Daten die Systemgrenze verlassen, von einem Drittanbieter-Modell verarbeitet und dann als Ausgabe zurückgegeben werden. Anbieter geben in der Regel an, dass die Daten nicht gespeichert oder zum Training verwendet werden. Vertraglich mag das durchaus zutreffen. Aber das ist nicht die ganze Geschichte. Denn das System hängt immer noch davon ab, was an dieses Modell gesendet wird. Und in vielen Implementierungen liegt diese Verantwortung beim Kunden oder der Anwendungsschicht. Wenn persönliche Daten in Prompts enthalten sind, werden sie verarbeitet. Nicht böswillig. Nicht falsch. Nur… per Design. Zu diesem Zeitpunkt haben Sie es nicht mehr mit einem rein in sich geschlossenen System zu tun. Sie verlassen sich auf eine Kombination aus Konfiguration, Disziplin und, ehrlich gesagt, ein wenig Hoffnung, dass nichts Unbeabsichtigtes durchrutscht. Und ja, das schließt Systeme wie Intercoms Fin oder ähnliche KI-Agenten ein. Sie sitzen auf externen LLMs. Sie generieren Antworten basierend auf Kundendaten. Und obwohl sie Kontrollen bieten, eliminieren sie nicht grundsätzlich die Möglichkeit, dass persönliche Daten extern verarbeitet werden. Wenn Ihre Architektur diesen Weg zulässt, tragen Sie dieses Risiko.

Ein bewusster Ansatz zur Isolation

Bei Kolsetu haben wir uns entschieden, diese gesamte Problemklasse auf architektonischer Ebene zu eliminieren. Wir stimmen keine gemeinsamen Basismodelle mit Kundendaten ab und erlauben keine Verhaltensoptimierung über Mandanten hinweg. Die Modellgewichte bleiben exakt unverändert, unabhängig davon, wie einzelne Systeme genutzt werden. Stattdessen wird das Verhalten durch Kontext geformt. Jede Bereitstellung läuft in ihrer eigenen Umgebung mit eigener Wissensschicht und eigener Datenpipeline. Informationen werden pro Mandant gespeichert und abgerufen, wobei Embeddings und Vektorspeicher verwendet werden, die diese Grenze niemals verlassen. Der Abruf ist eingegrenzt, die Indizierung ist isoliert und der Zugriff ist durchgängig kontrolliert. Es ist nicht die „effizienteste“ Art, ein globales System zu bauen. Es ist eine viel sauberere Art, etwas zu bauen, das Sie tatsächlich kontrollieren können.

Wie Systeme ohne gemeinsames Lernen verbessert werden

Nichts davon bedeutet, dass das System stillsteht. Verbesserungen finden immer noch statt. Sie geschehen nur lokal. Mit der Zeit werden Systeme effektiver, weil die Wissensbasis sauberer wird, der Abruf sich verbessert und der Kontext präziser zusammengestellt wird. Das Modell selbst ändert sich nicht. Was sich ändert, ist, wie Informationen ausgewählt und verwendet werden. Es ist eine leisere Form des Lernens. Weniger beeindruckend in einer Demo. Viel vorhersehbarer in der Produktion. Und wichtig ist, wenn sich das Verhalten verbessert, können Sie tatsächlich erklären, warum.

Auswirkungen auf Datenschutz und Governance

Diese Architektur hat direkte Konsequenzen. Persönliche Daten bleiben dort, wo sie entstehen. Es gibt keinen mandantenübergreifenden Einfluss, keine Aggregation von Verhaltenssignalen und keine Vermischung von Kontext über Systeme hinweg. Wenn sich Ausgaben ändern, können Sie sie auf etwas Konkretes zurückführen: Daten, Konfiguration, Workflow. Nicht auf eine unsichtbare Feedbackschleife, die in einem gemeinsamen System vergraben ist. Es vermeidet auch, in Bereiche zu geraten, die bei Aufsichtsbehörden Stirnrunzeln hervorrufen. Es gibt kein Cross-Context-Profiling, keine versteckte Optimierungsschicht, die Signale über Umgebungen hinweg mischt, und keine Abhängigkeit von Kunden, „vorsichtig“ zu sein, was sie senden. Aus Compliance-Sicht ist das wichtig.

Sicherheit bedeutet, Einfluss zu kontrollieren

Die meisten Sicherheitsdiskussionen konzentrieren sich immer noch auf den Schutz von Daten. Das ist notwendig, aber nur die halbe Geschichte. Bei KI-Systemen müssen Sie auch kontrollieren, wie Daten das Verhalten beeinflussen. Wohin der Einfluss fließt. Wo er stoppt. Was er ändern kann und was nicht. Wenn Sie das nicht kontrollieren, werden Systeme langsam schwerer zu erklären – selbst wenn alles verschlüsselt und zugangskontrolliert ist. Wenn Sie es kontrollieren, bleibt das Verhalten vorhersagbar, auch wenn sich das System weiterentwickelt. Dieser Unterschied ist im Laufe der Zeit oft wichtiger, als die meisten Leute erwarten.

Die Rolle von Systemen wie Elba

Dies ist das Prinzip, nach dem Elba konzipiert ist. Elba arbeitet in strukturierten Umgebungen, in denen Kontext bestehen bleibt und Arbeitsabläufe explizit sind. Es behält relevante Informationen im Laufe der Zeit bei, aber nur im Rahmen eines bestimmten Systems. Das ermöglicht es, vergangene Interaktionen und aktuelle Eingaben so zu kombinieren, dass die Ergebnisse verbessert werden – ohne mandantenübergreifende Abhängigkeiten einzuführen. Da der Abruf kontrolliert wird, bleiben die Ausgaben fundiert. Da Arbeitsabläufe definiert sind, bleiben Entscheidungen nachvollziehbar. Und da Umgebungen isoliert sind, driftet das Verhalten nicht einfach, weil woanders etwas geändert wurde. Es ist ein etwas weniger magischer Ansatz. Aber es ist wesentlich zuverlässiger.

Fazit

Die eigentliche Frage ist nicht, ob ein System mit Ihren Daten trainiert. Es ist, wie Ihre Daten das System überhaupt beeinflussen können. Sobald der Einfluss beginnt, über Grenzen hinweg zu fließen, werden Systeme schwerer zu verstehen, schwerer zu kontrollieren und schwerer zu erklären. Diesen Einfluss eingedämmt zu halten, macht Systeme nicht einfacher, aber es macht sie vorhersehbar. Bei Kolsetu ist das ein Kompromiss, den wir eingehen wollen. Denn in operativen Systemen, insbesondere in regulierten Umgebungen, ist Vorhersehbarkeit oft wichtiger als Klugheit.