Systémy AI by se neměly učit od vás

Mnoho společností říká: „Netrénujeme na vašich datech.“ Zní to přesně. Dokonce uklidňujícím dojmem. V praxi to ale často vynechává část, na které skutečně záleží. Protože v závislosti na tom, jak je systém postaven, mohou vaše data stále ovlivňovat chování, aniž by byla explicitně použita k přetrénování modelu. Tento vliv se prostě projeví na méně zjevných místech. Aktualizují se sdílená vnoření (embeddings). Zlepšuje se globální řazení. Optimalizace vyhledávání se přizpůsobuje na základě agregovaného používání. Nic není označeno jako „trénink“, ale chování se stále mění na základě vstupů, které pocházejí odjinud. Z technického hlediska se zde věci začínají rozcházet. Existuje smysluplný rozdíl mezi systémy, které aktualizují sdílené váhy modelu, systémy, které optimalizují globálně napříč tenanty, a systémy, které udržují každé prostředí řádně izolované. Zvenčí mohou vypadat podobně. Nejsou.

Rozdíl mezi daty a vlivem

Většina konverzací o zabezpečení AI se stále točí kolem expozice dat. Jsou šifrována? Kdo k nim má přístup? Kde jsou uložena? Všechny platné otázky. Jen ne celkový obraz. Systém může udržovat data technicky zabezpečená a stále umožňovat pohyb vlivu způsoby, které jsou mnohem hůře viditelné. Pokud interakce od jednoho zákazníka ovlivňují sdílená vnoření, upravují chování řazení nebo formují, jak je globálně optimalizováno vyhledávání, pak jedno prostředí ovlivňuje druhé. Aby se to stalo, nemusí být vidět žádná surová data. Časem to vytváří propojení. Chování se začne spoléhat na signály, které nejsou v daném systému viditelné. Když se něco změní, je obtížné vysvětlit proč. Viděli jsme systémy, kde se chování měnilo týden co týden a nikdo nedokázal ukázat na jedinou změnu, která to způsobila. To je obvykle okamžik, kdy si lidé uvědomí, že už nemají plnou kontrolu nad systémem.

Proč záleží na architektonických hranicích

Mnoho dnešních systémů zpracovává interakce lokálně, ale optimalizuje globálně. Na papíře to zní efektivně. V praxi to zavádí nesoulad. Provedení probíhá uvnitř tenanta, ale učení probíhá napříč tenanty. Chování se vyvíjí na základě signálů, které nejsou obsaženy v kontextu samotného systému. Můžete to nějakou dobu tolerovat. V regulovaných prostředích ne na dlouho. Pokud se výstupy změní, někdo se nakonec zeptá proč. Pokud se rozhodnutí liší, musí existovat sledovatelná cesta od vstupu k výsledku. Jakmile je vliv distribuován napříč prostředími, tato sledovatelnost se začíná rozpadat. Systém stále funguje. Ale je těžší o něm uvažovat – a ještě těžší ho obhajovat.

Jak to vypadá v praxi

Mnoho moderních systémů AI spoléhá na externí poskytovatele modelů pro generování odpovědí. To znamená, že data opouštějí hranice systému, jsou zpracována modelem třetí strany a poté vrácena jako výstup. Poskytovatelé obvykle uvádějí, že data nejsou ukládána ani používána pro trénink. Smluvně to může být pravda. Ale to není celý příběh. Protože systém stále závisí na tom, co je tomuto modelu odesláno. A v mnoha implementacích tato odpovědnost spočívá na zákazníkovi nebo aplikační vrstvě. Pokud jsou osobní údaje zahrnuty do promptů, budou zpracovány. Ne zlým úmyslem. Ne nesprávně. Prostě… podle návrhu. V tu chvíli už nejednáte s čistě uzavřeným systémem. Spoléháte se na kombinaci konfigurace, disciplíny a, abychom byli upřímní, trochu naděje, že se nic neúmyslného neproklouzne. A ano, to zahrnuje systémy jako Intercom Fin nebo podobné AI agenty. Sedí na externích LLM. Generují odpovědi na základě zákaznických dat. A ačkoli poskytují kontroly, v zásadě neodstraňují možnost, že osobní údaje jsou zpracovávány externě. Pokud vaše architektura umožňuje tuto cestu, nesete toto riziko.

Promyšlený přístup k izolaci

Ve společnosti Kolsetu jsme se rozhodli odstranit celou tuto třídu problémů na architektonické úrovni. Nesladíme sdílené základní modely s daty zákazníků a nedovolujeme, aby optimalizace chování probíhala napříč tenanty. Váhy modelu zůstávají přesně takové, jaké jsou, bez ohledu na to, jak jsou jednotlivé systémy používány. Místo toho je chování formováno prostřednictvím kontextu. Každé nasazení běží ve svém vlastním prostředí, s vlastní znalostní vrstvou a vlastním datovým pipeline. Informace jsou ukládány a vyhledávány na jednoho tenanta, pomocí vnoření a vektorových úložišť, která nikdy neopustí tuto hranici. Vyhledávání je omezené, indexování je izolované a přístup je řízen od začátku do konce. Není to „nejefektivnější“ způsob, jak postavit globální systém. Je to mnohem čistší způsob, jak postavit něco, co můžete skutečně ovládat.

Jak se systémy zlepšují bez sdíleného učení

Nic z toho neznamená, že systém stojí na místě. Zlepšení se stále děje. Jen se děje lokálně. Časem se systémy stávají efektivnějšími, protože se znalostní báze stává čistší, vyhledávání se zlepšuje a kontext je sestavován přesněji. Samotný model se nemění. Mění se to, jak jsou informace vybírány a používány. Je to tišší forma učení. Méně působivé v demu. Mnohem předvídatelnější v produkci. A co je důležité, když se chování zlepší, můžete skutečně vysvětlit proč.

Důsledky pro ochranu dat a správu

Tato architektura má přímé důsledky. Osobní údaje zůstávají tam, kde vznikly. Neexistuje žádný vliv napříč tenanty, žádná agregace behaviorálních signálů a žádné míchání kontextu napříč systémy. Když se výstupy změní, můžete je vysledovat zpět k něčemu konkrétnímu: data, konfigurace, pracovní postup. Ne k nějaké neviditelné zpětnovazební smyčce pohřbené ve sdíleném systému. Také se vyhýbá vklouznutí do oblastí, které vzbuzují regulatorní pozornost. Neexistuje žádné profilování napříč kontexty, žádná skrytá vrstva optimalizace, která míchá signály napříč prostředími, a žádné spoléhání na zákazníky, aby „byli opatrní“ s tím, co posílají. Z hlediska dodržování předpisů na tom záleží.

Zabezpečení spočívá v řízení vlivu

Většina diskusí o zabezpečení se stále zaměřuje na ochranu dat. To je nezbytné, ale je to jen polovina příběhu. V systémech AI musíte také kontrolovat, jak data ovlivňují chování. Kam vliv proudí. Kde se zastavuje. Co může a nemůže změnit. Pokud to nekontrolujete, systémy se pomalu stávají hůře vysvětlitelnými – i když je vše šifrováno a řízeno přístupem. Pokud to kontrolujete, chování zůstává předvídatelné, i když se systém vyvíjí. Tento rozdíl má tendenci být časem důležitější, než si většina lidí myslí.

Role systémů jako Elba

To je princip, na kterém je Elba navržena. Elba funguje ve strukturovaných prostředích, kde kontext přetrvává a pracovní postupy jsou explicitní. Uchovává relevantní informace v průběhu času, ale pouze v rámci daného systému. To jí umožňuje kombinovat minulé interakce a současné vstupy způsobem, který zlepšuje výsledky – bez zavádění závislostí napříč tenanty. Protože je vyhledávání řízeno, výstupy zůstávají ukotvené. Protože jsou definovány pracovní postupy, rozhodnutí zůstávají sledovatelná. A protože jsou prostředí izolovaná, chování se neposouvá jen proto, že se něco změnilo jinde. Je to o něco méně magický přístup. Ale je mnohem spolehlivější.

Závěr

Skutečná otázka nezní, zda se systém trénuje na vašich datech. Je to, jak mohou vaše data vůbec ovlivnit systém. Jakmile se vliv začne pohybovat přes hranice, systémy se stávají hůře pochopitelnými, hůře ovladatelnými a hůře vysvětlitelnými. Udržování tohoto vlivu v mezích systémy nezjednodušuje, ale činí je předvídatelnými. Ve společnosti Kolsetu je to kompromis, který jsme ochotni udělat. Protože v provozních systémech, zejména v regulovaných prostředích, má předvídatelnost tendenci být důležitější než chytrost.