Slovenčina
AI / Interní systémy
AI agent ve firmě: jaká data a oprávnění mu svěříte?
Firemní AI agent může číst dokumenty i provádět úkoly. Jak omezit riziko podvržených pokynů, úniku dat a nepřiměřených oprávnění?
AI asistent, který jen navrhne text, má jiná rizika než agent s přístupem k e-mailu, souborům a firemní administraci. Při zavádění proto nestačí posoudit kvalitu jeho odpovědí. Je třeba posoudit i hranice jeho oprávnění.
Co je prompt injection
Podvržené pokyny mohou být součástí obsahu, který agent zpracovává: dokumentu, webu nebo zprávy. Riziko vzniká, když takový obsah ovlivní jeho další jednání. OpenAI tento problém popisuje i v kontextu nástrojů a přístupů agentů. Vysvětlení OpenAI.
Co ukázal výzkum ze září 2026
OpenAI zveřejnilo výzkum, ve kterém se podvržené instrukce v kontrolovaných prostředích přenášely i přes další výstupy agentů. Autoři výslovně uvádějí simulovaná volání nástrojů a žádný pozorovaný dopad mimo evaluaci. Nejde o oznámení nového provozního útoku na firmy. Výzkumný report.
Pro firmu je to podnět k návrhu hranic. Čtení nedůvěryhodného dokumentu by nemělo automaticky opravňovat nástroj k odeslání citlivých údajů nebo ke změně produkčního systému.
Oprávnění nastavujte podle konkrétního úkolu
- Agent, který připravuje návrh odpovědi, nemusí mít automaticky právo ji odeslat.
- Nástroj, který analyzuje projekt, nepotřebuje bez omezení všechny firemní složky.
- Vývojový asistent nemá mít běžně dostupná produkční tajemství.
- Zpracování externích souborů oddělte od citlivých systémových oprávnění.
- Mazání, publikování nebo sdílení dat ať má jasné schvalování a záznam.
Co otestovat před nasazením
Vytvořte neškodné testovací dokumenty s rozpornými požadavky a ověřte, zda agent respektuje přidělený úkol a oprávnění. Sledujte, jaká data čte, jaké nástroje se pokouší použít a které kroky vyžadují člověka. Testujte v prostředí bez skutečných zákaznických tajemství.
Rozhodující není jen pěkný výstup. Potřebujete vědět i to, že systém odmítne nepovolenou činnost a že podezřelý postup zůstane dohledatelný.
Pravidla patří i lidem
Určete, jaké údaje se smějí do nástroje vkládat, kdo schvaluje konektory a kdo odebírá přístupy při ukončení spolupráce. Při změně modelu, nástroje nebo zdroje dat přehodnoťte i testy. Právě tyto změny mohou změnit chování celého pracovního postupu.
Pomůžeme zmapovat přístupy, nastavit bezpečné integrační scénáře a připravit praktická pravidla pro zaměstnance. Užitečnost nástroje a kontrola nad daty musí fungovat společně.
Zdroje a další čtení
Odkazy vedou na původní oznámení, zprávy a dokumentaci, ze kterých článek vychází.
