Čeština
AI / Interné systémy
AI agent vo firme: ktoré dáta a práva mu zveríte?
Firemný AI agent môže čítať dokumenty aj vykonávať úlohy. Ako obmedziť riziko podvrhnutých pokynov, úniku údajov a neprimeraných oprávnení?
AI asistent, ktorý iba navrhne text, má iné riziká než agent s prístupom k e-mailu, súborom a firemnej administrácii. Pri zavádzaní preto nestačí posúdiť kvalitu jeho odpovedí. Treba posúdiť aj hranice jeho práv.
Čo je prompt injection
Podvrhnuté pokyny môžu byť súčasťou obsahu, ktorý agent spracúva: dokumentu, webu alebo správy. Riziko vzniká, keď takýto obsah ovplyvní jeho ďalšie konanie. OpenAI tento problém opisuje aj v kontexte nástrojov a prístupov agentov. Vysvetlenie OpenAI.
Čo ukázal výskum zo septembra 2026
OpenAI zverejnilo výskum, v ktorom sa podvrhnuté inštrukcie v kontrolovaných prostrediach prenášali aj cez ďalšie výstupy agentov. Autori výslovne uvádzajú simulované nástrojové volania a žiadny pozorovaný dopad mimo evaluácie. Nie je to oznámenie nového prevádzkového útoku na firmy. Výskumný report.
Pre firmu je to podnet na návrh hraníc. Čítanie nedôveryhodného dokumentu by nemalo automaticky oprávňovať nástroj na odoslanie citlivých údajov alebo zmenu produkčného systému.
Oprávnenia nastavujte podľa konkrétnej úlohy
- Agent pripravujúci návrh odpovede nemusí mať automaticky právo ju odoslať.
- Nástroj analyzujúci projekt nepotrebuje bez obmedzenia všetky firemné priečinky.
- Vývojový asistent nemá mať bežne dostupné produkčné tajomstvá.
- Spracovanie externých súborov oddeľte od citlivých systémových oprávnení.
- Vymazanie, publikovanie alebo zdieľanie dát nech má jasné schvaľovanie a záznam.
Čo otestovať pred nasadením
Vytvorte neškodné testovacie dokumenty s rozpornými požiadavkami a overte, či agent rešpektuje pridelenú úlohu a oprávnenia. Sledujte, ktoré dáta číta, aké nástroje sa pokúša použiť a ktoré kroky vyžadujú človeka. Testujte v prostredí bez skutočných zákazníckych tajomstiev.
Rozhodujúci nie je iba pekný výstup. Potrebujete vedieť aj to, že systém odmietne nepovolenú činnosť a že podozrivý postup zostane dohľadateľný.
Pravidlá patria aj ľuďom
Určite, aké údaje sa smú do nástroja vkladať, kto schvaľuje konektory a kto odoberá prístupy pri ukončení spolupráce. Pri zmene modelu, nástroja alebo zdroja dát prehodnoťte aj testy. Práve tieto zmeny môžu zmeniť správanie celého pracovného postupu.
Pomôžeme zmapovať prístupy, nastaviť bezpečné integračné scenáre a pripraviť praktické pravidlá pre zamestnancov. Užitočnosť nástroja a kontrola nad údajmi musia fungovať spolu.
Zdroje a ďalšie čítanie
Odkazy vedú na pôvodné oznámenia, správy a dokumentáciu, z ktorých článok vychádza.
