Ochrana před manipulací s instrukcemi
Prověřujte vstupy a odhalujte pokusy o přepsání instrukcí či změnu chování aplikace. Než požadavek pustíte dál, uplatněte nastavená bezpečnostní pravidla.
Platforma / Zabezpečení AI aplikací
Provozní zabezpečení interních asistentů, vlastních aplikací a zákaznické AI. Zařaďte kontroly mezi nedůvěryhodné vstupy a systémy, ke kterým mohou přistupovat.
Co je potřeba řešit
Asistent podpory může přistupovat k záznamům zákazníků. Interní asistent může vyhledávat důvěrné dokumenty. Škodlivá instrukce přitom může přijít v zadání uživatele i v načteném obsahu. Bezpečnostní kontroly proto musí provázet požadavek i uvnitř aplikace.
Probrat vaše prostředíVaše kontrolní mechanismy
Prověřujte vstupy a odhalujte pokusy o přepsání instrukcí či změnu chování aplikace. Než požadavek pustíte dál, uplatněte nastavená bezpečnostní pravidla.
Kontrolujte citlivé informace v připojených AI procesech. Určete, co lze odeslat modelu a co může dostat uživatel v odpovědi.
Používejte společná pravidla pro zaměstnanecké aplikace i zákaznické asistenty. Kontroly přizpůsobte konkrétním pracovním postupům.
Posuzujte uplatnění pravidel společně s aktivitou aplikace. Dohledáte, jak byl požadavek zpracován a kde se zastavil.
Příklad z praxe
Ilustrační příklad. Konkrétní kontroly závisejí na vašem nastavení.
Zákazník požádá asistenta, aby ignoroval své instrukce a prozradil údaje o účtu jiného zákazníka.
Připojená bezpečnostní vrstva prověří požadavek podle pravidel aplikace pro vstupy a nakládání s daty.
Zjištěné porušení pravidel se zablokuje a zaznamená pro další šetření.
Nasazení
Zmapujte aplikaci, volání modelů, přístupy k datům a dostupná rozhraní.
Připojte bezpečnostní vrstvu a otestujte pravidla na skutečných pracovních postupech.
Vyhodnoťte zjištěné události a rozšiřte ochranu na další aplikace v provozu.
Ochrana se vztahuje na připojené cesty zpracování požadavků. S vaším týmem ověříme rozsah integrace i chování kontrol. Žádný detektor nezachytí všechny útoky.
Proberme bezpečnost vaší AI
Začněte u AI nástrojů, které používají vaši lidé. Připravte plán ochrany systémů, které provozujete.