Obcházení bezpečnostních omezení modelu

Jailbreak attack on AI systems

Obcházení omezení se pokouší přimět AI systém, aby ignoroval stanovené bezpečnostní zásady.

Útočník může měnit formulaci požadavku nebo řetězit vstupy tak, aby systém poskytl zakázaný výstup či provedl nepovolenou akci. Obrana vyžaduje testování různých scénářů a kontrolu oprávnění, nejen blokování známých frází.