Adverzní testování AI systému

Red teaming for AI systems

Adverzní testování záměrně hledá způsoby, jak obejít ochrany nebo vyvolat nežádoucí chování systému.

Testující zkoušejí útoky na vstupy, data, rozhraní i napojení na nástroje a zaznamenávají podmínky úspěchu. Zjištění vedou k opravám a opakovaným zkouškám, ale nepředstavují důkaz, že byly nalezeny všechny možné slabiny.