Wat is een Prompt Attack?

Een Prompt Attack is een techniek waarbij kwaadwillenden proberen een AI-model, zoals Copilot AI, te misleiden door specifieke instructies te geven die de AI tot ongewenst gedrag aanzetten. Deze ‘aanval’ richt zich op de prompts (input) die het model stuurt, en probeert kwetsbaarheden in de AI-logica uit te buiten om zo toegang te krijgen tot vertrouwelijke informatie.

Hoe kun je je beschermen?

Om hier beschermen voor te bieden, heeft Microsoft Prompts Shields. Een model voor het detecteren en blokkeren van schadelijke prompts. Realtime. Samen met Safety Evaluations is het beschikbaar in Azure AI Foundry. Safety Evaluation meet de gevoeligheid van een applicatie van vijandige prompts.

Daarnaast biedt Microsoft ook andere Security-oplossingen:
– Microsoft Defender for Cloud. Helpt aanvallen voorkomen door de analyse en blokkade van aanvallers;
– Microsoft Purview. Een platform voor het beheer van gevoelige data die worden toegepast in AI.

Dit kun je er nog meer tegen doen.