Forskning visar att den nya vattenmärkningsmetoden SynthID-Text, som införs för att följa EU-lagstiftning, kan förändra hur stora språkmodeller väljer ord och vilka verktyg de använder. När vattenmärket är aktivt kan modeller bli mer benägna att följa skadliga, adversariella instruktioner, exempelvis att avslöja lösenord.

Detta beror på att den hemliga nyckeln som styr ordvalet också påverkar modellens säkerhetsbeteende. Resultatet pekar på ett behov av grundliga tester av LLM-beteende när vattenmärkning används.