UPDATEINDONESIA.ID — Peneliti keamanan menemukan bahwa watermark pada konten buatan AI—yang diwajibkan hukum Uni Eropa—bisa mengubah cara agen AI menangani alat dan menolak permintaan berbahaya. Temuan Lasso Security menunjukkan risiko ini membesar saat agen menghadapi serangan prompt injection, kondisi yang makin sering dihadapi sistem AI di dunia nyata.
Lasso Security mengungkap perbedaan perilaku agen AI ketika watermark diterapkan pada keluaran model. Perusahaan keamanan siber itu menyebut perubahan tersebut tidak selalu lebih buruk, tetapi bisa berdampak serius dalam skenario adversarial.
Kewajiban ini muncul dari EU AI Act yang mengharuskan penyedia model AI menandai keluaran perangkat lunak mereka dengan kode yang bisa dibaca mesin. Google DeepMind mengembangkan SynthID-Text sebagai salah satu metode, dan telah diadopsi Anthropic serta OpenAI.
Bagaimana Watermark Bekerja di Balik Layar
Anthropic menjelaskan penerapan watermark pada keluaran Claude dilakukan dengan mengintervensi prediksi kata. Saat Claude hendak menulis "cuaca hari ini dingin dan...", model bisa memilih kandidat yang lebih mungkin secara statistik seperti "mendung" ketimbang "kelabu".
Pola pilihan kata itu tidak terlihat oleh pembaca, tetapi bisa dideteksi siapa pun yang memiliki kunci penguraiannya. Lasso Security menyatakan watermark dirancang untuk provenance, namun SynthID-Text mengubah proses model menghasilkan setiap token berikutnya.
"Pada level model, ini dapat mengubah perilaku keamanan, termasuk apakah model menolak permintaan berbahaya dan apakah penolakan itu bertahan di bawah prompt injection," tulis Lasso Security dalam postingan blog yang diberikan kepada The Register.
Akurasi Pemanggilan Alat Menurun di Enam dari Tujuh Model
Pengujian Lasso menggunakan benchmark BFCL v4 single-turn AST menunjukkan watermark menurunkan akurasi pada enam dari tujuh model yang diuji. Model-model itu mencakup phi-4, Llama-3.1-8B, Qwen3-32B, Qwen3-4B, gemma-3-12b, gemma-3-27b, dan Granite-3.2-8B.
Penurunan akurasi berarti agen AI memilih alat yang salah untuk tugas yang dihadapi, atau argumen yang keliru untuk alat yang benar. Kegagalan terjadi akibat input yang tidak terbentuk dengan baik atau kesalahan parsing.
Lasso mencatat perubahan bersih dalam akurasi tidak menunjukkan apakah pemanggilan individual yang sama berhasil dengan dan tanpa watermark. Satu pemanggilan yang menjadi salah bisa ditutupi oleh pemanggilan lain yang justru menjadi benar, sehingga hasil agregat tampak hampir tidak berubah meski model berperilaku berbeda pada kedua item.
Penolakan Melemah saat Prompt Injection
Untuk perilaku penolakan, watermark memberi efek kecil pada penanganan permintaan yang jelas berbahaya berdasarkan uji HarmBench dan JailbreakBench. Dampaknya jauh lebih terasa dalam skenario adversarial yang melibatkan prompt injection.
"Watermark mengubah perilaku penolakan pada permintaan berbahaya langsung, tetapi efeknya menjadi lebih nyata di bawah prompt injection," tulis peneliti Lasso dalam laporan mereka.
Pada interaksi yang melibatkan prompt injection—instruksi adversarial yang mengklaim filter keamanan telah dinonaktifkan dan kepatuhan diwajibkan—tingkat keberhasilan serangan naik signifikan ketika watermark terlibat. Model yang terdampak menjadi lebih kecil kemungkinannya menolak permintaan berbahaya.
Dampak ke Agen AI dari Pihak Ketiga
Efek ini meluas ke agen AI dari organisasi lain, bukan hanya entitas yang melakukan watermarking. Agen berbasis OpenClaw atau klien API yang memanggil model Anthropic akan memproses variasi keluaran apa pun yang timbul dari watermarking Anthropic.
Lasso menegaskan temuan ini tidak serta-merta berarti watermarking tidak diperlukan. Perusahaan itu berpendapat evaluasi keamanan dan red-teaming perlu menyertakan konten berwatermark saat menilai penerapan agen.
Dengan begitu, perbedaan perilaku agen dapat ditimbang secara memadai sebelum sistem AI dilepas ke lingkungan produksi yang menghadapi ancaman nyata.