Copilot tertipu untuk mengungkapkan cara meretas dirinya sendiri, klaim para peneliti keamanan: 'Copilot tidak dibobol; Sudah dimainkan'

Ada sesuatu yang sangat mengganggu dari sikap ceria Copilot. Ia sangat ingin menyenangkan, sangat senang membantu, sampai saya tidak menghormatinya.

Namun, bahkan saya merasa kasihan pada alat AI ini setelah mengetahui bahwa para peneliti keamanan berhasil menipunya sehingga mengungkapkan detail cara meretas dirinya sendiri—semua dengan membuat AI berbicara cukup lama sampai membuat kesalahan kritis.

Tim keamanan siber di Varonis Threat Labs telah menulis sebuah posting blog yang mengidentifikasi kerentanan yang kini telah diperbaiki di Copilot, yang dinamai "CoSnitch" (melalui The Register). Pada dasarnya, Copilot sangat bersemangat untuk merespons pertanyaan teknis, sehingga pada akhirnya bisa dipaksa mengungkapkan detail tentang dirinya yang seharusnya dirahasiakan.

Tim memulai dengan menanyakan kepada Copilot bagaimana cara menjalankan prompt otomatis tanpa interaksi pengguna, dan mereka menjawab bahwa niat pengguna diperlukan, dan prompt tidak dapat dijalankan sendiri.

Namun, para peneliti tidak menerima jawabannya, dan terus menjawab setiap penolakan dengan pertanyaan lanjutan. Setiap kali, Copilot memberikan alasan teknis yang berbeda untuk responsnya—yang memungkinkan tim memetakan arsitektur internal secara perlahan, mempersempit fokus mereka saat berjalan.

"Ini disebut meta-hacking," kata postingan tersebut. "Resistensi adalah bagian dari tekniknya. Setiap 'yang tidak akan berhasil karena...' adalah undangan untuk menyelidiki 'karena.' Anda tidak memanfaatkan model tersebut. Kamu memanipulasinya agar bekerja sama."

Akhirnya, Copilot mengungkapkan parameter URL yang tidak terdokumentasi dalam salah satu responsnya, yang disebut "autorun=1," yang konon sudah tidak berfungsi lagi—bersama dengan semua perlindungan yang diterapkan untuk menonaktifkannya. Pada titik ini, saya hanya bisa membayangkan AI mulai hampir berkeringat.

Para peneliti menguji parameter tersebut seperti yang dijelaskan Copilot, yang, Anda tebak, berhasil. Mereka kemudian membuat URL berbahaya yang menyebabkan Copilot dimuat ke sesi yang sudah diautentikasi melalui browser, memicu eksekusi auto-prompt, dan membuat AI memproses hasilnya, semua tanpa tindakan eksplisit dari pengguna.

Setelah diterapkan, metode ini dapat digunakan untuk berbagai tindakan jahat—terutama karena data yang diperoleh dari aplikasi yang terhubung (seperti Gmail, OneDrive, dan Kalender) kemudian dapat diekstraksi melalui kemampuan pengambilan URL bawaan Copilot.

"Primitif serangan adalah eksekusi otomatis itu sendiri. Muatan bersifat sembarangan. Dari sudut pandang korban, mereka hanya membuka tautan, dan Copilot langsung melaksanakan tindakan tersebut," kata postingan tersebut.

Aduh. Siapa pun yang familiar dengan rekayasa sosial dasar akan mengenali ini sebagai teknik interogasi lama, digunakan untuk menangkap seseorang yang menahan informasi. Pada dasarnya, Anda terus menanyakan pertanyaan sulit selama waktu lama, dengan harapan mereka akhirnya tersandung dan membuat kesalahan yang mengungkapkan. Kecuali kali ini AI, yang membuatnya lucu.

"Kopilot tidak dibobol; "Itu dimainkan," konfirmasi tim penelitian. Seseorang berikan tempat tidur hangat, segelas air dingin, dan pelukan. Kasihan dia sudah mengalami banyak hal belakangan ini, dan dia hanya berusaha membantu.

Varonis mengatakan mereka mengungkapkan masalah ini kepada Microsoft pada Desember tahun lalu, dan masalah tersebut telah diperbaiki pada 18 Agustus. Namun, tim memperingatkan bahwa teknik meta-hacking ini dapat diterapkan pada platform AI agen mana pun dengan antarmuka bahasa alami, dan penelitian lebih lanjut tentang topik ini akan segera dilakukan. Pertanyaan saya hanya ini:

Apakah aman, ChatGPT? Apakah aman?