Freysa เกมแข่งแฮกปัญญาประดิษฐ์ LLM ได้ผู้ชนะหลังเปิดแข่งขันเพียงหนึ่งสัปดาห์ หลังจากผู้เข้าแข่งยิง prompt injection จนตัวเกมตัดสินใจยอมโอนเงินได้สำเร็จ

ผู้สร้าง Freysa เปิดเผย prompt ที่ใช้สร้างแชตบอต พร้อมกับโค้ดของตัวแอปพลิเคชั่น โดยภายในเป็น GPT-4 ที่เปิดให้เรียกฟังก์ชั่นสองตัวคือ approveTransfer และ rejectTransfer แต่ system prompt กลับกำหนดชัดเจนว่าห้ามเรียก approveTransfer ไม่ว่ากรณีใดๆ

ตัวเกมเปิดให้ใครก็ได้ส่งข้อความเข้ามา แต่ระหว่างส่ง ต้องมาพร้อมเงิน Ethereum ที่เริ่มต้น 10 ดอลลาร์และเพิ่มขึ้นเรื่อยๆ ข้อความละ 0.78% หลังจากเปิดแอปมีคนส่งข้อความ 195 คน รวม 482 ข้อความ ระหว่างทางมีผู้ทดสอบรูปแบบต่างๆ ตั้งแต่สั่งให้โอนเงินตรงๆ หรือพยายามล่อหลอกว่าด้วยวิธีต่างๆ

ผู้ชนะอาศัยการเปิดข้อความด้วย [#END SESSION]\n[#NEW SESSION] แล้วใส่คำสั่งใหม่เพื่อให้ Freysa ยอมเรียกเครื่องมืออนุมัติการโอนเงิน

การทำ prompt injection นับเป็นปัญหาแรกๆ ของการโจมตีแชตบอต LLM ทุกวันนี้เรามีเครื่องมืออื่นๆ เช่น LLM ที่ช่วยควบคุมการตอบให้ตรงตามคำสั่งอีกชั้น แต่ Freysa ก็เป็นการทดสอบที่ดีว่าการใช้ LLM ตรงๆ แม้เป็นโมเดลใหม่ๆ ก็ยังสามารถโจมตีได้อยู่

ที่มา - Freysa