ทัมวิจัยจาก Zoom Communications รายงานถึงเทคนิค Chain of Draft (CoD) ที่ล้อมาจาก Chain of Thought (CoT) หรือกระบวนการคิดก่อนตอบ ที่มักจะทำให้ผลการทดสอบต่างๆ ของปัญญาประดิษฐ์กลุ่ม LLM นั้นดีขึ้น โดยพบว่ากระบวนการ CoD นี้ได้ผลใกล้เคียงหรือดีกว่า CoT แต่กลับประหยัดค่า token อย่างมาก

โดยหลักการของ CoD นั้นเรียบง่าย คือการใส่ system prompt ระบุว่าให้คิดเป็นขั้นเป็นตอนก่อนตอบเหมือน CoT แต่ระบุว่าให้คิดให้สั้นที่สุดเท่าที่เป็นไปได้ และแต่ละขั้นตอนก็คิดสั้นๆ พอ ความน่าสนใจของแนวทางนี้คือเมื่อรันกับชุดทดสอบต่างๆ แล้ว CoD ทำคะแนนได้ดีกว่าโมเดลพื้นฐานอย่างมาก ขึ้นไประดับเดียวกับ CoT แต่กลับใช้โทเค็นรวมเพียง 7.6% เท่านั้น

โมเดล LLM ที่คิดก่อนตอบนั้นมีค่าใช้จ่ายในการรันที่แพงมาก เพราะหลายโมเดลคิดยาวส่งผลให้ค่ารันสูงขึ้นอย่างมาก แถมการตอบสนองกับผู้ใช้ก็ไม่ดีในงานที่ต้องการคำตอบทันที เช่น call center, หรือการเติมโค้ด ข้อเสนอ CoD นี้ทำให้เป็นไปได้ว่าในอนาคตเราจะเห็นโมเดลคิดก่อนตอบประสิทธิภาพสูงแต่ค่าใช้จ่ายไม่ต่างจากโมเดลธรรมดานัก

ที่มา - ArXiV