OpenAI เปิดตัวโมเดล AI ที่คิดเป็นขั้นตอนก่อนตอบรุ่นล่าสุด o3 และ o4-mini ที่ระบุว่ามีประสิทธิภาพสูง ทำคะแนนจากผลการทดสอบได้ดี อย่างไรก็ตามโมเดลนี้ยังมีปัญหาที่กำลังแก้ไขอยู่
OpenAI เผยแพร่ข้อมูลใน System Card เกี่ยวกับโมเดล o3 และ o4-mini นี้ พูดถึงอาการหลอนหรือ Hallucination ในชุดทดสอบ PersonQA พบอัตราการหลอนของทั้ง 2 โมเดลนี้ สูงกว่าโมเดลคิดเป็นขั้นตอนรุ่นเก่าอย่าง o1
OpenAI บอกว่ายังอธิบายสาเหตุไม่ได้ ว่าทำไมที่โมเดลรุ่นใหม่จึงมีอาการหลอนมากกว่าโมเดลที่มีความสามารถน้อยกว่า ซึ่งเป็นแนวโน้มตรงข้ามกับที่ควรเป็น (โมเดลข้อมูลน้อย หลอนง่ายกว่า) จึงต้องทำการศึกษาวิจัยหาคำตอบเรื่องนี้เพิ่มเติม
ที่มา: TechCrunch
Comments
เดาว่า ข้อมูลเยอะจน over-fitting
ฉลาดเยอะ = หลอนเยอะ
ข้อมูลเยอะเลยเชื่อมโยงกันมั่วๆ เปล่าหว่า
The Dream hacker..
ผมเริ่มสงสัยแล้วว่าจะเป็นเอา machine translation แปลชุดข้อมูลภาษาอังกฤษไปเป็นภาษาอื่น ๆ แล้วเทรน มันดูดีขึ้นจริง แต่กลับเกิดอาการนี้รึเปล่า
บล็อก: wannaphong.com และ Python 3
เทรนด์จนไม่ไม่ได้หลับได้หลอนต้องใช้ยาช่วย
มันก็หลอนเป็นธรรมดา
เข้าสเตรท valley of despair รึเปล่า พอรู้เยอะ จะรู้สึกว่า ไม่รู้อะไรเลย
ถ้าเกิดว่าให้ดู evangelion ทุกภาคแล้วตอบว่าเข้าใจ แสดงว่าผิดปกติสินะ
ที่ดูฉลาด , เพราะฝึกด้วย ข้อมูล จาก social ของ พวกดอกเตอร์/พวกกูรู ?
ในขณะที่ผมมองว่า อาจจะโดนข้อมูลที่เจนจาก AI ในเน็ตมาเทรนต่อจนหลอนเอง 55555
ผมว่าอยู่ในสถานะ "เลือกไม่ถูก"
-ทุกคำตอบมีค่าเท่ากัน เลยสุ่มเลือกตอบ
-Facts พ่ายแพ้ต่อความเห็นหรือการสมคบคิดที่มากมาย
ใช้ Synthetic data มากไป?
ยิ่ง chat ยาวเท่าไหร่ ยิ่งหลอนมากขึ้นเรื่อยๆ จนถึงจุดหนึ่ง มันจะเหมือนเอ๋อไปเลย คือตอบแบบเดิมซ้ำๆ โดยไม่สนใจว่าถามอะไร หรือพูดเรื่องอะไรอยู่ แต่พอเปลี่ยนกลับมา 4o จะใช้ได้ปกติ