เว็บไซต์ The Information รายงานอ้างแหล่งข่าวภายในจาก OpenAI ว่าโมเดลตัวใหม่โค้ดเนม Orion ไม่ได้พัฒนาจาก GPT-4 แบบก้าวกระโดด เหมือนกับตอนเปลี่ยนจาก GPT-3 มาเป็น GPT-4
แหล่งข่าวของ The Information ยังบอกว่า Orion ยังอาจทำงานไม่ได้ดีกว่าโมเดลรุ่นปัจจุบันอย่างชัดเจนนัก (not be reliably better) ในงานบางด่าน เช่น การเขียนโค้ด
ปัญหานี้ทำให้ตอนนี้ OpenAI ตั้งทีมมาค้นหาวิธีเดินหน้าพัฒนาโมเดลต่อไปในระยะยาว เพราะไม่มีข้อมูลใหม่ๆ มาใช้เทรนโมเดลแล้ว (ใช้ข้อมูลหมดโลกแล้ว) แนวทางที่เป็นไปได้คือ การใช้ข้อมูลสังเคราะห์จากโมเดลอื่นมาเทรน Orion หรือ เพิ่มกระบวนการพัฒนาคุณภาพหลังการเทรนโมเดลเสร็จ
ปัญหาโมเดลปัญญาประดิษฐ์พัฒนาจนชนกำแพง ไม่ได้เกิดขึ้นกับ OpenAI เพียงเจ้าเดียว เพราะก่อนหน้านี้มีข่าวว่า Gemini 2.0 ก็เจอปัญหาแบบเดียวกัน ซึ่งอาจเป็นสัญญาณว่าเริ่มถึงทางตันของโมเดลตระกูล Transformer แล้ว
ที่มา - The Information via TechCrunch
Comments
พัฒนา multi-model ต่อแทน 😁
มือใหม่!! ใหม่จริงๆนะ
เมื่อพบปัญหา เดี๋ยวก็พบทางออก
ต้องจับมือกับเมกะทรอน
จริงๆโมเดลใหม่ๆก็ไม่ได้ทำงานดีกว่าโมเดลเก่าๆเสมอไปนะ
เหมือนผมใช้ Google ตั้งแต่ยังเป็นชื่อเดิมในการขัดเกลาจดหมายให้เป็นภาษาทางการ ในยุคเก่าใช้คำสั่งเดียวกันได้สิ่งที่ต้องการออกมา ในยุคเดียวกันใช้คำสั่งเดิมเพี้ยนเข้าป่าเข้ารกเข้าพงไปเยอะ เหมือนบางทีชอบรู้มาก เราสั่งให้เขียนจดหมายแต่ดันทะลึ่งมาตอบเรื่องคำถามในจดหมายเราแทน เจอปัญหาเดียวกันดับ co-pilot เช่นเดียวกัน ส่วนแชท gpt ไม่ได้ใช้งาน
อีกเรื่องหนึ่งเรื่องความถูกต้องของข้อมูล วันก่อนเอาข้อมูลที่ถูกเผยแพร่ผิดๆในโลกเรื่องความยาวของเส้นเลือดมนุษย์สามารถพันรอบโลกได้ 2 รอบซึ่งเป็นข้อมูลที่ผิดและถูกเผยแพร่กันต่อๆกันมาหลายสิบปี ลองเอาคำถามนี้ถามทั้ง 3 เจ้าดูก็ได้คำตอบที่ผิดมา พอถามกลับไปด้วยประโยคเดียวกันว่าเท่าที่รู้คำตอบนี้มันเป็นคำตอบที่ผิดนะ Gemini เป็นเจ้าเดียวที่บอกว่าขออภัยคำตอบในรอบแรกผิดจริงๆแล้วคำตอบที่ถูกคือ xxxx ส่วนอีก 2 เจ้าก็ยังให้คำตอบที่ผิดเหมือนคำตอบแรกอยู่ ก็เลยไม่ค่อยจะทาที่จะใช้เจ้าที่เหลือสักเท่าไหร่ เพราะตลอดเวลาที่ผ่านมาค่อนข้างจะลงตัวกับ Gemini มากกว่า แต่หลังๆก็เริ่มเข้ารกเข้าพงไปละ ก็เลยไม่ได้ใช้เจ้าไหนเลย
จริงมาก เหมือน midjourney 6.1 ออกมาห่วยกว่า 6.0 จนบางครั้งผมต้องถอยไปใช้ตัว 6.0
จริงๆก็มีผู้เชี่ยวชาญหลายๆคน รวมถึงคนที่ไม่เชี่ยวชาญอย่างผมด้วย คิดว่าเราต้องการ Breakthrough ในระดับไม่ต่ำกว่า Transformers อีกสองครั้ง ถึงจะไปถึง AGI และ(คหสต) อีกไม่น้อยกว่า 3 ครั้งถึงจะไปถึง ASI และไม่น้อยกว่า 4 ครั้งถึงจะไปถึง Singularity และหลังจากนั้นมนุษย์ไม่ต้องช่วยอะไรแล้วเพราะ Singularity AI จะหาทางไปต่อของมันเองได้
ก็อย่างการทดลอง หยุดความชราในสัตว์ทดลอง เราใกล้แล้วๆ แต่ก็ยังไม่สำเร็จซักที
ธรรมดาครับ midjourney คือตัวอย่างครับ ของใหม่ใช่ว่าจะดีกว่าของเก่า
น่าจะสอนให้มันสั่งงานได้
ได้ขนาดนี้ก็ถือว่าเร็วกว่าที่คิดไว้ละแหละ ตอนที่googleปล่อยAiออกมาทำโน้นทำนี่แรกๆยังคิดอยู่เลยว่าน่าจะมีอีก10-20ปีกว่าจะเห็นว่าเอามาเริ่มใช้งานไรได้จริงๆจังๆ ตอนนี้ก็คือออกมาทำงานแทนคนได้ในหลายๆตำแหน่งละเพราะกระแสบูมจากchatgptกับพวกgen imageนี่แหละ
ปัญหาน่าจะเป็นเรื่องหัวกะทิลาออกไปไม่น้อย
เข้าใจว่าให้ AI มันตะบันเทรนแบบไร้จุดหมาย มันจะไม่ฉลาด
ต้องมีมือดีคอยปรับแต่งให้มัน
แล้วพอมีโมเดลใหม่ ก็ต้องเทรนใหม่หมด
หลังจากนั้นก็ต้องปรับแต่งกันใหม่อีก
ซึ่งหัวกะทิที่ปรับแต่งเก่ง ลาออกไปแล้ว
คนมาแทนปรับแต่งไม่เก่งเท่า โมเดลใหม่ก็เน่าไป
งั้นก้ถึงทางตันแล้วสิ ข้อมูลหมดโลกแล้วจะหาจากไหนมาเพิ่มอีก