DeepMind นำเสนอโมเดล GameNGen เกมเอนจินที่จำลองเกมได้สมจริงเหมือนการเล่นเกมจริงๆ แต่ภายในเป็นโมเดลสร้างภาพ Stable Diffusion ถูกฝึกด้วยภาพเกมและการคอนโทรลต่างๆ
โมเดลนี้อาศัยการสร้าง Agent ที่เล่นเกมจริงแล้วเก็บภาพที่ได้และการกระทำของผู้เล่นในเกม (เดิน ยิง วิ่ง) ไว้ต่อเนื่อง จากนั้นนำภาพและการกระทำมาฝึก generative model ให้ทำนายเฟรมต่อไปจากเฟรมเริ่มต้น ทำให้สุดท้ายได้โมเดลที่แทนเกมเอนจินได้ สามารถควบคุมและเล่นได้จริง ตัวโมเดลมีความสามารถในการนับพลังหรือจำนวนกระสุน ทีมงานพบว่าระหว่างการฝึก จำเป็นต้องแทรกภาพขยะเข้าไประหว่างทางด้วย เพื่อให้โมเดลทำงานได้นิ่งขึ้น
หากแนวทางนี้พัฒนาต่อไปจนใช้งานได้จริง ก็อาจจะเปิดทางการพัฒนาเกมแบบใหม่ๆ นักพัฒนาอาจจะวางภาพระหว่างทางในเกมเพื่อทดลองว่าเกมที่กำลังพัฒนาจะออกมาหน้าตาเป็นอย่างไรบ้าง
ที่มา - DeepMind
Comments
โหดจัด
ว่าแต่มันจะจำสิ่งที่อย่างข้างหลังที่ผ่านมาแล้วได้ไหม ถ้าไม่ได้นี่คงเหมือนเราที่เดินเล่นอยู่ในฝันที่โลกมันจะเปลี่ยนไปเรื่อยๆ ไหมนะ
The Dream hacker..
ชอบการตั้งชื่อล้อกับคำว่า game engine แต่เปลี่ยน gine เป็น gen ที่จะสื่อถึงเทคโนโลยี generative AI
คือสร้างเกมเอนจิน เทรนAIโดยการเล่นเกมที่สร้างจากเอนจิน ใช้AIแทนเอนจินเกมที่สร้าง
คิดว่าน่าจะเอามาใช้ย่นเวลาในการสร้างต้นแบบเกมได้อยู่ สร้างแค่บางส่วน ส่งAIไปเทรน แล้วให้AIเติมที่เหลือ
แทนที่จะเสียเวลาหลายเดือนสร้างต้นแบบ ซึ่งสุดท้ายอาจจะไม่ได้ใช้
แต่ความรู้สึกส่วนตัว ต้นแบบเกมส่วนใหญ่ไม่ได้สนใจสภาพแวดล้อมและความหลากหลายขนาดนั้น ต้องมาใช้AIเติมให้นี้ซิ
ถ้าเอามาใช้กับโลกจริงได้ น่าจะโหดมาก
บางทีสมองเราก็อาจทำงานแบบนี้ด้วย
คือ เรียนรู้ตอนตื่น
พอเราหลับ มันจำลองสิ่งที่เห็นตอนตื่น แล้วลองผิดลองถูกในฝัน
พอเราตื่นขึ้นมา สมองจึงชำนาญเรื่องนั้นมากขึ้น
ผมรู้สึกขัดใจ และสับสน
ถ้าบอกว่าตัวอย่างนี้อาจเบิกทางกลายเป็นการพัฒนา Prototype ที่เร็วขึ้น แต่ในกระบวนการสร้างและเทรนโมเดลยังใช้ภาพจากเกมจริงอยู่ แสดงว่าเราก็ต้องการ Dataset เพื่อสร้างโมเดลอยู่ดี แล้วมันจะประหยัดกว่าการโค้ด Prototype ไปเลยยังไง หรือว่านี่จะเป็นขั้นเริ่มต้นของโมเดลที่จะผนวก LLM Prompt มาเสริมอีกที หรือว่าใช้เทคนิคตัดต่อวิดีโอแล้วจำลอง Input ปลอม ๆ เพื่อสร้าง Prototype สวย ๆ ไปขายนายทุน?
เคสนี้ผมว่าเหมาะกับการเอาไปทำแพทเสริมเช่นพวกด่านใหม่ๆแมปใหม่ๆของเกมที่สร้างเสร็จแล้ว เหมาะสำหรับเกมทุนต่ำที่ไม่มีงบจ้างนักพัฒนามาอัพคอนเท้นเพิ่ม
ถ้าตอนนี้ค่ารันจะแพงกว่ามากครับ นี่ใช้ TPU แพงๆ ยังได้ภาพความละเอียดต่ำ+เฟรมเรตพอเล่นได้เท่านั้น
lewcpe.com, @wasonliw
ดีบัคยากด้วยนะ เพราะจำกัดขอบเขตรไม่ได้ ต้องดีบัคทุกความเป็นไปได้เลย
อย่างเช่นต้องดีบัคทุกรูปแบบของการเดินและการมอง ที่สามารถเป็นไปได้