ฝ่ายวิจัยพื้นฐานปัญญาประดิษฐ์ของ Meta หรือทีม FAIR เผยแพร่งานวิจัยในการพัฒนา AI ที่สามารถรับรู้ผ่านการสัมผัส เพื่อให้นำไปใช้งานกับหุ่นยนต์ที่เลียนแบบความรู้สึกของมนุษย์ได้ โดยงานวิจัยนี้เป็นความร่วมมือกับบริษัทผู้ผลิตอุปกรณ์เซ็นเซอร์ GelSight และบริษัทหุ่นยนต์ Wonik Robotics

Boston Dynamics เผยแพร่คลิปวิดีโอความสามารถใหม่ในการทำงานของ Atlas หุ่นยนต์มนุษย์ โดยสามารถทำงานเคลื่อนย้ายสิ่งของจากที่หนึ่ง ไปไว้อีกที่หนึ่งได้ โดยไม่ต้องป้อนรายละเอียดและออกคำสั่งระยะไกล

ในวิดีโอเป็นการสาธิต Atlas ทำงานย้ายฝาเครื่องยนต์ จากช่องในตู้คอนเทนเนอร์ ไปเก็บในช่องของรถเข็น โดยอินพุทมีเพียงตำแหน่งที่ตู้และรถเข็นอยู่เท่านั้น ที่เหลือเป็นการใช้โมเดล Machine Learning Vision เพื่อดูสภาพแวดล้อมปัจจุบัน และหยิบจับ-เคลื่อนย้าย-เก็บวัตถุได้อย่างถูกต้อง

ในงานเปิดตัว Cybercab และ Robovan ของ Tesla ยังมีการนำหุ่นยนต์มนุษย์ Optimus มาโชว์ โดยให้มีปฏิสัมพันธ์ พูดคุยกับแขกในงาน รวมถึงมีการกดเบียร์ใส่แก้วให้แขกด้วย

อย่างไรก็ตาม Robert Scoble อินฟลูเอนเซอร์ชื่อดังของวงการเทคที่ได้รับเชิญไปร่วมงาน เปิดเผยว่าหุ่นยนต์ Optimus ไม่ได้ตอบสนองอัตโนมัติทั้งหมด เพราะงานบางอย่างถูกควบคุมด้วยรีโมทจากระยะไกลต่างหาก โดย Scoble บอกว่าคุยกับวิศวกรของ Tesla ได้ข้อมูลว่าการเดินของ Optimus เป็น AI จริงๆ แต่ส่วนอื่นๆ ควบคุมด้วยรีโมท รวมถึงการกดเบียร์ด้วย

ไมโครซอฟท์รายงานถึงโครงการลดขยะในศูนย์ข้อมูลของตัวเอง โดยพยายามแก้ปัญหาที่ทุกวันนี้ศูนย์ข้อมูลต้องทำลายฮาร์ดดิสก์ที่เสียหายก่อนนำออกจากศูนย์ข้อมูล ทำให้นำมาใช้ใหม่ได้ยาก เสียแร่หายาก เช่น neodymium ไปเปล่าๆ

แนวทางของไมโครซอฟท์เปลี่ยนจากการทำลายฮาร์ดดิสก์ทั้งลูก มาเป็นการถอดทีละชิ้นส่วนด้วยหุ่นยนต์ จากนั้นบดทำลายเฉพาะส่วนจานข้อมูลเพื่อป้องกันข้อมูลรั่วไหลเท่านั้น ชิ้นส่วนอื่นๆ ยังคงสามารถนำกลับไปใช้ใหม่ได้

ตอนนี้ไมโครซอฟท์วางเป้าว่าจะปลดระวางฮาร์ดดิสก์โดยไม่บดทำลายทั้งลูกแบบเดิมให้ได้ 90% ภายในปี 2025 ชิ้นส่วนที่ได้สามารถนำกลับไปใช้ใหม่หรือรีไซเคิลได้อัตราส่วนดีกว่าเดิมที่บดทำลายแล้ว

DeepMind เผยแพร่งานวิจัยการพัฒนาหุ่นยนต์ตีปิงปองหรือเทเบิลเทนนิส ซึ่งสามารถแข่งขันกับมนุษย์ได้ โดยมีความท้าทายในการพัฒนาทั้งความเร็วของหุ่นยนต์ การระบุตำแหน่งที่แม่นยำ และการตัดสินใจวิธีตีตอบโต้ตามสถานการณ์

ในการพัฒนาความสามารถหุ่นยนต์ DeepMind ใช้ 4 เทคนิค ได้แก่ การให้เข้าใจกติกาพื้นฐาน, เทรนข้อมูลวิธีตีลูกกลับ, การเรียนรู้สิ่งแวดล้อมจากคู่แข่งที่ไม่เคยเจอ และการเรียนรู้ปรับปรุงเพิ่มเติมจากวิธีการใหม่ที่ไม่เคยเจอมาก่อน

IHMC เผยแพร่ความก้าวหน้าของโครงการพัฒนาหุ่นยนต์ Nadia ซึ่งเป็นหุ่นยนต์โครงสร้างเลียนแบบมนุษย์ (Humanoid) มีเป้าหมายให้สามารถเคลื่อนไหวได้ในทุกรูปแบบเหมือนกับที่มนุษย์ทำได้

ในความก้าวหน้าล่าสุดที่ IHMC นำเสนอ Nadia มีความสามารถในการเล่นปิงปองโต้ตอบกับคนได้ โดยใช้กล้องเสมือนจริงความหน่วงต่ำ ทำให้ Nadia สามารถขยับไม้ปิงปองและตีโต้กลับได้ทันในเวลา

ชมคลิปสาธิตได้ท้ายข่าว

ที่มา: TechEBlog

Bloomberg รายงานว่า Alphabet ยกเลิกโครงการ Mineral หุ่นยนต์ที่เดินตามไร่เพื่อวิเคราะห์พืชทีละต้น ซึ่งเริ่มทำในปี 2020 ภายใต้โครงการ X และแยกตัวมาเป็นบริษัทลูกในเครือ Alphabet เมื่อปี 2023

ในเอกสารภายในของ Alphabet ที่ Bloomberg ได้มา ระบุว่า Mineral ค้นหาโมเดลธุรกิจที่เหมาะสมไม่เจอ อีกทั้งธุรกิจหุ่นยนต์การเกษตรมีการแข่งขันสูง อัตรากำไรต่ำ และสุดท้าย Alphabet ตัดสินใจขายเทคโนโลยีของ Mineral ให้กับบริษัท Driscoll's ที่ทำธุรกิจด้านปลูกเบอร์รี่ ซึ่งเป็นพาร์ทเนอร์ทดสอบระบบหุ่นยนต์กันอยู่ก่อนแล้ว

Amazon เปิดเผยว่าได้หยุดให้บริการหุ่นยนต์ตรวจการสำหรับลูกค้าธุรกิจ Astro for Business แล้ว หลังจากเปิดตัวไปเมื่อพฤศจิกายนปีที่แล้ว ซึ่งเพิ่มความสามารถจากรุ่นที่ใช้งานในบ้าน รองรับการตรวจสอบพื้นที่ที่กว้างขึ้น

ตัวแทนของ Amazon บอกว่าบริษัทยังคงให้บริการ Astro สำหรับลูกค้าใช้งานในบ้านต่อไปตามปกติ ซึ่ง Amazon เปิดตัว Astro ในบ้านมาตั้งแต่ปี 2021 ส่วนพนักงานที่ดูแล Astro for Business จะย้ายมาดูแลส่วนลูกค้าในบ้านทั้งหมด ไม่มีการปลดพนักงาน

หน่วยงาน Computer Science and Artificial Intelligence Laboratory (CSAIL) ของ MIT เผยแพร่งานวิจัยด้านหุ่นยนต์เรียกชื่อว่า RoboGrocery ซึ่งมีความสามารถในการแยกแยะ จับสิ่งของ และจัดเรียงลงในกล่องอย่างเหมาะสม

เทคโนโลยีที่ใช้มีทั้งส่วนการมองเห็นเพื่อแยกแยะวัตถุ ระบบแขนกลจับแบบอ่อนที่ส่งข้อมูลกลับ เพื่อประเมินว่าเป็นวัตถุที่บอบบางหรือไม่ (ในการทดสอบนี้ใช้พวงองุ่น) และอัลกอริทึมจัดเรียง เช่น ถ้าเป็นพวงองุ่น ให้แยกรอไว้ก่อน เพื่อวางของมีน้ำหนัก เช่น ซุปกระป๋อง ลงกล่องด้านล่างก่อน

การทดสอบนั้นยังเป็นระบบปิด สินค้าจะไหลมาตามสายพาน จากนั้นหุ่นยนต์หยิบวัตถุและแยกแยะเพื่อจัดเรียงลงกล่องอย่างเหมาะสม

Boston Dynamics เผยแพร่วิดีโอเนื่องในวันการเต้นรำสากล (International Dance Day) ซึ่งตรงกับวันที่ 29 เมษายน ของทุกปี โดยนำหุ่นยนต์สุนัข Spot มาแต่งตัวให้มีขนดูเป็นสุนัขมากขึ้น พร้อมกับโชว์ลีลาเต้นรำ

หุ่นยนต์ Spot ที่ถูกแต่งตัวใหม่นี้ เรียกชื่อว่า Sparkles โดยท่าทางการเต้นรำนั้นถูกควบคุมโดยซอฟต์แวร์ Choreographer ที่ Boston Dynamics พัฒนาขึ้นสำหรับการกำหนดท่าทางในจังหวะต่าง ๆ

Boston Dynamics บอกว่า Sparkles เป็นการนำเสนอรูปแบบการนำหุ่นยนต์มาใช้งานในอีกด้าน เพื่อศิลปะและความบันเทิง

Boston Dynamics เปิดตัวหุ่นยนต์มนุษย์ Atlas รุ่นใหม่ ที่เป็นระบบไฟฟ้าทั้งหมด หลังจากก่อนหน้าหนึ่งวันบริษัทประกาศยุติ Atlas รุ่นเดิมที่เป็นระบบไฮดรอลิค พร้อมประกาศความพร้อมเพื่อพัฒนาและส่งมอบ Atlas สำหรับใช้งานในการพาณิชย์

ก่อนหน้านี้ Boston Dynamics เริ่มขายหุ่นยนต์สำหรับใช้งานเชิงพาณิชย์มาแล้ว เช่น Spot หุ่นยนต์สำรวจพื้นที่ซึ่งคนไม่สามารถเข้าถึงได้ หรือ Stretch หุ่นยนต์สำหรับทำงานในโกดังสินค้า

รายงานนี้มาจาก Mark Gurman แห่ง Bloomberg คนเดิม เขาอ้างแหล่งข่าวที่เกี่ยวข้อง ระบุว่าแอปเปิลกำลังศึกษาทดสอบโครงการเกี่ยวกับหุ่นยนต์ผู้ช่วยส่วนตัว ซึ่งตอนนี้พิจารณาในหลายรูปแบบ และตั้งเป้าหมายจะเป็นผลิตภัณฑ์หลักที่สำคัญของบริษัทตัวใหม่

แนวคิดในตอนนี้ มีทั้งการสร้างหุ่นยนต์ที่สามารถเคลื่อนที่ตามผู้ใช้งานไปได้ในบ้าน ไปจนถึงการสร้างอุปกรณ์มีหน้าจอควบคุมอุปกรณ์ในบ้าน ที่สามารถเคลื่อนที่ไปจุดต่าง ๆ ในบ้านได้

Gurman บอกว่าตอนนี้สถานะโครงการเป็นการวิจัยทดสอบไอเดีย โดยทีมวิศวกรรมฮาร์ดแวร์ของแอปเปิล ร่วมกับทีม AI / Machine Learning จึงยังไม่มีกำหนดว่าจะมีสินค้าออกมาหรือไม่และเมื่อใด

เก็บตกข่าว NVIDIA จากงาน GTC 2024 เมื่อคืนนี้ นอกเหนือจากจีพียู Blackwell และเซิร์ฟเวอร์ GB200 ยังมีของใหม่อีกหลายอย่าง

อันที่น่าสนใจคืองานด้านหุ่นยนต์มนุษย์ (humanoid robots) ที่ปล่อยของออกมาทีเดียว 3 อย่างคือบอร์ด Jetson Thor, แพลตฟอร์มเทรนหุ่นยนต์ Isaac เวอร์ชันอัพเกรด และโมเดลพื้นฐานสำหรับสร้างหุ่นยนต์มนุษย์ GR00T (Generalist Robot 00 Technology)

เป้าหมายของ NVIDIA คือการสร้างแพลตฟอร์มที่ให้เราสามารถเทรนหุ่นยนต์เลียนแบบท่าทางของมนุษย์ โดยดูจากคลิปบันทึกภาพของมนุษย์ก่อน จากนั้นให้ไปเทรนในซิมูเลเตอร์โลกเสมือนจนมั่นใจ แล้วค่อยนำมาใช้งานในหุ่นยนต์จริงๆ อีกที

Lenovo โชว์หุ่นยนต์สุนัข Lenovo Daystar Bot GS เป็นหุ่นยนต์ 6 ขาสำหรับใช้ตรวจสอบโรงงาน โกดัง หรือสภาพแวดล้อมที่เน้นความปลอดภัย

Lenovo ยังไม่ได้เปิดตัวหุ่นยนต์ Daystar Bot GS ผ่านช่องทางของตัวเอง แต่ได้รับรางวัลด้านดีไซน์ IF Design Award เลยทำให้เรารู้กันว่า Lenovo มีหุ่นยนต์ลักษณะนี้อยู่ด้วย โดยหน้าเว็บรางวัลระบุว่าผู้ออกแบบคือ Lenovo Shanghai และจะเริ่มนำมาใช้งานในประเทศแถบเอเชียภายในปีนี้

ที่มา - IF Design Award, Techstar

Uber ประกาศว่าธุรกิจเดลิเวอรี Uber Eats ร่วมมือกับ Mitsubishi Electric และสตาร์ทอัพหุ่นยนต์ Cartken เพื่อเริ่มให้บริการหุ่นยนต์ส่งอาหารอัตโนมัติในญี่ปุ่น ซึ่งเป็นประเทศที่สองหลังจาก Uber Eats ทดสอบให้บริการในบางเมืองของอเมริกาตั้งแต่ปี 2022

หุ่นยนต์ส่งอาหารนี้จะเริ่มให้บริการภายในสิ้นเดือนมีนาคม เฉพาะบางพื้นที่ของเมืองโตเกียว

หุ่นยนต์ของ Cartken ซึ่งเรียกรุ่นว่า Model C ใช้ AI ในการตรวจจับสภาพแวดล้อมขณะเดินทาง ข้อมูลบุคคลที่บันทึกถูกแปลงปิดบังใบหน้าไว้เพื่อความเป็นส่วนตัว เคลื่อนที่ด้วยความเร็วสูงสุด 5.4 กิโลเมตรต่อชั่วโมง ซึ่งเป็นระดับเดียวกับมนุษย์ สามารถบรรจุสินค้าได้ถึง 20 กิโลกรัม

ในงาน CES 2024 ทาง Samsung เปิดตัว Ballie หุ่นยนต์ AI รุ่นใหม่ที่มีขนาดใหญ่กว่ารุ่นเก่าที่เคยเปิดตัวในปี 2020 โดยคราวนี้ Ballie รุ่นใหม่สามารถดูแลงานบ้าน, แสดงกิจกรรมในแต่ละวัน, อัปเดตสภาพอากาศ และต้อนรับผู้ใช้งานเวลากลับบ้านได้

Ballie จะทำหน้าที่เป็นเหมือนผู้ช่วยส่วนตัวประจำบ้าน โดยจะเคลื่อนไหวไปรอบ ๆ บ้านโดยอัตโนมัติเพื่อทำงานต่าง ๆ ให้เสร็จสิ้น ด้วยการเชื่อมต่อและจัดการเครื่องใช้ภายในบ้านที่เป็นอุปกรณ์ Smart Things ของ Samsung เรียนรู้รูปแบบ และนิสัยของผู้ใช้ได้ สามารถส่งวิดีโออัปเดตเกี่ยวกับสัตว์เลี้ยงหรือคนที่อยู่บ้านมายังโทรศัพท์มือถือผู้ใช้ที่อยู่นอกบ้านได้

Amazon เปิดตัวหุ่นยนต์ยกของรุ่นใหม่ชื่อ Titan สามารถยกของได้หนักถึง 2,500 ปอนด์ หรือราว 1,134 กิโลกรัม (1.1 ตัน)

Amazon มีหุ่นยนต์ยกของใช้งานในศูนย์กระจายสินค้ามานานแล้ว โดยเป็นเทคโนโลยีที่ได้มาจากการซื้อบริษัท Kiva ในปี 2014 แล้วพัฒนาเรื่อยมา มีหุ่นหลายรุ่น เช่น Proteus, Xanthus, Atlan จนมาถึงรุ่นล่าสุดก่อนหน้านี้คือ Hercules เริ่มใช้งานปี 2017 ที่ยกของได้หนัก 1,250 ปอนด์ (567 กิโลกรัม)

NVIDIA Research เปิดตัว Eureka ปัญญาประดิษฐ์ที่ทำงานบน GPT-4 สำหรับฝึกหุ่นยนต์ให้ทำงานตามต้องการด้วย Reward Algorithms ซึ่งตัวอย่างที่ NVIDIA Research นำเสนอคือการควงปากกาแบบรวดเร็วในระดับเดียวกับคน

Eureka ยังสามารถฝึกให้หุ่นยนต์ทำงานต่าง ๆ ได้เกือบ 30 อย่าง เช่น เปิดตู้ ยกของ ใช้กรรไกร โยนวัตถุสลับไปมาระหว่างมือ ซึ่งด้วยวิธีแบบ Reward นั้น ทำให้หุ่นยนต์เรียนรู้จากการทดลองทำและจดจำความผิดพลาด พบว่าได้ผลลัพธ์ที่ดีกว่าเขียนคำสั่งให้หุ่นยนต์ด้วยโค้ดแบบครั้งเดียว 80% สามารถรองรับกลไกหุ่นยนต์ที่หลากหลาย และรองรับสถานการณ์ที่เปลี่ยนไปได้ดีมากกว่า

NVIDIA Research ยังแนะนำให้ผู้สนใจทดลองพัฒนาอัลกอริทึมของ Eureka ใช้งาน NVIDIA Isaac Gym แพลตฟอร์มสำหรับทำซิมูเลชันด้านฟิสิกส์

Amazon เปิดตัวระบบหุ่นยนต์ใหม่ที่ใช้ในศูนย์กระจายสินค้าของตัวเอง 2 แบบ ได้แก่ Digit และ Sequoia

Digit เป็นหุ่นยนต์ที่หน้าตาคล้ายมนุษย์ (humanoid robot) เป็นผลงานพัฒนาของบริษัท Agility Robotics ที่ Amazon เคยไปลงทุนเอาไว้ และนำหุ่นยนต์มาใช้งานจริง โดยทำหน้าที่ยกของ จัดของ ได้เหมือนกับมนุษย์จริงๆ ซึ่ง Amazon ระบุว่านำมาช่วยสนับสนุนการทำงานของมนุษย์ ในงานที่ต้องทำซ้ำๆ เช่นการยกกล่องบรรจุสินค้า (สีเหลืองในภาพ) มาจากชั้นแล้วยกกล่องเปล่านำไปเก็บคืน

Amazon มีการใช้งานหุ่นยนต์ในคลังสินค้ามาแล้วหลายประเภท เช่น Proteus สำหรับเคลื่อนย้ายรถเข็น หรือ Cardinal สำหรับยกกล่อง ซึ่งตอนนี้มีหุ่นยนต์รวมมากกว่า 7.5 แสนตัว ช่วยทำงานบางอย่างแทนคน โดยเฉพาะงานที่มีความซ้ำซากและต้องการความปลอดภัย

Sequoia เป็นโซลูชันหุ่นยนต์ในคลังสินค้าล่าสุดที่ Amazon เปิดตัว โดยตอนนี้เริ่มทดสอบใช้งานแล้วที่คลังสินค้าในเมือง Houston สามารถช่วยบริหารจัดการสินค้าในคลัง โดยอัพเดตข้อมูลสินค้าในสต็อกได้เร็วขึ้น 75% และช่วยลดเวลาจัดการคำสั่งซื้อในคลังสินค้าได้ 25% โซลูชันนี้มีทั้งหุ่นยนต์จัดการตะกร้าสินค้าเพื่อนำเข้า-นำออก ตลอดจนกระบวนการของคนที่จัดสินค้าลงกล่องเพื่อส่งให้ลูกค้า

บริษัทของญี่ปุ่นนาม Tsubame Industries ได้เปิดให้สั่งจองหุ่นยนต์รุ่น Archax ซึ่งเป็นหุ่นยนต์ที่สามารถขึ้นไปขับจริงประหนึ่งหลุดมาจากอนิเมะ โดยจะใช้เวลาการผลิตอยู่ที่ 12-18 เดือน ราคาตัวละ 400 ล้านเยน หรือคิดเป็นเงินไทยประมาณ 100 ล้านบาท

Tsubame Industries เป็นบริษัทที่ถูกก่อตั้งในปี 2021 โดยมีวัตถุประสงค์คือการเปลี่ยนของล้ำ ๆ ที่อยู่ในสื่อบันเทิงไซไฟต่าง ๆ ให้กลายเป็นของจริง ซึ่งในวงการสื่อบันเทิงไซไฟของญี่ปุ่นไม่มีอะไรที่จะดังไปกว่าอนิเมะหุ่นยนต์ และนั่นจึงทำให้ Tsubame สร้าง และประกาศวางจำหน่าย Archax อย่างเป็นทางการในวันนี้

DeepMind เปิดตัว RT-2 ซึ่งมาจากคำว่า Robotic Transformer 2 โมเดลสำหรับควบคุมหุ่นยนต์แบบ Vision-Language-Action หรือ VLA โดยใช้การเรียนรู้ข้อมูลและภาพต่าง ๆ จากอินเทอร์เน็ต ผสมรวมกับการเรียนรู้จากภาพที่เห็นของหุ่นยนต์ในการปฏิบัติหรือทำงานต่าง ๆ วิธีการเรียนรู้นี้อาจบอกได้ว่าเป็น AI แบบ LLM ที่นำใช้กับหุ่นยนต์

ตัวอย่างเช่น หุ่นยนต์แบบเดิมสามารถเรียนรู้จากการจับวางวัตถุ และทดลองทำซ้ำเรื่อย ๆ จนเข้าใจดี แต่วิธีของ RT-2 จะแตกต่างออกไป หุ่นยนต์สามารถเจอวัตถุที่ไม่คุ้นเคย แต่อาศัยข้อมูลจากอินเทอร์เน็ตมาช่วยทำให้สามารถจับวางวัตถุได้ถูกต้องแม่นยำมากขึ้นแม้เป็นการลองครั้งแรก ช่วยลดเวลาในการเทรนข้อมูลนั่นเอง

DeepMind เผยแพร่งานวิจัยระบบ AI ที่สามารถพัฒนาได้ด้วยตัวเองสำหรับหุ่นยนต์ มีชื่อเรียกว่า RoboCat โดยสามารถทำงานได้หลากหลาย รองรับหุ่นยนต์ที่มีกลไกแขนแตกต่างกัน รวมทั้งสามารถสร้างชุดข้อมูลใหม่เพื่อเรียนรู้ได้เองอีกด้วย

งานวิจัยที่ผ่านมา DeepMind ได้พัฒนาให้หุ่นยนต์สามารถทำงานได้หลากหลาย และอีกงานวิจัยก็ให้หุ่นยนต์ผู้ช่วยเรียนรู้จากข้อมูลในสภาพจริง (Real-world) ซึ่ง RoboCat ได้ปรับปรุงให้เป็นระบบที่ทำงานได้หลากหลาย แต่รองรับหุ่นยนต์แต่ละแบบที่แตกต่างกันด้วย จากการเรียนรู้ผ่านสภาพจริง

ทีมวิจัยของกูเกิลเปิดตัวโมเดล PaLM-E ปัญญาประดิษฐ์สำหรับควบคุมหุ่นยนต์ โดยเป็นการปรับปรุงจาก PaLM โมเดลปัญญาประดิษฐ์ด้านภาษา (LLM) ขนาดใหญ่ 540,000 ล้านพารามิเตอร์ นำมารวมร่างกับปัญญาประดิษฐ์ด้านภาพ (vison) ชื่อ ViT-22B กลายมาเป็น PaLM-E (E ย่อมาจาก Embodied) ขนาด 562,000 ล้านพารามิเตอร์

การรวมโมเดลภาษา LLM กับโมเดลวิเคราะห์ภาพ Vision เข้าด้วยกัน ทำให้ PaLM-E เป็นโมเดลที่สามารถทำงานได้หลากหลาย (generalist) รองรับการสั่งงานหุ่นยนต์ทั้งสองแบบ ทั้งการแยกแยะวัตถุ แยกแยะฉากทัศน์ รับคำสั่งเป็นเสียงแล้วแปลงเป็นข้อความ หรือใช้ทั้งสองอย่างคือให้ดูภาพแล้วทำตามคำบรรยายบอกก็ได้เช่นกัน

กลุ่มวิจัยหุ่นยนต์ของไมโครซอฟท์รายงานถึงการใช้ ChatGPT เขียนโปรแกรมควบคุมหุ่นยนต์ โดยพบว่า ChatGPT สามารถแปลงคำสั่งภาษามนุษย์กลายเป็นโค้ดตามข้อจำกัดที่กำหนดไว้ล่วงหน้าได้หลายประเภท

การทดสอบเริ่มด้วยการอธิบายการทำงานของหุ่นยนต์และฟังก์ชั่นต่างๆ ที่เรียกใช้ได้ให้ ChatGPT จากนั้นขอโค้ดตามคำสั่งแบบภาษามนุษย์ เช่น สำรวจชั้นเก็บของทุกชั้น ตัว ChatGPT สามารถเขียนโค้ดควบคุมโดรนให้บินกวาดชั้นเก็บของทุกชั้นได้ตามคำสั่ง

ไมโครซอฟท์ปล่อยโปรแกรม AirSim สำหรับจำลองการทำงานของโดรน พร้อมกับรวบรวมคำสั่งที่เคยสั่ง ChatGPT ในงานวิจัยครั้งนี้ให้คนภายนอกแนะนำเพิ่มเติม