ทีมวิจัยจาก Stanford Medicine รายงานถึงการทดลองใช้ GPT-4 มาช่วยร่างข้อความสำหรับแอปต่างๆ ที่แพทย์แพลพยาบาลใช้งาน โดยข้อความทั้งหมดเจ้าหน้าที่ต้องมาตรวจสอบก่อนส่งอีกครั้ง

การทดลองครั้งนี้มีแพทย์และพยาบาลเข้าร่วม 162 คน ทดสอบเป็นเวลา 5 สัปดาห์ และเนื่องจากมีแอปที่เจ้าหน้าที่ต้องใช้งานหลากหลาย แอปที่รองรับ GPT-4 จริงๆ คิดเป็น 20% ของการตอบข้อความทั้งหมดของเจ้าหน้าที่ ข้อความมีหลากหลาย เช่น คนไข้ถามอาการข้างเคียงของยา, หรือการรักษาอาการเบื้องต้น

ผลทดสอบไม่พบว่าเวลาการตอบข้อความเปลี่ยนแปลงมากนัก แต่เมื่อนำผลทดสอบความรู้สึกว่างานหนัก หรือความเหนื่อยล้าจากการทำงาน หลังใช้งาน GPT-4 ช่วยลดคะแนนทั้งสองตัวลงได้ แสดงให้เห็นว่า GPT-4 น่าจะช่วยลดโหลดงานของเจ้าหน้าที่ลงได้บางส่วน

MyShell บริษัทปัญญาประดิษฐ์สร้างตัวตนออนไลน์ เปิดตัวโมเดล JetMoE-8B โมเดล LLM ที่ประสิทธิภาพสูงกว่า LLaMA-2 13B เสียอีก และมีต้นทุนในการฝึกและการรันถูกกว่ามาก

JetMoE อาศัยสถาปัตยกรรม Mixture-of-Expert ทำให้ใช้โมเดลตอนรันจริงเพียง 2.2B เท่านั้น ต้นทุนการรันระดับเดียวกับ Gemma-2B ขณะที่การฝึกโมเดลนั้นใช้ชิป NVIDIA H100 96 ชุดเป็นเวลา 2 สัปดาห์ รวมต้นทุนประมาณ 80,000 ดอลลาร์หรือประมาณ 3 ล้านบาท น่าจะถูกกว่าโมเดลอื่นๆ ที่ประสิทธิภาพใกล้เคียงกันมาก โดยต้นทุนการฝึก LLaMA2 13B นั้นใช้ชิป A100 368640 ชั่วโมง หากคิดเป็นค่าคลาวด์ก็น่าจะเกิน 500,000 ดอลลาร์

JetBrains ออกอัพเดตเวอร์ชัน 2024.1 ให้กับ IDE ทุกตัวในสังกัด เพิ่มฟีเจอร์ใหม่ full line code completion ใช้พลัง AI คาดเดาโค้ดบรรทัดต่อไปที่เราจะพิมพ์ใน editor โดยเป็นการคาดเดา "ทั้งบรรทัด" และสามารถทำงานได้แบบออฟไลน์ ไม่ต้องต่อเน็ต

การทำงานของ full line code completion จะแสดงข้อความสีเทาในบรรทัดถัดไป และสามารถกด tab เพื่อให้ editor เติมบรรทัดนั้นให้เราได้ ฟีเจอร์นี้รองรับโค้ดในภาษา Java, Kotlin, Python, JavaScript, TypeScript, CSS, PHP, Go, Ruby

Replit บริษัทผู้สร้าง IDE ผ่านเบราว์เซอร์ ที่ช่วงหลังเริ่มใช้งาน AI ช่วยเขียนโค้ด เปิดตัวฟีเจอร์ Code Repair ที่นำ LLM มาปรับแต่งเพื่อเน้นการแก้บั๊กโดยเฉพาะ

Replit บอกว่าการนำ LLM มาช่วยเขียนโค้ดที่ใช้กันอยู่ทุกวันนี้ เกิดจากการเทรนด้วยข้อมูลซอร์สโค้ด ผสมกับข้อมูลการพูดคุยกันของมนุษย์ เช่น กระทู้ใน StackExchange หรือ GitHub issue จึงมีข้อจำกัดเรื่องการขาดบริบทด้านสภาพแวดล้อมในการพัฒนา (development environment) ที่โปรแกรมเมอร์แต่ละคนใช้งาน

ทีมนักวิจัยของแอปเปิลเผยแพร่ผลงาน AI ที่เพิ่มความสามารถเข้าใจบริบท (context) ของคำถามจากผู้ใช้งาน โดยอ้างอิงจากสิ่งที่ปรากฏบนหน้าจอของผู้ใช้งาน

ระบบ AI นี้มีชื่อเรียกว่า ReALM ย่อมาจาก Reference Resolution As Language Modeling เป็นโมเดล LLM ที่สามารถเข้าใจคำถามซึ่งไม่ชัดเจนหรือกำกวม ด้วยการหาข้อมูลเพิ่มเติมจากสิ่งที่ปรากฏบนหน้าจอโทรศัพท์ ทำให้บทสนทนามีความลื่นไหลและเป็นธรรมชาติมากยิ่งขึ้น

ทีมนักวิจัยของ Anthropic บริษัท AI เจ้าของแชทบอต Claude เผยแพร่รายงานเกี่ยวกับช่องโหว่ของโมเดล AI ภาษาขนาดใหญ่ (LLM - large language model) ซึ่งสามารถทำให้ LLM ให้คำตอบที่ไม่เหมาะสมหรือเป็นอันตรายออกมาได้ แม้ผู้พัฒนาจะเขียนกฎป้องกันไว้แล้วก็ตาม

ช่องโหว่ที่รายงานเกิดจากการสร้างบทสนทนาถามตอบกับ LLM ที่ต่อเนื่องเป็นชุด จน LLM เกิดการเรียนรู้บริบท (in-context learning) ของเนื้อหาที่ถาม ทำให้กรอบหัวข้อที่สนใจแคบลงเรื่อย ๆ และยอมตอบคำถามที่ไม่เหมาะสมหรืออันตรายออกมา

Cloudflare ปรับบริการ Workers AI สำหรับการรันโมเดลปัญญาประดิษฐ์เข้าสู่สถานะให้บริการทั่วไป (generally available - GA) โดยจะเริ่มคิดเงินกับ 10 โมเดลที่เข้าสู่สถานะ GA เช่นกัน แต่ไม่คิดเงินสำหรับโมเดลที่ยังอยู่ในสถานะเบต้า

ความแตกต่างของ Workers AI จากบริการอื่นๆ คือ Cloudflare มีศูนย์ข้อมูลพร้อมชิปกราฟิกติดตั้งอยู่ทั่วโลก รวมถึงกรุงเทพมหานครด้วย การปรับสถานะ GA ครั้งนี้ทางบริษัทกระจายโหลดข้ามเมืองให้โดยอัตโนมัติในกรณีที่ชิปกราฟิกบางเมืองเต็ม ทำให้โดยรวมสามารถเปิดโควต้าให้นักพัฒนาใช้งานได้อิสระขึ้น

เราเห็น Amazon แก้ปัญหาเรื่องการขาดโมเดล LLM ความสามารถสูง ด้วยการลงทุน 4 พันล้านดอลลาร์ใน Anthropic เพื่อเข้าถึงการใช้งานโมเดล Claude ที่เวอร์ชันล่าสุดทำคะแนนได้ดีกว่า GPT-4

ถึงแม้เงินแก้ปัญหาในระยะสั้นได้ แต่ก็เกิดคำถามตามมา (ในหมู่พนักงานเองด้วย) ว่าบริษัทยักษ์ใหญ่ระดับ Amazon ไม่มีศักยภาพสร้างโมเดล LLM ของตัวเองได้เลยหรือ (ปัจจุบัน Amazon มีโมเดลของตัวเองชื่อ Titan ให้ใช้งานบน AWS แม้ยังอาจสู้ Claude ไม่ได้ก็ตาม)

xAI บริษัท AI ของ Elon Musk ได้เปิดตัวโมเดล Grok-1.5 โดยเพิ่มความสามารถรองรับข้อความขนาดยาวสูงสุด 128,000 โทเคน

นอกจากนี้ ผลการวัดประสิทธิภาพบนชุดทดสอบ (benchmark) ของโมเดล Grok-1.5 เช่น MATH ทำได้ถึง 50.6% (4-shot) และ GSM8K ทำได้ 90% (8-shot) สามารถเอาชนะโมเดล Mistral Large ของบริษัท Mistral รวมถึงโมเดล Grok-1 ที่เพิ่งแจกจ่ายโมเดลออกไป แต่ยังคงแพ้ Claude 3 Opus กับ GPT-4 ในหลายชุดทดสอบ

ทาง xAI ยังประกาศว่าโมเดล Grok-1.5 จะเปิดให้ใช้งานผ่าน 𝕏 เร็ว ๆ นี้และเปิดรับสมัครพนักงานดูแลงาน Infra อีกด้วย

Databricks ปล่อยโมเดล DBRX ที่เป็น LLM ระดับความสามารถใกล้เคียงกับ Gemini Pro 1.0 แต่ชูจุดเด่นด้านความเร็วในการตอบคำถาม และความสามารถด้านการเขียนโปรแกรมหรือแก้ปัญหาคณิตศาสตร์

DBRX อาศัยโครงสร้างแบบ mixture-of-experts (MoE) ภายในมีโมเดลย่อยเชี่ยวชาญแต่ละหัวข้อทั้งหมด 16 ชุด และระหว่างการทำงานจะรันทีละ 4 ชุด รวมโมเดลรวม 132 พันล้านพารามิเตอร์แต่รันจริงทีละ 36 พันล้านพารามิเตอร์ ชุดข้อมูลที่ใช้ขนาด 12 ล้านล้านโทเค็น ฝึกด้วย context windows ขนาด 32k โทเค็น

OpenAI นำเสนอตัวอย่างผลงานที่สร้างขึ้นจาก Sora เครื่องมือสร้างคลิปวิดีโอสั้นคุณภาพสูงด้วย AI จากการป้อน prompt ซึ่งร่วมมือกับผู้ผลิตผลงานหลายราย ตามที่มีข่าวก่อนหน้านี้ โดยมีทั้งศิลปิน, นักออกแบบ, ครีเอทีฟ จนถึงผู้ผลิตภาพยนตร์

ผลงานแรกคือหนังสั้น "Air Head" โดยสตูดิโอ shy kids จากแคนาดา เล่าเรื่องราวของมนุษย์หัวลูกโป่ง ซึ่งทีมผู้ผลิตบอกว่า Sora ทำให้พวกเขาสามารถผลิตผลงานแนวเซอร์เรียลที่เดิมทำได้ยาก จึงเป็นโอกาสของผู้ผลิตที่จะนำเสนอเนื้อหาแบบใหม่

The Wall Street Journal รายงานโดยอ้างแหล่งข่าวที่เกี่ยวข้อง บอกว่าแอปเปิลได้เริ่มเจรจากับ Baidu เพื่อนำ Generative AI มาใส่ใน iPhone และอุปกรณ์อื่น สำหรับเวอร์ชันที่ขายในจีน เพื่อให้เป็นไปตามกฎหมายที่โมเดล AI ที่นำมาใช้งาน ต้องผ่านการรับรองของหน่วยงานในจีนก่อน

ปัจจุบันมีโมเดล AI ที่ทางการจีนอนุมัติมากกว่า 40 โมเดล ซึ่งรวมทั้งแชทบอต Ernie ของ Baidu โดยยังไม่มีโมเดลที่พัฒนาจากบริษัทนอกจีนที่ได้รับการอนุมัติ

แนวทางของแอปเปิลนี้จะคล้ายกับซัมซุง ที่ Galaxy S24 ก็ใช้งาน Ernie แทนที่ Gemini Pro ของกูเกิล

Sakana AI บริษัทวิจัยด้าน AI จากญี่ปุ่น ที่ก่อตั้งโดย David Ha และ Llion Jones อดีตนักวิจัยจากกูเกิล ซึ่งมีผลงานการออกแบบโครงสร้าง Deep Learning เปิดตัว "Evolutionary Model Merge" ระบุว่าเป็นวิธีพัฒนาโมเดล AI โดยใช้แนวทางให้รวมโมเดลให้มีวิวัฒนาการ ได้ออกมาเป็นโมเดลใหม่ตามการใช้งานแต่ละประเภทที่ดีที่สุด และสามารถพัฒนาตัวเองขึ้นได้

ไอเดียของวิธีสร้างโมเดลนี้ใช้การนำโมเดล AI โอเพนซอร์ส ซึ่งปัจจุบันเฉพาะบน Hugging Face ก็มีมากกว่า 5 แสนโมเดล หากนำมาผสมผสานกันก็จะได้โมเดลใหม่ที่มีความสามารถมากขึ้น หรือเจาะจงเฉพาะส่วนที่ยังไม่มีผู้เชี่ยวชาญในการพัฒนามากพอตรงนั้น

ในงาน GTC 2024 ระหว่างช่วงถามตอบนักข่าว Jensen Huang ระบุถึงผลกระทบของ generative AI ว่าสามารถใช้งานได้มากกว่าแค่แชตบอตอย่าง ChatGPT ในทุกวันนี้เพราะเราสามารถแปลงข้อมูลให้อยู่ในรูปแบบเดียวกับที่ ChatGPT มองเห็น

Jensen ระบุว่าปัญญาประดิษฐ์นั้นเห็นข้อมูลเป็นตัวเลข หรือที่ศัพท์ generative AI เรียกว่าโทเค็นเหมือนกันทั้งหมด (OpenAI คิดค่าใช้งานตามจำนวนโทเค็น ไม่ใช่จำนวนตัวอักษร) และการที่เราแชตกับปัญญาประดิษฐ์ก็เป็นรูปแบบที่เราเอาโทเค็นมาแปลงเป็นคำที่เราอ่านออก แต่ที่จริงแล้วเราสามารถแปลงโทเค็นที่ปัญญาประดิษฐ์เข้าใจเป็นอะไรก็ได้ ตั้งแต่ข้อความ, ภาพ, เสียง, โครงสร้างโมเลกุลหรือโปรตีน, ไปจนเซ็นเซอร์และการควบคุมหุ่นยนต์

จากรายงานข่าวก่อนหน้านี้ของ Bloomberg ว่าแอปเปิลกำลังเจรจากับกูเกิล รวมทั้งผู้พัฒนา AI รายอื่น เพื่อนำ Generative AI หรือ AI สร้างเนื้อหา มาใส่ใน iPhone ล่าสุด The New York Times ก็ร่วมยืนยันข่าวนี้จากแหล่งข่าวของตนเอง ว่าแอปเปิลกำลังเจรจากับกูเกิลจริง

The New York Times อ้างแหล่งข่าว 3 ราย บอกว่าการเจรจาของสองฝ่ายตอนนี้ยังเป็นขั้นต้น รายละเอียดข้อตกลงยังไม่มีการกำหนดออกมา ขณะเดียวกันแอปเปิลก็พูดคุยกับบริษัท AI อื่นด้วยเช่นกัน เป้าหมายเพื่อนำโมเดลภาษาขนาดใหญ่หรือ LLM มาใช้เรียนรู้ข้อมูลใน iPhone แล้วจัดการกับสร้างเนื้อหาขึ้นมา

กูเกิลประกาศความคืบหน้าเรื่อง AI เพื่อการแพทย์หลายอย่าง โดยมีทั้งการใช้โมเดลรุ่นเดิม PaLM 2 และโมเดลรุ่นใหม่ Gemini

PaLM 2

ปีที่แล้วกูเกิลนำ PaLM 2 โมเดลภาษารุ่นของปี 2023 มาปรับแต่ง (fine-tune) เพื่อการแพทย์ในชื่อ Med-PaLM 2 แล้วพัฒนาต่อเป็นชุดของโมเดลหลายๆ ตัวชื่อ MedLM เปิดให้เช่าใช้งานบนบริการ Vertex AI ของ Google Cloud

ล่าสุดกูเกิลออก MedLM for Chest X-ray นำโมเดลไปช่วยอ่านฟิล์มเอกซเรย์หน้าอก (เช่น ปอดและหัวใจ) ตอนนี้เริ่มเปิดให้ลูกค้าทดสอบแบบจำกัดวงแล้ว

Qualcomm เปิดตัวชิปรุ่นใหม่ Snapdragon 8s Gen 3 สำหรับสมาร์ทโฟน โดยมีจุดเด่นทั้งการรันโมเดล AI แบบ On Device รวมทั้งงานถ่ายภาพและเกมมิ่ง

Snapdragon 8s Gen 3 พัฒนาบนเทคโนโลยี 4 นาโนเมตร มีซีพียู 8 คอร์ สูตร 1+4+3 คอร์หลัก Cortex X4, 4 คอร์ Performance และ 3 คอร์ Efficiency รองรับการรันโมเดล AI แบบ LLM ยอดนิยมหลายตัว สูงสุดถึงระดับ 10 พันล้านพารามิเตอร์ เช่น Baichuan-7B, Llama 2, Gemini Nano และ Zhipu ChatGLM

Qualcomm บอกว่า Snapdragon 8s Gen 3 ถูกออกแบบมารองรับสมาร์ทโฟนรุ่นพรีเมียม โดยตอนนี้มีผู้ผลิตหลายรายทำข้อตกลงใช้งานแล้วเช่น Honor, iQOO, realme, Redmi และ Xiaomi อุปกรณ์แรกที่เริ่มใช้คาดว่าจะประกาศในเดือนนี้

ทีมวิจัยจาก Hong Kong Polytechnic University รายงานถึงการพัฒนาโมเดลปัญญาประดิษฐ์ LLM4Decompile โมเดลเฉพาะทางสำหรับการแปลงไฟล์ assembly ให้กลับมาเป็นโค้ดภาษา C อีกครั้ง จากเดิมที่เคยมีรายงานกันก่อนหน้านี้แล้วว่า LLM ทั่วไป เช่น GPT-4 ก็สามารถ decompile โค้ดได้

LLM4Decompile เป็นโมเดลเฉพาะทาง มี 3 ขนาด คือ 1.3B, 6.7B, และ 33B ฝึกด้วยโค้ดภาษา C ขนาด 4 พันล้านโทเค็น โดยทีมงานสร้างชุดทดสอบ Decompile-Eval เพื่อวัดผลสุดท้ายคือโค้ดที่ได้สามารถคอมไพล์ได้ (re-compilability) และรันได้เหมือนกับโค้ดตั้งต้นเดิม (re-executability) คล้ายกับชุดทดสอบ HumanEval ที่มักใช้ทดสอบการเขียนโปรแกรมปกติ แต่เปลี่ยนจากการใช้โจทย์การเขียนโปรแกรมเป็นอินพุต มาใช้โปรแกรม assembly แทน

นักวิจัยของแอปเปิลเผยแพร่งานวิจัยของ MM1 ซึ่งเกี่ยวกับกระบวนการเทรนข้อมูลแบบผสมผสาน ว่าการเทรนข้อมูลแต่ละรูปแบบที่ต่างกัน ตลอดจนโครงสร้างโมเดล ส่งผลต่อประสิทธิภาพในการทดสอบ AI นั้นอย่างไร

ส่วนหนึ่งของงานวิจัยนี้พบว่าตัวเลือกวิธีเข้ารหัสรูปภาพ และความละเอียดของภาพที่ใช้เทรน มีผลกระทบมากต่อประสิทธิภาพของโมเดล มากกว่าการออกแบบส่วนเชื่อมต่อต่าง ๆ ของข้อมูล นอกจากนี้ยังพบโมเดลขนาด 30 พันล้านพารามิเตอร์ ตัวหนึ่งของ MM1 มีความสามารถในการเรียนรู้จากบริบทข้อมูลดีที่สุด รองรับการ prompt ที่ต่อเนื่องไปเรื่อย ๆ ได้

xAI สตาร์ทอัพด้าน AI ของ Elon Musk โอเพนซอร์ส Grok-1 โมเดล LLM ของบริษัท ซึ่งในซอร์สมีทั้งค่าพื้นฐานจำเป็นคือ Weight และโครงสร้างเครือข่าย ตามที่ Musk เคยประกาศไว้ก่อนหน้านี้

Grok-1 เป็นโมเดลขนาด 314 พันล้านพารามิเตอร์ ใช้เทคนิคการเรียนรู้แบบ Mixture-of-Experts (MoE) ตัวโอเพนซอร์สนี้เป็นโมเดลในระยะก่อนการเทรน (Pre-training) สถานะ ณ เดือนตุลาคม 2023 จึงยังไม่ได้ถูกปรับแต่งเพื่อแอพพลิเคชันหรือลักษณะการนำไปใช้งานใดโดยเฉพาะ

สามารถดูรายละเอียดเพิ่มเติมได้ที่ github.com/xai-org/grok

ที่มา: xAI

Ollama ซอฟต์แวร์สำหรับรันปัญญประดิษฐ์ในกลุ่ม LLM ออกเวอร์ชั่น 0.1.29 รองรับการ์ด AMD ผ่านซอฟต์แวร์ ROCm ตั้งแต่รุ่นใช้งานตามบ้าน Radeon, รุ่นเวิร์คสเตชั่น, และรุ่นเซิร์ฟเวอร์ในกลุ่ม Instinct

ที่จริงแล้ว Ollama รองรับ ROCm มาระยะหนึ่งแล้วอย่างเงียบๆ แต่ยังมีบั๊กอยู่จำนวนหนึ่ง และเวอร์ชั่นนี้เป็นเวอร์ชั่นแรกที่โครงการรองรับเป็นทางการ สามารถใช้งานบนเวอร์ชั่น ลินุกซ์, วินโดวส์, และ Docker

ก่อนหน้านี้การรัน LLM นั้นมักรองรับการ์ด NVIDIA กันเป็นหลักเนื่องจากไลบรารี CUDA ได้รับความนิยมสูง แต่ก็เริ่มมีการรองรับชิป AMD มากขึ้นเรื่อยๆ

ที่มา - Ollama

เมื่อเดือนที่แล้ว OpenAI ได้เปิดตัว Sora โมเดล AI สร้างวิดีโอสั้นแบบ Text-to-Video ที่ให้ผลลัพธ์ความละเอียดสูง และคลิปยาวสูงสุดถึง 1 นาที จนเป็นที่พูดถึงในวงกว้างที่ผลกระทบที่อาจเกิดขึ้นจากนี้ แต่ OpenAI ก็บอกว่า Sora ยังมีสถานะขั้นต้น ต้องประเมินความเสี่ยงอีกหลายอย่างก่อนเปิดให้ใช้งานทั่วไป

ล่าสุด The Wall Street Journal ได้สัมภาษณ์พิเศษ Mira Murati ซีทีโอ OpenAI (ที่เคยเป็นซีอีโอชั่วคราว 2 วัน) ถึงแผนงานเกี่ยวกับ Sora มีประเด็นที่น่าสนใจหลายอย่าง

Anthropic เปิดให้บริการโมเดล Claude 3 Haiku ซึ่งเป็นโมเดลขนาดเล็กสุดในชุด Claude 3 ที่เปิดตัวไปเมื่อต้นเดือน

จุดเด่นของ Claude 3 Haiku คือการเป็นโมเดลขนาดเล็ก ราคาถูก แต่ให้คำตอบคุณภาพดีกว่าโมเดลคู่แข่งในระดับเดียวกัน (GPT-3.5 และ Gemini 1.0 Pro) และออกแบบโครงสร้างราคาให้เหมาะกับการใช้งานองค์กร ที่ต้องการใส่ prompt ยาวกว่าผู้ใช้ทั่วไป (เช่น ยัดเอกสารขององค์กรเข้าไปทั้งก้อน) ทาง Anthropic ยกตัวอย่างการประมวลผลเอกสารคำตัดสินของศาลความยาว 400 ชิ้น ชิ้นละประมาณ 10,000 โทเคน ในราคาเพียง 1 ดอลลาร์

Microsoft Copilot มีการปรับปรุงใหญ่ โดยผู้ใช้งานทั่วไปได้ใช้ GPT-4 Turbo แทนที่ GPT-4 เดิม ซึ่งมีจุดเด่นคือโมเดลถูกเทรนด้วยชุดความรู้ใหม่กว่าถึงเมษายน 2023 และมีความสามารถอื่นเพิ่มเติมจาก GPT-4 เดิม

ข้อมูลนี้ถูกเปิดเผยโดย Mikhail Parakhin หัวหน้าทีม Windows ซึ่งโพสต์ใน X

GPT-4 Turbo จะถูกใช้งานใน Copilot เวอร์ชันฟรี รองรับทั้งโหมด Creative และ Precise แต่หากยังต้องการใช้ GPT-4 เดิม ต้องเป็นลูกค้า Copilot Pro จึงจะได้ปุ่มปิดให้ไปใช้ GPT-4 เดิม

Cognition Labs สตาร์ตอัพปัญญาประดิษฐ์เปิดตัว Devin ปัญญาประดิษฐ์แบบ agent ที่วางแผนการทำงาน จากนั้นเขียนโค้ด, ดูผลลัพธ์, และแก้ปัญหาได้ในตัวเองจนกว่างานจะเสร็จ

Devin ทำงานในสภาพแวดล้อมปิด มี shell ของเซิร์ฟเวอร์ส่วนตัว, ตัวแก้ไขโค้ด, และเบราว์เซอร์ และมีหน้าจอรายงานผลการทำงานว่าถึงขั้นตอนไหน หรือกำลังทำอะไรอยู่ โดยรวมแล้ว Devin ทำงานเหมือนนักพัฒนาคนหนึ่งในทีมงานและผู้ควบคุมยังสามารถแนะนำแนวทางการทำงานระหว่างทางได้

ทาง Cognition สาธิต Devin เช่น สร้างเกมทั้งเกมพร้อม deploy ขึ้น Netlify, แก้ไขบั๊กที่ผู้ใช้ส่งโค้ดให้, ปรับปรุงโมเดลปัญญาประดิษฐ์, พัฒนาโมเดลปัญญาประดิษฐ์แบบ computer vision ที่รับงานมาจาก Upwork จนสำเร็จ