โลก AI เมื่อคืนนี้มีการเปลี่ยนแปลงน่าสนใจ เมื่อ Matt Shumer ผู้ก่อตั้งสตาร์ตอัพ HyperWrite เปิดตัวโมเดลภาษาขนาดใหญ่ (LLM) ตัวใหม่ Reflection 70B ที่มีคะแนนเบนช์มาร์คชนะโมเดลทุกตัวในท้องตลาด ไม่ว่าจะเป็น GPT-4o, Claude 3.5, Gemini 1.5 Pro, Llama 3.1 405B

สิ่งที่น่าสนใจคือ Reflection 70B ไม่ได้พัฒนาขึ้นมาจากศูนย์ แต่ปรับจูนมาจากโมเดลโอเพนซอร์สอย่าง Llama 3.1 70B อีกทอดหนึ่ง แล้วดันเอาชนะ Llama 3.1 405B ที่ตัวใหญ่กว่ามากๆ ได้

Meta เผยยอดดาวน์โหลดโมเดลภาษาขนาดใหญ่ตระกูล Llama ทะลุ 350 ล้านครั้ง (นับเฉพาะบน Hugging Face) และมีโมเดลเวอร์ชันพัฒนาต่อยอดมากกว่า 60,000 ตัวบน Hugging Face

Llama ถือเป็นโมเดลภาษาขนาดใหญ่ที่เป็นโอเพนซอร์สเกือบ 100% (มีเงื่อนไขการใช้งานจำกัดเฉพาะบริษัทไอทีและคลาวด์รายใหญ่เท่านั้น) เปิดตัวครั้งแรกในเดือนกุมภาพันธ์ 2023 และใช้เวลา 18 เดือน พัฒนาตัวเองกลายมาเป็นโมเดลยอดนิยม

Meta จัดแข่งขัน AI Accelerator Program ปี 2024 ระดับเอเชียแปซิฟิก (รวมไทยด้วย) โดยแบ่งเป็นระดับประเทศ ที่นักพัฒนาไทยต้องส่งหัวข้อโครงการที่นำ Llama AI เข้าไปแก้ปัญหาทางเศรษฐกิจและสังคม จากนั้นผู้ผ่านการคัดเลือกจะไปแข่ง Meta Llama Hackathon ที่สิงคโปร์ในเดือนตุลาคม

การแข่งขันรอบประเทศไทย

• ส่งหัวข้อภายใน 30 สิงหาคม 2024
• นำเสนอผลงานออนไลน์ 13 กันยายน 2024
• ประกาศผล 20 กันยายน 2024

ผู้ชนะจะไปแข่งต่อระดับภูมิภาคที่สิงคโปร์วันที่ 1-3 ตุลาคม 2024 โดยผู้ชนะจะได้รับเงินรางวัลมูลค่าสูงสุดถึง 100,000 เหรียญสหรัฐ รายละเอียดสามารถติดตามได้จากเว็บไซต์ของโครงการ

ที่มา - Meta

หลังจากเมื่อคืนที่ผ่านมา Meta เปิดตัว Llama 3.1 โมเดลปัญญาประดิษฐ์ บรรดาคลาวด์รายเล็กและรายใหญ่ก็ประกาศเปิดบริการ Llama 3.1 โดยพร้อมเพรียงกัน โดยบริการที่ครบถ้วนที่สุดคือ Microsoft Azure เปิดให้บริการพร้อมกับประกาศราคาออกมาพร้อมกันทั้งสามขนาด Google Cloud นั้นเปิดให้ใช้งานโมเดล 405B แล้วแต่ยังไม่ประกาศราคา ขณะที่ AWS นั้นประกาศราคาเฉพาะรุ่น 70B และ 8B โดยรุ่น 405B ต้องเปิดเคสขอใช้งาน

Meta ปล่อยโมเดล Llama 3.1 โมเดล LLM รุ่นล่าสุดที่รีดความสามารถได้สูงขึ้นมาก พร้อมกับปล่อยโมเดลขนาดใหญ่ที่สุด 405B ความสามารถจากการทดสอบหลายอย่างไปอยู่ระดับเดียวกับ GPT-4o แล้ว แม้ว่ายังไม่มีความสามารถ multimodal ที่รองรับภาพและเสียงได้ก็ตาม

ผลทดสอบหลายด้านของ Llama 3.1 แสดงให้เห็นว่าทาง Meta ยังรีดความสามารถในโมเดลขนาดเล็กได้เพิ่มขึ้นเรื่อยๆ โดยผลทดสอบหลายชุด Llama 3.1 8B สามารถทำคะแนนได้ใกล้ Llama 3.0 70B มากขึ้น ขณะที่ Llama 3.1 70B นั้นทำคะแนนเพิ่มเติมได้แทบทุกชุดยกเว้นบ้างเช่นชุดทดสอบเขียนโปรแกรม HumanEval ที่คะแนนลดลง

Meta เปิดเผยว่าบริษัทมีแผนออกโมเดลปัญญาประดิษฐ์ Llama ที่รองรับข้อมูลผสมผสาน (Multimodal) ในอีกไม่กี่เดือนข้างหน้า แต่ประเด็นสำคัญนั้น Meta บอกว่าโมเดล Llama ตัวใหม่นี้จะไม่เผยแพร่ให้กับผู้ใช้งานในกลุ่มประเทศสหภาพยุโรปหรือ EU

โดยเหตุผลที่ Meta ตัดสินใจเช่นนั้นเป็นเพราะ Meta มองว่าทิศทางของหน่วยงานกำกับดูแลของ EU มีลักษณะที่คาดเดาได้ยาก จึงเลือกไม่เผยแพร่โมเดลไปเลยดีกว่า

Mayo Clinic รายงานถึงการพัฒนา RadOnc-GPT ผู้ช่วยวิเคราะห์โรคมะเร็งที่อาศัยข้อมูลการรักษามะเร็งในโรงพยาบาล Mayo Clinic เอง นำมา finetune โมเดล Llama 2 ของ Meta กระบวนการฝึกและการใช้งานทั้งหมดอยู่ในเน็ตเวิร์คของโรงพยาบาลเอง

Meta ประกาศอัปเดต Meta AI แชทบอตผู้ช่วยบน Facebook, Instagram, WhatsApp และ Messenger ที่เปิดตัวในงาน Connect เมื่อปีที่แล้ว โดยขยายประเทศที่รองรับเพิ่มเติมนอกจากสหรัฐอเมริกา ตามที่มีข่าวก่อนหน้านี้ รวมทั้งเพิ่มความสามารถด้วยโมเดล Meta Llama 3 ล่าสุดที่เพิ่งเปิดตัว

รายชื่อประเทศที่ได้ใช้งาน Meta AI ในภาษาอังกฤษเพิ่มเติมได้แก่ ออสเตรเลีย แคนาดา กานา จาไมกา มาลาวี นิวซีแลนด์ ไนจีเรีย ปากีสถาน สิงคโปร์ แอฟริกาใต้ ยูกันดา แซมเบีย และซิมบับเว ซึ่งจะขยายเพิ่มเติมต่อไปเร็ว ๆ นี้

Meta ปล่อยโมเดลปัญญาประดิษฐ์ Llama 3 สองรุ่น คือ 8B และ 70B แยกรุ่นย่อยสำหรับการทำตามคำสั่ง โดยยังมีรุ่น 400B อยู่ระหว่างการพัฒนา

รุ่น 8B นั้น Meta เทียบกับ Gemma 7B และ Mistral 7B Instruct เอาชนะได้ทุกชุดการทดสอบ บางหมวดเช่น HumanEval สำหรับการเขียนโปรแกรม และ GSM-8K สำหรับการคำนวณนั้นนำห่าง

รุ่น 70B ทาง Meta นำไปเทียบกับ Gemini Pro 1.5 ทำคะแนนนำได้บางชุดทดสอบ และเมื่อเทียบกับ Claude 3 Sonnet ก็ชนะทุกชุดทดสอบเช่นกัน

Meta รายงานถึงข้อมูลของคลัสเตอร์ใหม่ที่บริษัทใช้ฝึกปัญญาประดิษฐ์ โดยทำขึ้นมาเพื่อออกแบบและฝึก LLaMA 3 โดยเฉพาะ และเป็นพื้นที่ทดสอบสถาปัตยกรรมคลัสเตอร์ใหม่ที่จะขยายต่อไปในอนาคต โดยประกาศแผนว่าจะซื้อเพิ่มไปเรื่อยๆ จนสิ้นปีมีชิป H100 ประมาณ 350,000 ตัว พลังประมวลผลรวมเทียบเท่ากับชิป H100 จำนวน 600,000 ตัว

คลัสเตอร์มีสองชุดหลัก ต่างกันที่ระบบเน็ตเวิร์คที่ต้องรองรับการเข้าถึงแรมข้ามเครื่อง ชุดแรกใช้ remote direct memory access (RDMA) over converged Ethernet (RoCE) เน็ตเวิร์คของ Arista 7800 พร้อม Wedge400 อีกชุดใช้ NVIDIA Quantum2 InfiniBand ทั้งสองชุดมีแบนวิดท์เชื่อมต่อ 400Gbps เท่ากัน โดยตอนนี้พบว่าทั้งสองชุดใช้งานต่างๆ ได้ดี

Meta ปล่อยโมเดล Code Llama ขนาด 70B หลังจากปีที่แล้วปล่อยรุ่นใหญ่สุดอยู่ที่ 34B เท่านั้น โดยตอนนี้ยังไม่บอกรายละเอียดนัก นอกจากระบุว่าคะแนนทดสอบ HumanEval อยู่ที่ 67.8 แซงหน้า GPT-4 (67.0) และ Gemini Pro (67.7) โดยระบบอื่นๆ ที่ได้คะแนนสูงกว่านี้มักใช้ GPT-4/GPT-3.5 ร่วมกับเทคนิคอื่นๆ เพื่อให้ทำคะแนนได้สูงขึ้น

โมเดลที่ปล่อยออกมามี 3 รุ่นย่อย ได้แก่ รุ่นพื้นฐานสำหรับใช้งานทั่วไป, รุ่นภาษาไพธอนโดยเฉพาะ, และรุ่น Instruct สำหรับรับคำสั่งเพื่อเขียนโปรแกรมตาม รุ่นที่รายงานคะแนน HumanEval นั้นคือรุ่น Instruct

โมเดลเหล่านี้ใช้งานได้ฟรีแบบมีข้อจำกัด โดยห้ามใช้งานกับองค์กรที่มีผู้ใช้เกิน 700 ล้านคนต่อเดือน

Mark Zuckerberg เปิดเผยว่าตอนนี้ทีม AI ของบริษัท Meta กำลังเทรนโมเดล Llama 3 บนโครงสร้างพื้นฐานคอมพิวเตอร์ขนาดใหญ่ ที่จะมีจีพียู NVIDIA H100 เพิ่มเป็น 350,000 ตัวภายในสิ้นปี 2024 และถ้านับจีพียูตัวอื่นๆ มารวมด้วย จะเทียบได้กับการมี H100 จำนวนรวม 600,000 ตัว

ตอนนี้ Meta มีทีมพัฒนา AI สองทีมคือ Fundamental AI Research (FAIR) ที่เน้นงานวิจัย และ GenAI ที่เพิ่งตั้งเมื่อต้นปี 2023 เน้นพัฒนาฟีเจอร์ AI ให้กับบริการในเครือ อย่าง WhatsApp, Messenger, Instagram

Meta เปิดตัวโครงการ Purple Llama รวมเครื่องมือด้านความปลอดภัยของ AI ที่โอเพนซอร์สให้สาธารณะใช้งาน

ตัวชื่อโครงการมาจากภาษาที่ใช้ในโลกความปลอดภัยไซเบอร์ ที่แบ่งการทดสอบออกเป็นทีมลองเจาะ (red team) และทีมป้องกัน (blue team) โครงการนี้ที่มีเครื่องมือทั้งสองฝั่งจึงเอาสองสีมารวมกันเป็นสีม่วง แล้วมารวมกับชื่อ Llama ที่เป็นโมเดล LLM ของบริษัทเอง

Google Cloud มีบริการเช่ารันโมเดล AI ชื่อ Vertex AI ที่ให้บริการมาสักระยะหนึ่งแล้ว และเปิดบริการโมเดล Generative AI เมื่อเดือนพฤษภาคมที่ผ่านมา โดยมีทั้งโมเดลของกูเกิลเอง และโมเดลจากบริษัทอื่นด้วย กูเกิลเรียกบริการนี้ว่า Model Garden

ล่าสุดในงาน Google Cloud Next '23 เมื่อคืนนี้ กูเกิลประกาศเพิ่มโมเดลของพาร์ทเนอร์อีกหลายตัว ได้แก่

Meta ปล่อย Code Llama โมเดลปัญญาประดิษฐ์ที่พัฒนาต่อจาก Llama2 มาฝึกกับซอร์สโค้ดขนาด 500 ล้านโทเค็น ได้โมเดลทั้งแบบเติมโค้ดปกติ, แบบรับคำสั่ง, และโมเดลฝึกเฉพาะกับโค้ด Python

ผลทดสอบการเขียนโค้ด HumanEval นั้น Code Llama ขนาด 34B ได้คะแนนดีกว่าโมเดลอื่นๆ ทั้งหมด รวมถึง GPT-3.5 หรือ ChatGPT ด้วย เป็นรองเพียง GPT-4 เท่านั้น ขณะที่โมเดลขนาดรองลงมา เช่น 7B และ 13B ก็ยังทำคะแนนได้ดีและตอบสนองเร็วกว่ามาก

กระบวนการฝึก Code Llama นั้นเน้นถึงการเติมโค้ดตรงกลางเพิ่มเข้ามา เนื่องจากการใช้งานมักต้องใช้สำหรับ code completion ด้วย และต้องฝึกให้ขยาย context จาก 4K เป็น 100K เพื่อให้เพียงพอสำหรับการเขียนโค้ดขนาดใหญ่ๆ

Qualcomm ประกาศร่วมมือกับ Meta เพื่อปรับแต่งนำ Llama 2 โมเดล AI ถามตอบที่เพิ่งเปิดตัวล่าสุด ให้สามารถทำงานได้ในระดับอุปกรณ์ (on-device) โดยไม่ต้องพึ่งการประมวลผลบนคลาวด์ ช่วยให้อุปกรณ์เช่น สมาร์ทโฟน พีซี หรือเฮดเซต AR/VR สามารถตอบสนองได้รวดเร็วมากขึ้น

นอกจากนี้ Qualcomm บอกว่าการประมวลผล AI ที่ระดับอุปกรณ์ ยังช่วยให้นักพัฒนาแอปเข้าถึงการใช้งาน AI ในรูปแบบต่าง ๆ ที่หลากหลายขึ้น รวมทั้งเพิ่มความปลอดภัยและความเป็นส่วนตัวให้ผู้ใช้งาน

Meta เปิดตัว Llama 2 ตัวต่อจาก Llama ที่เปิดตัวไปเมื่อเดือนกุมภาพันธ์ที่ผ่านมา ตัวโมเดลมี 3 ขนาดเช่นเดิม คือ 7B, 13B, และ 70B แต่เปลี่ยนแนวทางเพิ่มการฝึกกับชุดคำถามตอบมากขึ้น โดยมีการจูนกับชุดคำถามตอบกว่าแสนรายการ และฝึกเพิ่มด้วยการให้คนมาเลือกคำตอบที่ดีที่สุดอีกกว่าล้านครั้ง

ถึงแม้ OpenAI เปลี่ยนมาใช้แนวทางปิด ไม่เปิดเผยรายละเอียดของโมเดล GPT-4 และฝั่งกูเกิลเองก็ยังค่อนข้างระมัดระวังในการปล่อย Bard ทีละนิด แต่โลกเราก็ยังมีโมเดลภาษาขนาดใหญ่ (Large Language Model หรือ LLM) ตัวอื่นให้ใช้งาน โดยเฉพาะ LLaMA ของ Meta ที่เปิดตัวในเดือนกุมภาพันธ์ 2023 ซึ่งเป็นโอเพนซอร์ส ใช้สัญญาอนุญาตแบบ GPLv3 และเปิดทางให้หน่วยงานวิจัยมาขอชุดข้อมูลที่ใช้เทรนไปศึกษาได้

ตัวอย่างก่อนหน้านี้คือ Nebuly AI สร้าง ChatLLaMA แบบโอเพนซอร์ส ใช้โมเดล LLaMA ของ Meta เป็นฐาน

เมื่อสัปดาห์ที่ผ่านมา Meta เปิดตัว LLaMA ปัญญาประดิษฐ์ขนาดใหญ่สูงสุด 65 พันล้านพารามิเตอร์ โดยมีจุดเด่นคือ Meta แจกโมเดลที่ฝึกแล้วให้ไปใช้งานกันด้วย แต่จำกัดการใช้งานเฉพาะการศึกษาวิจัยเท่านั้น และนักวิจัยต้องไปขอใช้งานจาก Meta เป็นรายคน ล่าสุดก็มีคนที่ได้โมเดลไป นำโมเดลมาแจกบน torrent แล้ว

Meta เผยแพร่ชุดโมเดล AI สำหรับสร้างข้อความภาษา หรือ LLM (Large Language Model) โดยเรียกชื่อว่า LLaMA ย่อมาจาก Large Language Model Meta AI โดยมีเป้าหมายเพื่อให้องค์กรต่าง ๆ นำไปศึกษาวิจัยต่อ

LLM เป็นรูปแบบโมเดล AI สร้างข้อความ ที่ถูกนำมาใช้ในผลิตภัณฑ์แชตบอทที่เป็นกระแสในช่วงที่ผ่านมา ไม่ว่าจะเป็น ChatGPT, Bing Chat หรือ Bard ของกูเกิล และเป็นโมเดลที่มีการเปลี่ยนแปลงอย่างรวดเร็ว ต้องการทรัพยากรประมวลที่ใหญ่มาก ทำให้หลายองค์กรไม่มีโอกาสเข้าถึง โดย LLaMA ที่ Meta เผยแพร่มีหลายขนาดชุดข้อมูล ตั้งแต่ 7 พันล้านพารามิเตอร์ จนถึงชุด 65 พันล้านพารามิเตอร์