กูเกิลประกาศลดราคา Gemini 1.5 Flash ที่เพิ่งเปิดตัวมาเพียงสามเดือนลง 80% (อินพุต) ด้วยราคาระดับนี้ทำให้สามารถใช้งานได้หลากหลายขึ้น เช่น การใช้ถอดข้อความจากเสียงนั้นหลายครั้ง Gemini ทำได้ดีกว่าโมเดลแแปลงเสียงเป็นข้อความแล้ว

Gemini 1.5 Flash รองรับทั้งข้อความ, วิดีโอ, เสียง, และภาพ ราคาใหม่ อยู่ที่ 0.01875 ดอลลาร์ต่อ 1 ล้านตัวอักษร หากนับเป็นโทเค็นจะอยู่ที่ประมาณ 0.075 ดอลลาร์ต่อ 1 ล้านโทเค็น ประมาณครึ่งหนึ่งของ GPT-4o mini ที่ราคาถูกที่สุดตอนนี้ ราคาฝั่งเอาท์พุตของ Gemini 1.5 Flash อยู่ที่ 0.15 ดอลลาร์ต่อ 1 ล้านโทเค็น เทียบกับ GPT-4o mini อยู่ที่ 0.60 ดอลลาร์ต่อ 1 ล้านโทเค็น

LMSYS เว็บจัดอันดับแชตบอตแบบอาศัยการส่งคำตอบจากแชตบอตหลายตัวให้ผู้ใช้เลือกตัวที่ดีกว่า เปิดผลสัปดาห์ล่าสุดพบว่า Gemini 1.5 Pro รุ่นทดสอบ 0801 เอาชนะ GPT-4o จนขึ้นที่หนึ่งได้เป็นครั้งแรก

โมเดลเวอร์ชั่น 0801 นี้สามารถใช้งานได้ใน AI Studio ยังไม่ได้เปิดใช้ใช้งานเป็นวงกว้างนัก ขณะที่ Gemini Advanced ก็ตามมาอยู่อันดับ 4 ร่วมกับ Claude 3.5 Sonnet และ Llama 3.1 405B ซึ่งเป็นครั้งแรกๆ ที่โมเดลแบบโอเพนซอร์สขึ้นอันดับสูงขนาดนี้

แม้ว่าอันดับรวมจะเป็นที่หนึ่ง แต่เมื่อแยกเฉพาะหัวข้อแล้วก็อาจจะมีอันดับต่างกันไป เช่น เมื่อพบคำถามยากๆ GPT-4o ยังชนะอยู่ หรือหากเป็นการเขียนโปรแกรม Claude 3.5 Sonnet ก็ยังเป็นที่หนึ่ง

Upwork แพลตฟอร์มจัดหางานออกรายงานสำรวจคนทำงานในองค์กร 2,500 คนตั้งแต่ระดับบริหาร, พนักงาน, ไปจนถึงฟรีแลนซ์ ถึงการใช้เครื่องมือ AI ในการทำงาน พบว่าผู้บริหารตื่นเต้นกับ AI และสร้างความคาดหวังกับตัวพนักงานว่าจะต้องสามารถทำงานได้เพิ่มขึ้นขณะที่ตัวพนักงานนั้นอาจจะไม่ได้พร้อมใช้งานเครื่องมือเหล่านั้น และหลายครั้งการใส่เครื่องมือเข้ามาก็ทำให้ทำงานยากกว่าเดิม

ความคาดหวังสูงสุดของผู้บริหารต่อพนักงานคือการใช้ AI เพื่อเพิ่มประสิทธิภาพการทำงาน (37%) เมื่อมองฝั่งพนักงานแล้วกลับพบอาการ burn-out จากความพยายามทำตามความคาดหวังขององค์กร และผู้บริหารส่วนใหญ่ (69%) ก็รู้ว่าพนักงานทำงานตามที่คาดหวังได้ลำบาก

กูเกิลปล่อยโมเดล LLM Gemma 2 2B โมเดลขนาดเล็กเพื่อการรันบนอุปกรณ์โดยตรง ชูความสามารถที่เหนือกว่า GPT-3.5 นับว่าเป็นโมเดลที่ประสิทธิภาพดีที่สุดในขนาดใกล้เคียงกัน

โมเดลนี้ฝึกด้วยชุดข้อมูลขนาด 2 ล้านล้านโทเค็น ด้วยข้อมูลเว็บ, โค้ด, และข้อมูลคณิตศาสตร์ นับว่าชุดข้อมูลเล็กกว่าโมเดลขนาดใหญ่กว่ามาก ผลที่ได้คือคะแนนทดสอบ เช่น MMLU อยู่ที่ 51.3 ต่ำกว่าโมเดลขนาดใหญ่ค่อนข้างมาก หรือชุดทดสอบเขียนโค้ด HumanEval อยู่ที่ 17.7 เท่านั้น อย่างไรก็ดีผลทดสอบใน Chatbot Arena ที่ทดสอบด้วยผู้ใช้งานจริงนั้นกลับได้คะแนนดีมาก เอาชนะได้ทั้ง GPT-3.5 หรือ ChatGPT ตัวแรก, Mixtral 8x7B ที่มีขนาดใหญ่, หรือ Llama 2 70B

StackOverflow ออกรายงานสำรวจนักพัฒนากว่า 65,000 คนในปี 2024 โดยปีนี้มีหมวดการสำรวจด้านปัญญาประดิษฐ์โดยเฉพาะ พบว่าอัตราการใช้งาน AI ช่วยเขียนโค้ดเพิ่มขึ้นอย่างรวดเร็วเป็น 62% มี 14% วางแผนว่าจะใช้งานเร็วๆ นี้ เทียบกับปีที่แล้วที่มีคนใช้ 44% โดยส่วนใหญ่ยังพึงพอใจกับการใช้งานอยู่

นักพัฒนาที่ใช้งาน AI เขียนโค้ดระบุข้อดีของการใช้ AI ว่าเพิ่มประสิทธิภาพการทำงานขึ้น (81%) และสามารถเรียนรู้เทคโนโลยีได้เร็วขึ้น (62%) แต่เมื่อถามถึงความไว้ใจใน AI ส่วนใหญ่อยู่กลางๆ กลุ่มไว้ใจมากมีเพียง 2.7% เท่านั้น เมื่อถามถึงประสิทธิภาพของ AI ในการเขียนโค้ดส่วนใหญ่ยังให้ความเห็นกลางๆ ว่า AI รองรับโจทย์ซับซ้อนได้พอสมควรแต่มีเพียงส่วนน้อย (3.3%) ที่ระบุว่ารองรับงานที่ซับซ้อนได้ดี

OpenAI เปิดตัวบริการค้นหาหรือเสิร์ชพลัง AI ในชื่อ SearchGPT โดยระบุว่าเป็นเสิร์ชเอ็นจินที่ค้นหาและให้ข้อมูลแบบเรียลไทม์ได้จากบนอินเทอร์เน็ต สถานะของบริการตอนนี้เป็นต้นแบบ (Prototype) ทดสอบกับผู้ใช้งานจำนวนจำกัด หากสนใจต้องลงชื่อเป็น waitlist

คล้อยหลังการเปิดตัวโมเดล Mistral NeMo 12B รุ่นเล็กเพียงไม่กี่วัน ทาง Mistral AI ก็เปิดตัวโมเดลขนาดใหญ่ระดับเรือธง Mistral Large 2 ขนาดพารามิเตอร์ 123B เป็นเวอร์ชันอัพเกรดของ Mistral Large 1 ที่ออกเมื่อต้นปี 2024

สิ่งที่เพิ่มเข้ามาคือการขยายขนาด context window จาก 32K เป็น 128K, รองรับภาษาอื่นๆ ที่ไม่ใช่ภาษาตระกูลละติน ได้แก่ อารบิก ฮินดี จีน ญี่ปุ่น เกาหลี, รองรับภาษาโปรแกรมมิ่งอีกกว่า 80 ภาษา

หลังจากเมื่อคืนที่ผ่านมา Meta เปิดตัว Llama 3.1 โมเดลปัญญาประดิษฐ์ บรรดาคลาวด์รายเล็กและรายใหญ่ก็ประกาศเปิดบริการ Llama 3.1 โดยพร้อมเพรียงกัน โดยบริการที่ครบถ้วนที่สุดคือ Microsoft Azure เปิดให้บริการพร้อมกับประกาศราคาออกมาพร้อมกันทั้งสามขนาด Google Cloud นั้นเปิดให้ใช้งานโมเดล 405B แล้วแต่ยังไม่ประกาศราคา ขณะที่ AWS นั้นประกาศราคาเฉพาะรุ่น 70B และ 8B โดยรุ่น 405B ต้องเปิดเคสขอใช้งาน

Meta ปล่อยโมเดล Llama 3.1 โมเดล LLM รุ่นล่าสุดที่รีดความสามารถได้สูงขึ้นมาก พร้อมกับปล่อยโมเดลขนาดใหญ่ที่สุด 405B ความสามารถจากการทดสอบหลายอย่างไปอยู่ระดับเดียวกับ GPT-4o แล้ว แม้ว่ายังไม่มีความสามารถ multimodal ที่รองรับภาพและเสียงได้ก็ตาม

ผลทดสอบหลายด้านของ Llama 3.1 แสดงให้เห็นว่าทาง Meta ยังรีดความสามารถในโมเดลขนาดเล็กได้เพิ่มขึ้นเรื่อยๆ โดยผลทดสอบหลายชุด Llama 3.1 8B สามารถทำคะแนนได้ใกล้ Llama 3.0 70B มากขึ้น ขณะที่ Llama 3.1 70B นั้นทำคะแนนเพิ่มเติมได้แทบทุกชุดยกเว้นบ้างเช่นชุดทดสอบเขียนโปรแกรม HumanEval ที่คะแนนลดลง

Proton เปิดตัวบริการใหม่ Proton Scribe ตัวช่วยเขียนอีเมลสำหรับ Proton Mail พลัง AI ที่ชูจุดเด่นเรื่องความเป็นส่วนตัวของผู้ใช้งาน เพราะตัวช่วยนี้รันโลคอลบนเครื่อง ไม่มีการส่งข้อมูลไปยัง 3rd Party และไม่นำข้อมูลอีเมลของผู้ใช้งานมาเทรนด้วย

Proton Scribe มีตัวช่วยในการเขียนอีเมลแบบเครื่องมือ AI อื่นทั้ง ตรวจคำสะกด ตรวจไวยากรณ์ ปรับระดับเนื้อหาของอีเมล ผู้ใช้งานสามารถปรับแต่งค่าได้ตามที่ต้องการ

เครื่องมือ Proton Scribe เปิดให้ใช้งานแล้วสำหรับลูกค้า Mail Essentials, Mail Professional และ Proton Business Suite

ที่มา: Proton

ไมโครซอฟท์ร่วมมือกับ OpenAI เปิดให้องค์กรธุรกิจใช้งาน GPT-4o mini ใหม่ใน Azure AI แล้ว

GPT-4o mini เป็นโมเดลขนาดเล็กรุ่นใหม่ที่ชาญฉลาด เร็วขึ้น และราคาไม่แพง ซึ่ง OpenAI เพิ่งประกาศเปิดตัววันนี้ โดยผสานรวมความสามารถด้านข้อความและการมองเห็น (เสียงและวิดีโอจะตามมาในภายหลัง)

Mistral AI บริษัทปัญญาประดิษฐ์จากฝรั่งเศส เปิดตัวโมเดลภาษาเวอร์ชันใหม่ Mistral NeMo 12B ขนาด 12 พันล้านพารามิเตอร์ รองรับ context window ขนาดใหญ่ถึง 128K (โมเดลระดับเดียวกันรองรับ 8k) และสามารถนำมาใช้แทน Mistral 7B ตัวเดิมได้เลย (drop-in replacement)

Mistral NeMo 12B ออกแบบมาให้รองรับหลายภาษาตั้งแต่แรก โดยทำผลงานได้ดีในภาษาอังกฤษ ฝรั่งเศส เยอรมัน สเปน อิตาลี โปรตุเกส จีน ญี่ปุ่น เกาหลี อารบิก ฮินดี ผลการรันสามารถเอาชนะได้ทั้ง Llama 3 8B และ Gemma 2 9B ในเกือบทุกชุดทดสอบ

OpenAI เปิดตัว GPT-4o mini โมเดลปัญญาประดิษฐ์ขนาดเล็กสำหรับนักพัฒนาที่ระบุว่า มีประสิทธิภาพเทียบกับต้นทุน (Cost-Efficient) คุ้มค่าที่สุดของ OpenAI ซึ่งน่าจะทำให้ต้นทุนสำหรับแอพพลิเคชัน AI ต่าง ๆ สามารถเข้าถึงได้มากขึ้น โดยยังได้ประสิทธิภาพที่สูง

GPT-4o mini คิดค่าบริการที่ 15 เซนต์ต่อ 1 ล้านอินพุทโทเค็น และ 60 เซนต์ต่อ 1 ล้านเอาท์พุทโทเค็น ถูกกว่า GPT-3.5 Turbo 60% ในตอนนี้รองรับ API ส่วน text และ vision โดยจะรองรับข้อมูลรวมตั้งแต่ text, image, video และ audio ในอนาคต เอาท์พุทรองรับสูงสุด 16k โทเค็นต่อรีเควส ข้อมูลปรับปรุงถึงตุลาคม 2023

Meta เปิดเผยว่าบริษัทมีแผนออกโมเดลปัญญาประดิษฐ์ Llama ที่รองรับข้อมูลผสมผสาน (Multimodal) ในอีกไม่กี่เดือนข้างหน้า แต่ประเด็นสำคัญนั้น Meta บอกว่าโมเดล Llama ตัวใหม่นี้จะไม่เผยแพร่ให้กับผู้ใช้งานในกลุ่มประเทศสหภาพยุโรปหรือ EU

โดยเหตุผลที่ Meta ตัดสินใจเช่นนั้นเป็นเพราะ Meta มองว่าทิศทางของหน่วยงานกำกับดูแลของ EU มีลักษณะที่คาดเดาได้ยาก จึงเลือกไม่เผยแพร่โมเดลไปเลยดีกว่า

OpenAI เผยแพร่งานวิจัยในการพัฒนาอัลกอริทึม เพื่อทำให้โมเดล AI ภาษาขนาดใหญ่หรือ LLM พัฒนาความสามารถในการอธิบายสิ่งต่าง ๆ ให้คนอื่นเข้าใจได้ดีขึ้น เรียกวิธีการนี้ว่า Prover-Verifier Games

การทำงานนั้นผู้วิจัยใช้โมเดล AI สองโมเดล โมเดลหนึ่งมีประสิทธิภาพสูงกว่าเป็น Prover หรือคนอธิบายคำตอบ และโมเดลที่ประสิทธิภาพน้อยกว่าเป็น Verifier ทำหน้าตรวจสอบความถูกต้องของคำตอบที่ได้รับ หน้าที่ของ Prover คือให้คำตอบที่ทำให้อีกฝ่ายเชื่อว่าถูกต้องที่สุด ส่วน Verifier ต้องตอบว่าคำตอบที่ได้นั้นถูกต้องหรือไม่ ซึ่งหลายกรณีเป็นคำตอบที่มั่ว แต่ Prover ใช้คำอธิบายทำให้ไขว้เขว

Anthropic บริษัทด้านปัญญาประดิษฐ์ผู้พัฒนา Claude เปิดตัวแอปบนระบบปฏิบัติ iOS สำหรับคนใช้ iPhone และ iPad นอกจากนี้ยังเปิดตัวแพ็คเกจจ่ายเงินสำหรับลูกค้าองค์กรด้วย

โดยแพ็คเกจสำหรับลูกค้าองค์กรมีชื่อว่า Team plan เพื่อเพิ่มการปกป้องข้อมูลและความปลอดภัยสำหรับองค์กรที่ต้

Anthropic เปิดตัวแอป Claude บน Android แล้ว หลังจากออกเวอร์ชัน iOS เมื่อเดือนพฤษภาคมที่ผ่านมา สามารถดาวน์โหลดได้ผ่าน Google Play

แอปสามารถใช้งานได้ฟรี และรองรับการเชื่อมต่อกับแผนเสียเงินที่ผู้ใช้งานสมัครไว้รวมทั้ง Pro และ Team

Mistral AI บริษัทปัญญาประดิษฐ์จากฝรั่งเศสเผยแพร่โมเดล LLM แบบโอเพนซอร์สสองโมเดลใหม่ สำหรับการแก้ปัญหาทางคณิตศาสตร์และการเขียนโค้ดโดยเฉพาะ

โมเดลแรกคือ Codestral Mamba ขนาด 7B พารามิเตอร์ ทำงานได้ดีสำหรับงานการเขียนโค้ด มีจุดเด่นรองรับการประมวลผลที่รวดเร็วสำหรับงานโค้ดที่รันบน local ผลทดสอบทำงานได้ดีกว่า LLM ทั่วไปเท่าตัว และดีกว่าโมเดลที่ออกแบบมาสำหรับงานเขียนโค้ดขนาดเท่ากันอย่าง CodeLlama 7B, CodeGemma-1.17B หรือ DeepSeek v1.5 7B

ทีมนักวิจัยของไมโครซอฟท์ เผยแพร่งานวิจัย SpreadsheetLLM โมเดล AI ที่ทำหน้าที่แปลงข้อมูลสเปรดชีท (Excel, Google Sheets) ให้เป็นฟอร์แมตที่ทำงานได้ดีบนโมเดลภาษาขนาดใหญ่ (LLM - Large Language Model) เพื่อให้ LLM เข้าใจเนื้อหาในสเปรดชีทได้ดีขึ้น และทำงานตรงกับสิ่งที่ต้องการ

เหตุผลที่ต้องพัฒนาเครื่องมือขึ้นมาเพื่อจัดการเฉพาะกับเอกสารสเปรดชีท เนื่องจากรูปแบบข้อมูลในสเปรดชีทมักมีการจัดโครงสร้างตามลักษณะเฉพาะที่ผู้ใช้งานต้องการ มีการเชื่อมโยงข้อมูลและใส่สูตรคำนวณที่บางกรณีก็ซับซ้อนมาก ไม่ได้เป็นตารางเรียบง่ายซึ่งกรณีนี้ LLM ส่วนใหญ่สามารถเข้าใจเนื้อหาได้อยู่แล้ว

DAMO Academy สถาบันวิจัยของ Alibaba เปิดตัว SeaLLM เวอร์ชั่นที่ 3 เป็นโมเดล LLM เน้นความสามารถในภาษาแถบอาเซียนสูงกว่าโมเดลในขนาดใกล้เคียงกันตัวอื่นๆ แถมยังเอาชนะ Qwen2 ของ Alibaba Cloud ไปได้

กระบวนการทดสอบ SeaLLM3 อาศัยชุดทดสอบ M3Exam ที่เป็นข้อสอบหลายภาษา และ SeaBench สำหรับการทดสอบการทำตามคำสั่งของ DAMO เอง เมื่อดูผลแยกรายภาษาพบว่าในภาษาไทย SeaLLM3 ได้คะแนน M3Exam สูงกว่า Qwen2-7B-Instruct เล็กน้อย และคะแนน SeaBench ในภาษาไทยสูงกว่า Qwen2 ชัดเจน นอกจากนี้เมื่อทดสอบความสามารถในการแปลภาษาด้วยชุดข้อมูล Flores-200 ก็พบว่า SeaLLM3 แปลภาษาไทยได้ดีกว่าโมเดลเดิมๆ อย่าง Llama 3 และ Qwen2 ชัดเจน

มีงานวิจัยจากคณะนักวิจัยชาวจีน ทดลองนำ ChatGPT ไปทำโจทย์โปรแกรมมิ่งจำนวน 728 ข้อ ที่เขียนด้วยภาษาโปรแกรมยอดนิยม 5 ภาษา (C, C++, Java, Python, JavaScript) รวมถึงวิเคราะห์ช่องโหว่ CWE จำนวน 18 ช่องโหว่ แล้วมาประเมินว่าได้ผลลัพธ์ดีแค่ไหน

จากการประเมินของทีมวิจัยพบว่า ChatGPT ทำผลลัพธ์ออกมาได้ค่อนข้างดี (fairly good) ทำโจทย์ระดับง่าย กลาง ยาก ได้คะแนนผ่าน 89%, 71%, 40% ตามลำดับ

อย่างไรก็ตาม จุดอ่อนของ ChatGPT คือทำโจทย์ที่เกิดขึ้นหลังปี 2021 ไม่ค่อยได้ โดยหลายครั้งถึงขั้นไม่เข้าใจคำถามเลยด้วยซ้ำ แม้ว่าเป็นคำถามระดับง่ายก็ตาม อัตราทำโจทย์สำเร็จระดับง่ายลดเหลือ 52% และอัตราทำโจทย์ระดับยากเหลือ 0.66%

สถาบันวิทยสิริเมธี หรือ VISTEC ประกาศปล่อยชุดข้อมูล WangchanThaiInstruct สำหรับทำ fine-tuning โมเดล LLM ชุดแรก โดยรวม 5,014 ชุด ครอบคลุมทั้งหัวข้อทางการแพทย์, การเงิน, การค้า, และกฎหมาย เป็นชุดข้อมูลที่สร้างโดยมนุษย์ทั้งหมด (human-annotated) พร้อมกับเปิดให้ใช้งานได้เสรีแบบ CC-BY-SA 4.0

ชุดข้อมูลแยกงาน 7 ประเภท ได้แก่ การสรุปข้อความ, ตอบคำถามจากข้อมูลที่ให้ไป, ตอบคำถามจากความรู้ที่รู้อยู่ก่อน, จัดหมวดหมู่ข้อมูล, งานเขียนแบบสร้างสรรค์, การระดมความคิด, และการเลือกคำตอบจากตัวเลือก ชุดคำถามนี้อาศัยผู้เชี่ยวชาญเฉพาะทาง ได้แก่ InnovestX, SCB10X, คณะนิติศาสตร์ มหาวิทยาลัยธรรมศาสตร์, และมหาวิทยาลัยมหิดล

คาดว่าจะเพิ่มชุดข้อมูลทุกเดือนจนครบ 40,000 รายการ

Hugging Face เผยแพร่ผลการจัดอันดับ LLM leaderboard ครั้งที่สอง โดยนำโมเดล LLM แบบเปิด (open large language model) มาทดสอบในการทำงานด้านต่าง ๆ

การทดสอบของ Hugging Face สนใจใน 4 งานได้แก่ วัดความรู้, ให้เหตุผลจากเนื้อหาขนาดยาวมาก, การคำนวณคณิตศาสตร์ที่ซับซ้อน และการอธิบายวิธีการขั้นตอน โดยใช้ตัววัดผล 6 อย่าง ได้แก่ MMLU-Pro, GPQA, MuSR, MATH, IFEval และ BBH

ผลการทดสอบรวม โมเดล Qwen2-72B-Instruct ของ Qwen จาก Alibaba ได้คะแนนรวมอันดับ 1 ตามด้วย Meta-Llama-3-70B-Instruct ของ meta-llama จาก Meta เป็นอันดับที่ 2 และ Qwen/Qwen2-72B ของ Qwen เช่นกัน อยู่ในอันดับที่ 3 นอกจากนี้ Qwen ยังติดอันดับที่ 10 และ 11 ด้วย (Qwen/Qwen1.5-110B และ Qwen/Qwen1.5-110B-Chat)

Gemini API ประกาศเพิ่มฟีเจอร์สำคัญคือการโค้ด Python ในตัวหากผู้ใช้ส่งคำถามที่ต้องการการคำนวณผล เช่น การนับคำหรือการบวกเลขจากตาราง

ผู้ใช้ API สามารถเลือกเปิดฟีเจอร์ code execution ได้เองขณะเรียก API เมื่อคำถามต้องการการคำนวณผ่านโค้ด Gemini จะสร้างโค้ดขึ้นมาและส่งไปรันบนเซิร์ฟเวอร์ของกูเกิลเอง แล้วนำข้อความสุดท้ายกลับมาตอบกลับผู้ใช้

Python ที่กูเกิลเตรียมบนเซิร์ฟเวอร์ให้มี NumPy และ SymPy ติดตั้งไว้ให้แต่ไม่สามารถติดตั้งโมดูลอื่นๆ เพิ่มเติมลงไปได้

กูเกิลเปิดให้นักพัฒนาทั่วไปใช้งานโมเดล Gemini 1.5 Pro ความยาวอินพุต 2 ล้านโทเคน ที่เปิดตัวในงาน Google I/O 2024 เมื่อเดือนพฤษภาคม

กูเกิลปล่อยโมเดลปัญญาประดิษฐ์ LLM Gemma 2 ที่ประกาศในงาน Google I/O ที่ผ่านมา โดยมีสองขนาดให้เลือกใช้ คือ 9B และ 27B เน้นความฉลาดเพิ่มขึ้น, ความเร็วในการทำงานดีขึ้น, และฝึกให้ตอบอย่างปลอดภัย

รายงานการทดสอบ Gemma 2 บน Chatbot Arena แสดงให้เห็นว่าประสิทธิภาพตัว 27B นั้นแซงหน้า Gemini 1.0 Pro ไปเสียอีก (แม้ค่าจะแกว่งมาก เพราะจำนวนการทดสอบไม่มากพอ) ขณะที่รุ่น 9B นั้นก็มีคะแนนเฉลี่ยแซงหน้า Claude 3 Haiku ทีเดียว