LMSYS ผู้จัดอันดับแชตบอทโดยอาศัย Chatbot Arena เป็นการ "ต่อสู้" ระหว่างแชตบอทสองตัวให้ตอบคำถามเดียวกันแล้วให้ผู้ใช้เลือกว่าชอบคำตอบฝั่งใด รายงานผลรอบล่าสุดวันที่ 26 มกราคม 2024 และพบว่า Bard รุ่นที่ใช้ Gemini Pro นั้นแซงหน้า GPT-4 ขึ้นมาเป็นรองเพียง GPT-4 Turbo เท่านั้น

กูเกิลเปิดตัว Gemini โดยระบุว่าทดสอบวงปิดกับผู้ทดอบแล้วว่า Bard รุ่นใหม่นี้เป็นแชตบอทฟรีที่คุณภาพสูงสุดในตลาด ผลการทดลองนี้ก็ดูจะสนับสนุนว่า Gemini ให้ผลโดยรวมที่ดีในภาพรวมจริงๆ

ตัว Bard ได้คะแนนดีกว่า Gemini Pro ผ่าน API พอสมควรแต่ LMSYS ไม่ได้ทดสอบให้ Bard แข่งกันเองกับ Gemini Pro ความต่างกันเช่นนี้เป็นไปเพราะแม้กูเกิลจะระบุว่าภายใน Bard ใช้ Gemini แต่ก็ปรับแต่งโมเดลไปบ้าง ตลอดจนอาจจะอัพเดตโมเดลไประหว่างทาง ขณะที่ฝั่งที่ให้บริการ API นั้นมักจะอัพเดตโมเดลเป็นรอบๆ โดยแจ้งนักพัฒนาล่วงหน้า

ที่มา - LMSYS