กูเกิลและ OpenAI ผลัดกันชิงอันดับหนึ่งบนการจัดอันดับ Chatbot Arena ของ LMSys โดยสัปดาห์ที่ผ่านมานับเป็นช่วงที่แข่งกันดุเดือดเป็นพิเศษเพราะเอาชนะสลับกันหลายรอบในสัปดาห์เดียว
การแข่งขันรอบนี้เริ่มจากกูเกิลปล่อย API เวอร์ชั่นพิเศษ Gemini-Exp-1114 ที่เปิดให้ใช้งานเฉพาะใน AI Studio เท่านั้น โมเดลเวอร์ชั่นนี้เอาชนะโมเดลราคาแพงของ OpenAI อย่าง o1-preview และ o1-mini ไปได้ แต่หลังจากนั้น OpenAI ก็ปล่อยโมเดล ChatGPT-4o-latest เวอร์ชั่น 20 พฤศจิกายนออกมา เอาชนะ Gemini กลับไปได้อีกครั้ง แต่ชนะได้เพียงวันเดียวกูเกิลก็ปล่อย Gemini-Exp-1121 ออกมาอีกรอบ และทำคะแนนเอาชนะ ChatGPT-4o ตัวล่าสุดไปได้อีกครั้ง
เนื่องจากโมเดลเพิ่งปล่อยลงสนามทดสอบไม่นาน จำนวนครั้งที่โหวตของ Gemini-Exp-1121 มีเพียงไม่ถึงห้าพันครั้ง กรอบความมั่นใจ 95% ของคะแนนก็ยังกว้างมากในช่วง +7/-9 แต่ภาพรวมตอนนี้หัวตารางก็เป็นการแข่งขันระหว่างกูเกิลและ OpenAI สองบริษัท
ในตารางยังมีโมเดลอื่นๆ ที่น่าสนใจเข้ามาอยู่ใน 10 อันดับแรก เช่น Grok-2-08-13 ที่ขึ้นมาอันดับ ร่วมกับ Yi-Lightning, GPT-4o, และ Claude 3.5 Sonnet
ที่มา - LM Arena
Comments
สนุกมาก ขิงกันไป กำไรผู้บริโภค
แต่ทำไมผมใช้ Gemini Advanced แล้วรู้สึกบางทีคุยกันไม่รู้เรื่อง ถามอะไรไปก็ตอบได้บ้างไม่ได้บ้าง บางอย่างกำหนดไปชัดเจนใน Gem ก็ยังไม่ยอมทำตามที่กำหนด ไม่รู้ว่าผมพลาดอะไรหรือ Gemini มันเป็นแบบนี้ของมันอยู่แล้ว
สิ่งดีสุดเทียบกับตัวเสียเงินตัวอื่นคือ จ่ายเท่ากันแชร์ในครอบครัวได้ ได้พื้นที่ใช้งานอีก 2TB
ถ้าคุณถามอะไรที่ค่อนข้างเป็นปัจจุบันข้อมูลมีความแปรปรวนอยู่เรื่อยๆ มันก็ประมาณนั้นล่ะ แต่ถ้าเป็นความรู้ที่คงที่แล้ว บริบทการนำเสนอไม่ค่อยต่างกันและมีการยอมรับมาเป็นเวลานานแล้วจะแม่นยำ ทั้งหมดเป็นไปตามหลักสถิติ จุดแข็งของ LLM ไม่ใช่เรื่องการค้นหา แต่มันดันทำรายได้นี่สิทำให้ผู้ผลิตมักบิด และโฆษณาเรื่องนี้เป็นจุดขายหลัก ทั้งที่จริงๆ แล้วจุดแข็งของ LLM คือ การแยกองค์ประกอบทางภาษาเพื่อให้เราเอา parameter ไปใช้งานต่อได้
ระบบพวกนี้จะแบ่งเป็น 2 ส่วน คือ ส่วนแยกพารามิเตอร์ และส่วนค้นหา ส่วนแยก Parameter นั่นแหล่ะ LLM ส่วนระบบค้นหาก็ทำงานตาม Algorithm ค้นหาของแต่ละบริษัทโดยนำพารามิเตอร์และความสัมพันธ์ทางภาษามาช่วยในการค้นหา ดังนั้นถ้ามันค้นหายังไม่ตรงก็อาจเป็นเรื่องการทำ index ของระบบค้นหายังทำได้ไม่ครอบคลุม
นึกว่าผมคิดไปคนเดียวซะอีก
ผมเสียเงินใช้ Gemini Advanced แต่คำตอบที่ได้รู้สึกยังแปร่งๆไปนิด ทั้งๆที่ไม่ได้ถามข้อมูลปัจจุบัน
ให้ช่วย coding ช่วยดู format ของ JSON ช่วยดูการ interface ก็รู้สึกยังไม่ถึงระดับที่พอใจเท่าไหร่นะ
แต่ดีที่ได้ 2TB นี่แหละ แชร์กันทั้งบ้าน
ถ้าคุณจะให้มันหาพารามิเตอร์ คุณจะต้องสอนให้มันรู้จักก่อนว่า parameter ที่เป็นไปได้มีอะไรบ้าง เช่น
Prompt เพื่อตั้งค่า :
ให้ระบุเพศของบุคคล โดยมีตัวเลือกดังต่อไปนี้ [เพศชาย,เพศหญิง] โดยผู้ใช้งานจะพิมพ์ข้อความทักทายเข้ามาโดยมีคำระบุเพศปนเข้ามาด้วย ถ้าเข้าใจให้ตอบว่า ใช่ ถ้าไม่เข้าใจตอบว่าไม่ใช่
ซึ่งถ้าคุณใช้รูปประโยคกำกวมมันจะตอบว่าไม่ใช่ทันที โดยเฉพาะประโยคที่ว่า "โดยผู้ใช้งานจะพิมพ์ข้อความทักทายเข้ามาโดยมีคำระบุเพศปนเข้ามาด้วย" เนื่องจากโดยทั่วไปประโยคมันไม่สามารถระบุเพศได้อยู่แล้ว แต่ถ้าคุณระบุให้ชัดไปเลยว่าข้อความที่เข้ามามีคำระบุเพศเสมอ มันก็จะสามารถจำแนกได้ จากประโยคกำหนดค่าเริ่มต้นดังกล่าว เมื่อคุณพิมพ์ ประโยคถัดไปว่า
"สวัสดีครับ"
มันก็จะตอบว่า "เพศชาย"
"สวัสดีค่ะ"
มันก็จะตอบว่า "เพศหญิง"
"สวัสดีคร้าบ"
มันก็จะตอบว่า "เพศชาย"
"สวัสดีจ้า"
มันจะตอบว่า "ระบุไม่ได้" หรือ "ไม่ใช่"
ซึ่งเราสามารถประยุครูปแบบเหล่านี้โดยการให้ส่งกลับคืนเป็น JSON เพื่อใช้งานต่อได้ แต่ก็ต้องอธิบายให้มันเข้าใจ ซึ่งจากที่ผมลอง พบว่ามันทำได้ในระดับที่พึงพอใจ เพียงแต่คุณจะต้องทดสอบ prompt ที่คุณจะใช้งานผ่าน AI Studio ก่อน แล้วจึงนำมาใช้งานจริงในการคัดกรองข้อมูลจำนวนมากอีกทีนึง เพื่อทดสอบความแปรปรวน อันนี้แค่ตัวอย่างง่ายๆ แต่คุณสามารถทำให้มันซับซ้อนได้มากกว่านี้อีกเยอะ ผมใช้มันแยกภาษาธรรมชาติเพื่อเอาข้อมูลไปบันทึกลง Database ได้ด้วยรูปแบบนี้แหล่ะ โดยไม่จำเป็นต้องมีแบบฟอร์มเลย เพียงแต่คุณจะต้องสอนพารามิเตอร์ที่มันจะปนมาในคำ และหากไม่พบก็ต้องให้ระบุกลับมาเลยว่าอะไรที่ไม่มีเพื่อให้เราถามกลับไปยังผู้ใช้ ถ้า parameter มันมีปริมาณมากก็ทำ fine tuning ไปเลย เพื่อให้ไม่ต้องเสียค่า token ในการสอนที่หัวประโยคทุกครั้ง ซึ่งทั้งหมดนี้คือ รูปแบบที่มันเหมาะกับ LLM แต่ถ้าถามแบบลอยๆ ไป มันก็จะได้คำตอบอย่างที่คุณได้มานั่นแหล่ะ
จากที่อ่านข้อความทั้งหมดของคุณในกระทู้นี้
ผมที่ใช้ ChatGPT แบบเสียเงิน
ไม่เคยมีปัญหานี้เลยนะ แต่ผมไม่เคยใช้ Gemini นะ
ตอนนี้ยัง Happy กับ ChatGPT อยู่
ให้มันช่วยเขียน Code เขียน Unit Test เป็นตัน
ผมได้ฟรีมาใช้ ยังไม่ใช้เลย ยอมไปใช้ตัวอื่น ไม่ไหว
Google เก่งเรื่องไล่ตาม ถ้ายังจำกันได้ ตอนเปิดตัว Bard คือแย่มาก แต่เรื่องไหนที่ Google นำไปเยอะๆจะหลงทางเพราะไม่มีคู่แข่งให้ตาม อย่าง Waymo ที่ไม่รู้ว่าจะมีโมเดลการทำเงินอย่างไรกันแน่
เงินล้วนๆ
Blognone = 138.1 news/w เยอะมากๆ
อำนาจเงินของ Grok จะไปได้อีกไหม ตอนนี้เจ้าของดูมีพาวเวอร์มากๆ
ทำไมเวลาใช้งานจริงผมคุยกับ Gemini ไม่ค่อยรู้เรื่อง ตอบไม่ค่อยตรงคำถาม ขณะที่ ChatGPT คือคุยโอเค อาจมีงง ๆ บ้าง ถ้าคำถามนั้นยาก แต่ก็พยายามตอบสนองให้ผมอ่านเข้าใจ