กูเกิลเปิดให้นักพัฒนาทั่วไปใช้งานโมเดล Gemini 1.5 Pro ความยาวอินพุต 2 ล้านโทเคน ที่เปิดตัวในงาน Google I/O 2024 เมื่อเดือนพฤษภาคม

การที่ความยาวอินพุต (context window) ใหญ่ขึ้นมาก ทำให้เราสามารถป้อนข้อมูลที่ซับซ้อน เช่น หนังสือทั้งเล่ม หรือไฟล์เอกสารจำนวนมากขององค์กร เข้าไปให้โมเดลช่วยประมวลผลได้เยอะขึ้น (ตัวอย่างการใช้งานคือการสร้างฐานความรู้ขององค์กร เพื่อให้พนักงานเข้ามาสอบถามจากบ็อทได้) อย่างไรก็ตาม สิ่งที่ต้องแลกมาคือค่าใช้จ่ายที่เพิ่มขึ้นจากอินพุตที่ยาวขึ้น ทำให้กูเกิลเพิ่มตัวช่วยคือ context caching เข้ามาใน Gemini API (รองรับทั้ง Gemini 1.5 Pro และ 1.5 Flash) เพื่อลดจำนวนอินพุตที่ซ้ำซ้อนลง อินพุตที่ถูกแคชไว้แล้วจะตั้งราคาถูกกว่าอินพุตใหม่ โดยนักพัฒนาสามารถตั้งค่าจำนวนโทเคนที่ต้องการแคช และระยะเวลาที่ต้องการแคชได้เอง

ตัวอย่างราคาบนหน้าเว็บ Gemini API

• อินพุตปกติ = 3.5 ดอลลาร์ต่อ 1 ล้านโทเคน (พรอมต์ยาวไม่เกิน 128K)
• อินพุตแคช = 0.875 ดอลลาร์ต่อ 1 ล้านโทเคน (พรอมต์ยาวไม่เกิน 128K)

ที่มา - Google