Anthropic เปิดตัว Message Batches API ให้นักพัฒนาสามารถส่งข้อความคิวรีเป็นก้อน (สูงสุด 10,000 คิวรีต่อแบตช์) เพื่อให้ราคาค่าใช้งานโมเดล Claude ถูกลงได้ถึง 50% จากการเรียกใช้ Standard API ปกติ

การส่งคิวรีไปยัง Claude ผ่าน Message Batches API จะไม่ประมวลผลให้ทันที (รอตามความว่างของเซิร์ฟเวอร์) แต่การันตีได้ผลกลับมาภายใน 24 ชั่วโมง (ในทางปฏิบัติย่อมเร็วกว่านั้น) จึงเหมาะกับงานที่ไม่ต้องการคำตอบแบบเรียลไทม์ สามารถรอได้ ช่วยประหยัดค่าใช้จ่ายได้มากกว่า

Message Batches API ใช้ได้กับ Claude 3.5 Sonnet, Claude 3 Opus, Claude 3 Haiku เรียกใช้ได้แล้วผ่าน Anthropic API, Amazon Bedrock และอีกสักพักจะตามมาบน Google Cloud Vertex AI

ที่มา - Anthropic