OpenAI ประกาศเพิ่มทางเลือกสำหรับนักพัฒนา โดยให้ส่วนลด 50% หากเลือกรันงานในช่วงเวลาที่โหลดของระบบไม่สูง (off-peak)

วิธีการดังกล่าวเรียกว่า Batch API นักพัฒนาสามารถอัปโหลดไฟล์หรือชุดคิวรีไปยังโมเดล AI เหมาะสำหรับงานที่ไม่ต้องการผลลัพธ์เพื่อใช้งานต่อทันที (async) เช่น ทำสรุปเนื้อหา, จำแนกข้อมูล หรือใส่ป้ายกำกับรูปภาพ โดย OpenAI บอกว่านักพัฒนาจะได้ผลลัพธ์ภายใน 24 ชั่วโมง หรือเร็วกว่านั้น เมื่อทรัพยากรมีเหลือพอให้รัน

Batch API นอกจากได้ส่วนลดแล้ว ยังให้อัตราจำกัดที่สูงกว่า เช่น 250M โทเค็น สำหรับ GPT-4T

ที่มา: The Verge

Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification).Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API prices: https://t.co/ls8DjR6qA9 pic.twitter.com/3W1GHijV3S

— OpenAI Developers (@OpenAIDevs) April 15, 2024