Anthropic ประกาศเพิ่มความสามารถ Prompt Caching สำหรับโมเดล Claude ให้กับนักพัฒนาเพื่อแคช Context ที่ถูกเรียกใช้ผ่าน Anthropic API บ่อย โดย Anthropic บอกว่าในคำตอบพื้นฐานหรือการให้ตัวอย่างผลลัพธ์นั้น สามารถลด Cost ได้สูงถึง 90% และลด Latency ได้ถึง 85% สำหรับ Prompt ที่มีขนาดยาว

ฟังก์ชัน Prompt Caching เริ่มใช้งานได้แล้วในสถานะพับลิกเบต้าบน Claude 3.5 Sonnet และ Claude 3 Haiku โดยจะรองรับ Claude 3 Opus เร็ว ๆ นี้

ตัวอย่างที่ Anthropic บอกว่า Prompt Caching สามารถช่วยลดต้นทุนได้ เช่น การตอบคำถามแบบ Q&A ที่มีข้อสรุปอยู่แล้ว, Prompt แนบเอกสารที่มีรูปภาพแทรกอยู่ซึ่งไปเพิ่ม Latency หรือระบบแชทบอตสนทนาที่มีการโต้ตอบยาว เพราะมีการอธิบายขั้นตอน หรือต้องให้ผู้ใช้งานอัปโหลดเอกสาร

ที่มา: Anthropic