กูเกิลเพิ่มบริการด้าน LLM ตัวใหม่ คือ Vertex AI Agent Builder สำหรับการพัฒนาบริการจาก LLM โดยไม่ต้องเขียนโค้ดเองโดยตรง (ยกเว้นส่วนที่เป็น integration กับภายนอก)

บริการนี้รวมเอาความสามารถหลายตัว ได้แก่

• การทำ data store รวมเอกสารที่จะใช้งาน เป็นบริการเฉพาะในชื่อ Vertex AI Search
• ทำ function calling โดยใส่สเปค Open API และคำอธิบาย
• ระบบตรวจสอบคำตอบ (grounding)
• ระบบทดสอบคำตอบสุดท้ายของ Agent
• data connector เชื่อมบริการภายนอก เช่น ServiceNow, Salesforce

ตัว Vertex AI Search นั้นเป็น Retrieval Augmented Generation (RAG) สำเร็จรูปที่ประกอบความสามารถหลายอย่างมาพร้อมใช้งานแล้ว แต่รอบนี้กูเกิลเปิดฟีเจอร์ภายในออกมาให้ใช้แยกด้วย ได้แก่

• Grounding API: สำหรับตรวจคำตอบว่าตรงกับที่มาข้อมูลหรือไม่ หรือหากมีที่มาหลายชุดก็บอกได้ว่าตรงกับชุดไหน
• Ranking API: สำหรับจัดอันดับข้อมูลที่ตรงกับคำถาม แม่นยำกว่าการใช้ vector search อย่างเดียว แต่เหมาะกับข้อมูลจำนวนน้อยกว่า
• Document AI Layout Parser: บริการแปลงเอกสารให้อยู่ในรูปที่ LLM อ่านได้ง่าย ลบหัวกระดาษ/ท้ายกระดาษออก จัดหน้าใหม่
• Grounded Generation API: สร้างคำตอบจากคำถามและที่มาข้อมูลที่ให้มา

สำหรับคนที่ต้องการปรับแต่งละเอียดกว่านี้ยังสามารถใช้งาน LangChain on Vertex AI ได้อีกระดับ

ที่มา - Google Cloud Blog