Ollama ซอฟต์แวร์สำหรับรันโมเดลปัญญาประดิษฐ์ในกลุ่ม LLM ปล่อยไลบรารีสำหรับพัฒนาแอปพลิเคชั่นบนภาษา Python และ JavaScript จากเดิมที่ต้องเขียน REST API โดยตรง

ไลบรารีทั้งสองตัวรองรับฟีเจอร์ของ Ollama ครบชุด ได้แก่ streaming สำหรับการคืนคำตอบทีละส่วน, multi-modal ใส่ภาพเป็นอินพุต, text completion สำหรับถามตอบปกติ, และ custom models สำหรับการกำหนด system prompt ด้วยตัวเอง

แนวทางการรัน LLM บนเครื่องไคลเอนต์เริ่มได้รับความสนใจมากขึ้นเรื่อยๆ เพราะไม่ต้องเสียค่าใช้จ่าย, คาดเดาระยะเวลารันได้แน่นอน, และโมเดลขนาดเล็กก็เริ่มมีประสิทธิภาพดีขึ้นในช่วงหลังๆ เช่น ไมโครซอฟท์เองก็เพิ่งปล่อยโมเดล Phi-2 ออกมา

ที่มา - Ollama