Quickwit ซอฟต์แวร์ search engine แบบโอเพนซอร์สที่สร้างโดยสตาร์ตอัพจากญี่ปุ่นรายงานถึง Binance ตลาดซื้อขายคริปโตรายใหญ่สามารถย้ายระบบเก็บ log ออกจาก Elasticsearch มายัง Quickwit สำเร็จ หลังจากทีมงานของ Binance มาพบ Quickwit เพียงหกเดือนก่อนเท่านั้น

แอปพลิเคชั่นของ Binance มีอัตราการยิง log ถึง 21 ล้านบรรทัดต่อวินาที คิดเป็นขนาดข้อมูล 1.6PB ต่อวัน เดิมใช้ Vector จำนวน 600 ตัวดึง log จาก Kafka มายิงลง Elasticsearch จำนวน 20 คลัสเตอร์ ทีมงานพบปัญหาว่าการดูแลคลัสเตอร์ Elasticsearch จำนวนมากเช่นนี้ยุ่งยาก, ต้องใช้สตอเรจขนาดใหญ่, และไม่สามารถทำ replication ได้เพราะติดข้อจำกัดการรับข้อมูลขาเข้าปริมาณมาก

ทีมงานเลือก Quickwit เพราะดึง log จาก Kafka ได้โดยตรง, รองรับภาษา VRL ทำให้แปลงข้อมูลใน log ได้ในตัว, บีบอัดข้อมูลได้, และใช้บริการ object storage ในการเก็บข้อมูลทำให้ไม่ต้องจัดการคลัสเตอร์สตอเรจเอง

หลังจากเลือกได้แล้วทีมงานก็เริ่มทดสอบโดยตั้ง Quickwit ดึงข้อมูลระดับหลายกิกะไบต์ต่อวินาที และพบปัญหาระบบไม่เสถียรเพราะโปรโตคอลในคลัสเตอร์รองรับการทำงานของ indexer ที่รับข้อมูลขาเข้าระดับหลายร้อย pod ไม่ไหว ทีมงานอาศัยการแยกคลัสเตอร์ indexer ออกเป็นราย topic จำนวน 10 คลัสเตอร์ และก็พบว่าสามารถรับ log ครบ 1.6PB ต่อวันได้ด้วย 700 pod รวม 2,800 vCPU สำหรับฝั่งค้นข้อมูล ทาง Binance ใช้ PostgreSQL 10 คลัสเตอร์แยกตามคลัสเตอร์ของ indexer แล้วเอาฐานข้อมูลมารวมกันในคลัสเตอร์เดียวภายหลัง จากนั้นจึงใช้คลัสเตอร์ searcher มาหาข้อมูล

โดยรวมแล้วทาง Binance ใช้ซีพียูน้อยลงกว่า Elasticsearch ถึง 5 เท่าตัว ขณะที่ใช้สตอเรจลดลง 20 เท่า แต่หลังจากนี้เตรียมจะขยายระยะเวลาเก็บ log เพิ่มเติม

ทาง Quickwit ระบุว่ากำลังวางแผนพัฒนาการบีบอัดข้อมูลเพิ่มเติมไปจนถึงการจัดการคลัสเตอร์หลายคลัสเตอร์พร้อมกันแบบกรณีนี้

ที่มา - Quickwit