AWS ยกโครงการ OpenSearch ที่แยกโครงการมาจาก Elasticsearch ไปให้ Linux Foundation ดูแล โดยตั้งเป็นโครงการ OpenSearch Software Foundation มีกรรมการดูแลโครงการเป็นของตัวเอง

แนวทางการยกโครงการให้หน่วยงานกลางดูแลเป็นแนวทางที่เพิ่มความมั่นใจว่าโครงการจะพัฒนาโดยดูชุมชนเป็นหลัก ไม่มีการเร่งบางฟีเจอร์หรือปิดกั้นบางฟีเจอร์ตามผลประโยชน์ขององค์กรที่ดูแลโครงการเป็นหลัก โดยการตั้งโครงการ OpenSearch Software Foundation ก็มีบริษัทประกาศเป็นสมาชิกทั้ง AWS, SAP, Uber, Canonical, Atlassian, DigitalOcean, Graylog แต่ไม่มีบริษัทที่ร่วมมาตั้งแต่ต้น เช่น Logz.io และ Red Hat

Vinted แพลตฟอร์มขายเสื้อผ้ามือสองออนไลน์รายงานถึงกระบวนการย้ายระบบค้นข้อมูล หลังจากใช้งาน Elasticsearch มาตั้งแต่ปี 2015 แม้จะใช้งานได้ดีมาหลายปีแต่ก็พบว่าถึงข้อจำกัดแล้ว ทำให้ตัดสินใจย้ายไปยัง Vespa ระบบค้นหาแบบโอเพนซอร์สอีกตัวหนี่ง โดยกระบวนการกินเวลานานเกือบหนึ่งปี

Quickwit ซอฟต์แวร์ search engine แบบโอเพนซอร์สที่สร้างโดยสตาร์ตอัพจากญี่ปุ่นรายงานถึง Binance ตลาดซื้อขายคริปโตรายใหญ่สามารถย้ายระบบเก็บ log ออกจาก Elasticsearch มายัง Quickwit สำเร็จ หลังจากทีมงานของ Binance มาพบ Quickwit เพียงหกเดือนก่อนเท่านั้น

แอปพลิเคชั่นของ Binance มีอัตราการยิง log ถึง 21 ล้านบรรทัดต่อวินาที คิดเป็นขนาดข้อมูล 1.6PB ต่อวัน เดิมใช้ Vector จำนวน 600 ตัวดึง log จาก Kafka มายิงลง Elasticsearch จำนวน 20 คลัสเตอร์ ทีมงานพบปัญหาว่าการดูแลคลัสเตอร์ Elasticsearch จำนวนมากเช่นนี้ยุ่งยาก, ต้องใช้สตอเรจขนาดใหญ่, และไม่สามารถทำ replication ได้เพราะติดข้อจำกัดการรับข้อมูลขาเข้าปริมาณมาก

ParadeDB ผู้สร้างดิสโทรของ PostgreSQL เปิดส่วนขยาย pg_bm25 สำหรับการสร้าง search engine ด้วย PostgreSQL โดยมีเป้าหมายคือการทดแทน Elasticsearch

pg_bm25 อาศัยการสร้าง index แบบ BM25 ที่สามารถหาเอกสารโดยไม่ได้เรียงลำดับแค่พบคำค้นหาเท่านั้น แต่ให้คะแนนจำนวนครั้งที่พบคำค้น, ให้ความสำคัญกับคำที่พบได้น้อยเป็นพิเศษ, ให้ความสำคัญกับเอกสารที่สั้นกว่า โดย Elasticsearch เองก็ใช้ BM25 ในการค้นเอกสารเช่นกัน

Elastic ผู้พัฒนาโครงการ Elasticsearch ประกาศลงนามข้อตกลงความร่วมมือเชิงยุทธศาสตร์ (global strategic collaboration agreement - SCA) กับ AWS โดยจะร่วมพัฒนาสินค้าต่างๆ ให้ทำงานร่วมกันได้ง่ายขึ้น

Cloudflare รายงานถึงการเปลี่ยนฐานข้อมูลสำหรับเก็บ log จากเดิมที่ใช้ Elasticsearch หันมาใช้ฐานข้อมูลแบบคอลัมน์ ClickHouse หลังจากพบข้อจำกัดของ Elasticsearch หลายอย่าง ได้แก่

Elastic Inc และ AWS มีปัญหากันมานานจากความไม่พอใจที่ AWS ตั้งชื่อบริการว่า Amazon Elasticsearch Service นำไปสู่การเปลี่ยนไลเซนส์ของ Elasticsearch จนทำให้ทุกวันนี้ไม่ถือว่าเป็นโครงการโอเพนซอร์สอีกต่อไป ล่าสุดทาง Elastic ก็ยุติคดีความเรื่องเครื่องหมายการค้าชื่อ Elasticsearch กับ AWS แล้ว

ข้อตกลงนี้ทำให้บริการต่างๆ ที่ขายโดย AWS เอง และผู้ให้บริการภายนอกที่ขายบน AWS Marketplace ต้องเปลี่ยนชื่อหลบ Elasticsearch ของ Elastic Inc ทั้งหมด

Elastic ออกอัพเดต Elasticsearch และ Logstash เวอร์ชัน 7.16.2 และ 6.8.22 แล้วเมื่อช่วงปลายเดือนธันวาคม โดยจุดสำคัญของเวอร์ชันนี้คืออัพเดต Apache Log4j เป็นเวอร์ชันใหม่เพื่อแก้ช่องโหว่ Log4Shell ที่เป็นข่าวในช่วงต้นเดือนธันวาคมที่ผ่านมา

สำหรับตัว Elasticsearch และ Logstash เวอร์ชัน 7.16.2 และ 6.8.22 มีอัพเดตแก้ไขดังนี้

ช่องโหว่ zero-day ของ log4j ที่ปล่อยออกมาล่าสุดนั้นได้เริ่มส่งผลกระทบเป็นวงกว้างเนื่องจากเป็นไลบรารีที่ได้รับความนิยมในภาษา Java และเป็นช่องโหว่ร้ายแรงทำให้ผู้พัฒนาโครงการหลายอย่างที่ใช้ Java ต้องวางแผนในการออกอัพเกรดซอฟต์แวร์เพื่อแก้ปัญหานี้ให้เร็วที่สุด

ล่าสุด Elastic ผู้พัฒนาซอฟต์แวร์ Elastic Stack ที่นิยมใช้ในงานมอนิเตอร์ได้ออกประกาศรายละเอียดผลกระทบของผลิตภัณฑ์แล้ว พร้อมคำแนะนำในการบรรเทาช่องโหว่ระหว่างรอแพทซ์ โดยหลังจากตรวจสอบแล้วพบว่าผลิตภัณฑ์ที่ได้รับผลกระทบคือ Elasticsearch, Logstash และ APM Java Agent มีรายละเอียดดังนี้

ความขัดแย้งระหว่าง Elastic Inc. และบริษัทอื่นๆ ที่ใช้งานโครงการโอเพนซอร์ส Elasticsearch มาถึงจุดแยกทางอีกครั้ง เมื่อ Logz.io ผู้ให้บริการ Elasticsearch แบบคลาวด์ประกาศเตรียมใช้งาน OpenSearch ทั้งระบบภายในปี 2022

Logz.io เป็นหนึ่งในผู้ร่วมพัฒนาโครงการ OpenSearch กับ AWS ตัว AWS เองก็เปิดบริการ OpenSearch มาตั้งแต่เดือนกันยายน แต่เปิดบริการขนานกันไปกับ Elasticsearch (ที่จะไม่ได้รับอัพเกรดเวอร์ชั่นแล้ว เพราะ Elastic Inc. เปลี่ยนไลเซนส์เวอร์ชั่นหลังๆ)

AWS ประกาศเปลี่ยนชื่อบริการ Amazon Elasticsearch Service (Amazon ES) มาเป็น Amazon OpenSearch Service หลังจากแยกมาทำโครงการ OpenSearch เอง

เดิมที AWS นำซอฟต์แวร์โอเพนซอร์ส Elasticsearch มาพัฒนาเป็นบริการ Amazon ES ในปี 2015 แต่หลังจากมีปัญหาเรื่องไลเซนส์กับบริษัท Elastic ผู้พัฒนา Elasticsearch ในช่วงต้นปีนี้ ทำให้ AWS ตัดสินใจ fork ซอร์สโค้ดมาเป็นโครงการใหม่คือ OpenSearch ที่เพิ่งออกเวอร์ชัน 1.0 ไปเมื่อเดือนกรกฎาคม

หลังจาก AWS ประกาศแยกโครงการ OpenSearch ออกจาก Elasticsearch โดยใช้ซอร์สโค้ดที่เป็นไลเซนส์แบบ Apache 2.0 มาพัฒนาต่อ ทั้งสองฝั่งก็เริ่มมีฟีเจอร์ต่างกันไปเรื่อยๆ อย่างไรก็ดีไคลเอนต์ที่ใช้ฟีเจอร์พื้นฐานส่วนมากก็ยังเชื่อมต่อกับเซิร์ฟเวอร์ได้ทั้งสองตัว แต่เดือนที่ผ่านมา Elastic ก็เพิ่มโค้ดตรวจสอบว่าเชื่อมต่อกับ Elasticsearch จริงหรือไม่ ทำให้ไคลเอนต์ที่เคยเชื่อมต่อกับ OpenSearch ได้กลับใช้งานไม่ได้เมื่ออัพเดตไลบรารี

OpenSearch โครงการที่ AWS แยกตัวมาจาก Elasticsearch ออกเวอร์ชัน 1.0 ถือว่ามีสถานะเป็น general availability (GA) พร้อมใช้งานจริงในโปรดักชัน

OpenSearch เป็นการ fork โครงการ Elasticsearch 7.10.2 กับ Kibana 7.10.2 มาพัฒนาเอง หลังจาก Elastic บริษัทผู้พัฒนา Elasticsearch ตัดสินใจเปลี่ยนไลเซนส์เมื่อต้นปี 2021 เพราะมองว่าบริษัทคลาวด์นำซอฟต์แวร์เหล่านี้ไปใช้งานฟรีๆ ทำให้ Elastic ไม่สามารถทำรายได้เท่าที่ควร

การเปลี่ยนแปลงใน OpenSearch 1.0 คือเริ่มถอดโค้ดที่เป็นเชิงพาณิชย์ (proprietary) ออก, เพิ่มการรองรับสถาปัตยกรรม ARM64 for Linux

AWS เปิดตัวโครงการ OpenSearch โครงการแยกจาก Elasticsearch ที่เปลี่ยนสัญญาอนุญาตเพื่อจำกัดการใช้งานแบบให้บริการคลาวด์ พร้อมกับยุบรวมโครงการ Open Distro for Elasticsearch (ODfE) เข้ามารวมกัน

โครงการ OpenSearch ใช้ซอร์สโค้ด Elasticsearch 7.10.2 เป็นฐาน และ OpenSearch Dashboard ใช้ Kibana 7.10.2 เป็นฐาน

AWS ประกาศ fork โครงการ Elasticsearch/Kibana เพื่อดูแลโครงการในรูปแบบไลเซนส์ Apache 2.0 ต่อไป หลังจากทาง Elastic ประกาศเปลี่ยนไลเซนส์เป็น SSPL/Elastic Lincense และจะใช้ Elasticsearch/Kibana เวอร์ชั่น 7.10 ที่ทาง Elastic ปล่อยไลเซนส์ Apache 2.0 เป็นรุ่นสุดท้ายมาพัฒนาต่อ ตัวโครงการจะวางบน GitHub ในอีก "ไม่กี่สัปดาห์" ข้างหน้า

ทีมงาน AWS ยืนยันว่าไม่ได้เป็นคนบีบให้ Elastic ต้องเปลี่ยนไลเซนส์แต่อย่างใด แต่ Elastic เองพยายามทำเงินจากบริการคลาวด์เพื่อขยายธุรกิจเท่านั้น แม้ทาง Elastic มีสิทธิ์เปลี่ยนไลเซนส์แต่ก็ควรยอมรับเหตุผลการตัดสินใจตรงๆ

หลังจากบริษัท Elastic ประกาศเปลี่ยนไลเซนส์โครงการ Elasticsearch/Kibana ให้กลายเป็น SSPL หรือ Elastic License จนถือว่าไม่ใช่โครงการโอเพนซอร์สอีกต่อไป ตอนนี้ทาง Logz.io ผู้ให้บริการจัดการ log ที่พัฒนามาจากแพลตฟอร์ม ELK (Elasticsearch, Logstash, Kibana) ก็ประกาศแยกโครงการเพื่อพัฒนาต่อในรูปแบบ Apache 2.0 ต่อไป

ทาง Logz.io ระบุว่าจะหาพันธมิตรมาร่วมพัฒนาด้วย โดยมีเป้าหมายว่าโครงการใหม่นี้จะดูแลโดยหลายองค์กรร่วมกัน และสุดท้ายจะยกโครงการให้มูลนิธิอย่าง ASF หรือ CNCF เป็นผู้ดูแล

หลังจาก Elastic บริษัทผู้พัฒนา Elasticsearch ประกาศเปลี่ยนไลเซนส์โครงการเป็น SSPL ทำให้โครงการไม่เป็นโอเพนซอร์สอีกต่อไป (ซอฟท์แวร์กลุ่มนี้เรียกว่า "มีซอร์สโค้ดให้" หรือ source available เพราะจำกัดการใช้งานซอร์สโค้ด) วันนี้ Shay Banon ผู้ก่อตั้งโครงการ Elasticserch และร่วมก่อตั้งบริษัท Elastic เองก็ออกมาอธิบายว่าการเปลี่ยนไลเซนส์เป็นเพราะ AWS นำซอร์สโค้ดโครงการไปทำธุรกิจแข่ง

Elastic ผู้พัฒนาโครงการ Elasticsearch, Logstash, Kibana (หรือเรียกกับกว่า ELK) ประกาศเปลี่ยนไลเซนส์เวอร์ชั่น 7.11 ที่กำลังจะออกมา จากเดิมที่ให้เลือกระหว่าง Apache 2.0 และ Elastic License กลายเป็น SSPL หรือ Elastic License

SSPL เป็นสัญญาอนุญาตที่ MongoDB สร้างขึ้นเพื่อบังคับให้ผู้ให้บริการคลาวด์ที่นำโครงการไปให้บริการเป็นบริการคลาวด์ต้องเปิดเผยซอร์สโค้ดที่เกี่ยวข้องออกมาด้วย สัญญาอนุญาตแบบนี้ถูกออกแบบมาเพราะ MongoDB ไม่พอใจที่ AWS นำ MongoDB ไปให้บริการเป็นบริการคลาวด์ในชื่อ DocumentDB และกลายเป็นคู่แข่งโดยตรงกับบริการคลาวด์ของ MongoDB เอง กรณีของ Elastic นี้ก็มีปัญหาแบบเดียวกันเพราะ AWS ก็เปิดบริการ Amazon Elasticsearch Service มาแข่งเช่นกัน

Elastic ผู้พัฒนาชุดซอฟต์แวร์ Elastic Stack ประกาศออกเวอร์ชัน 7.10 อย่างเป็นทางการ โดยฟีเจอร์เด่นรอบนี้ Elasticsearch เริ่มทดสอบระบบ snapshot แบบเสิร์ชได้ และ Kibana Lens เข้าสู่สถานะ GA

ฟีเจอร์ชูโรงของ Elastic Stack 7.10 รอบนี้คือระบบ snapshot แบบเสิร์ชได้ จากเดิมที่ snapshot ของ Elasticsearch มีเป้าหมายคือเป็นที่เก็บข้อมูลระยะยาวบนสตอเรจราคาถูกอย่าง Amazon S3, Azure Storage หรือ Google Cloud Storage ระบบจึงออกแบบมาให้เก็บอย่างเดียว แต่มีข้อเสียคือไม่สามารถเสิร์ชได้ ถ้าต้องการเสิร์ชจะต้องรีสโตร์ขึ้นมา ซึ่ง snapshot แบบเสิร์ชได้จึงจะเข้ามาแก้ไขข้อนี้ คือ Elasticsearch สามารถเก็บ snapshot ไว้บนสตอเรจราคาถูกแต่ยังคงเสิร์ชได้

Elastic ผู้พัฒนาซอฟต์แวร์ Elastic Stack (หรือที่รู้จักกันในชื่อ ELK Stack) ประกาศออกเวอร์ชัน 7.9 อย่างเป็นทางการ

ฟีเจอร์ที่สำคัญของ Elastic Stack ในรอบนี้คือการปรับปรุง Kibana ใหม่ โดยเป็นการยกเครื่องโครงสร้างหลักของ Kibana ที่ทำให้การสับเปลี่ยนระหว่างหน้าไม่ต้องรอโหลดนาน ๆ อีกต่อไป และทำให้การพัฒนาฟีเจอร์ใส่ให้ Kibana สามารถทำได้รวดเร็วมากยิ่งขึ้น

ส่วนถัดไปคือ Elastic Agent ซึ่งเป็น agent ที่พัฒนาขึ้นโดยนำฟีเจอร์ทุกอย่างของ Beats เข้ามารวมกันใน agent ตัวเดียว จึงไม่ต้องติดตั้ง Beats ที่ทำงานเฉพาะทางหลาย ๆ ตัวในโฮสต์เดียว สามารถคอนฟิกเองหรือจัดการผ่านระบบ Fleet ใน Ingest Manager ของ Kibana ก็ได้

Elastic ผู้พัฒนาโครงการโอเพ่นซอร์ส ELK Stack ประกาศปรับสถาปัตยกรรมของ Kibana ครั้งใหญ่ หลังจากที่เปิดตัวมาแล้วราว 5 ปี

Kibana เป็นเว็บเซิร์ฟเวอร์พร้อม UI สำหรับเสิร์ช, วิเคราะห์ข้อมูล และจัดการรายละเอียดต่าง ๆ ของ Elasticsearch ซึ่งภายใต้ Kibana คือโครงการ JavaScript ที่ใช้เทคโนโลยีหลากหลาย เช่น Angular.js, Express, RequireJS, Hapi.js

ปัญหาคือตอนนี้โค้ดของตัว Kibana เป็นรูปแบบ monolith ทำให้โครงการทำงานได้ช้าลง ทางโครงการเริ่มหันมาสนใจการพัฒนาในรูปแบบไมโครเซอร์วิสที่กำหนด scope ของทีมย่อย ๆ ให้แต่ละคนทำงานได้เร็วขึ้น และคุยกันในรูปแบบ API แทน

update: แถลงจาก AIS

นักวิจัยพบล็อก DNS และ Netflow ของ AIS หลุดออกสู่อินเทอร์เน็ต พบ dashboard เจาะจงตรวจสอบการใช้เฟซบุ๊ก

Justin Paine นักวิจัยด้านความปลอดภัยไซเบอร์รายงานการพบฐานข้อมูล Elasticsearch และหน้าจอ dashboard Kibana ที่มีฐานข้อมูลการใช้งาน DNS และข้อมูลทราฟิกอินเทอร์เน็ตแบบ Netflow รวม 8,300 ล้านรายการ

Elastic ออกซอฟต์แวร์ในกลุ่ม Elastic Stack เวอร์ชัน 7.7 แล้ว โดยรอบนี้มีสิ่งสำคัญคือ Workplace Search ระบบเสิร์ชเอนจินสำหรับใช้กับองค์กรเข้าสู่สถานะ GA พร้อมใช้งานอย่างเป็นทางการแล้ว

Workplace Search เป็นแพลตฟอร์มการค้นหาสำหรับภาคองค์กร เป็นเครื่องมือชิ้นใหม่ภายใต้โซลูชั่น Elastic Enterprise Search โดยตัว Workplace Search สามารถเชื่อมเข้ากับ Microsoft 365, G Suite, Salesforce, Google Drive, OneDrive, Dropbox, GitHub, Jira, SharePoint Online และอื่น ๆ เพื่อซิงค์ข้อมูลเข้ามายัง Elasticsearch สำหรับทำเสิร์ชเอนจินได้

ส่วนฟีเจอร์อื่นที่น่าสนใจในอัพเดตครั้งนี้

Elastic ประกาศให้ Elastic Cloud on Kubernetes (ECK) เข้าสู่สถานะ GA ใช้งานได้เป็นการทั่วไป หลังจากเปิดตัว ECK มาตั้งแต่ปีที่แล้ว

ECK มาพร้อมกับ Elastic Operator ที่ช่วยจัดสรรทรัพยากรสำหรับการสร้างคลัสเตอร์ Elasticsearch โดยเป้าหมายของ ECK คือการลดภาระการดูแลระบบ เช่น การเพิ่มคลัสเตอร์ใหม่, การอัพเกรดเวอร์ชั่นซอฟต์แวร์, การขยายระบบ, และการรักษาความปลอดภัย

ECK สามารถติดตั้งได้ทันที และใช้งานได้ตลอดในฟีเจอร์กลุ่ม Basic หากมีการใช้ฟีเจอร์เพิ่มเติมก็สามารถซื้อไลเซนส์เพิ่มได้

Elastic ออกซอฟต์แวร์ในกลุ่ม Elastic Stack เวอร์ชัน 7.5 โดยมาพร้อมฟีเจอร์ที่น่าสนใจคือ Kibana Lens ที่ช่วยให้การสร้าง visualization บน Kibana ง่ายขึ้น รวมถึงปรับปรุง Observability และ Security ใหม่ และนำ Elastic Enterprise Search เข้ามาร่วมกับรอบการออกเวอร์ชันตั้งแต่รอบนี้เป็นต้นไป

Kibana Lens เป็นฟีเจอร์ชูโรงสำหรับการอัพเดตรอบนี้ ซึ่งจะเปลี่ยนจากการสร้าง visualization แบบเดิมที่ใช้การคลิกเลือกมาใช้การลากวาง รวมถึงให้ปรับเปลี่ยนระหว่างประเภทของแผนภูมิและ index pattern ได้ง่ายกว่าเดิม, แสดงพรีวิวของคอนเทนต์ในแต่ละฟิลด์ และมีระบบแนะนำฟิลด์ที่ควรใช้ในกราฟด้วย