เมื่อกลางปีที่แล้ว ไมโครซอฟท์รองรับ Apache Spark ประมวลผลข้อมูลในหน่วยความจำบน Azure HDInsight โดยมีสถานะเป็นรุ่นพรีวิว หนึ่งปีผ่านมา ไมโครซอฟท์ปรับสถานะเป็นรุ่นใช้งานจริง (general availability - GA) แล้ว รุ่นที่ใช้งานคือ Apache Spark v1.6.1

ไมโครซอฟท์ระบุว่า Spark ได้รับความนิยมสูงในหมู่ผู้ใช้ HDInsight และการเข้าสถานะ GA น่าจะยิ่งทำให้ Spark ได้รับความนิยมมากขึ้น

HDInsight คือการนำแพลตฟอร์มประมวลผลข้อมูล big data อย่าง Hadoop ไปรันบนคลาวด์ Azure ของไมโครซอฟท์ ส่วน Spark เป็นซอฟต์แวร์ในชุดเดียวกันที่ประมวลผลข้อมูลทั้งหมดในแรม เพื่อประสิทธิภาพที่สูงขึ้นจาก Hadoop ปกติ

ที่เมืองชิคาโก สำนักงานตำรวจประจำเมืองชิคาโก (Chicago Police Department: CPD) ได้ร่วมมือกับสถาบันเทคโนโลยีแห่งอิลลินอยส์ (Illinois Institute of Technology: IIT) สร้างระบบอัลกอริทึมซึ่งจะทำนายความเสี่ยงที่จะเกิดเหตุอาชญากรรม จากเดิมที่อาศัยกระบวนการตรวจตราอย่างเข้มงวดทั่วเมือง หลังจากที่เมื่อปีที่ผ่านมามีคนถูกยิงมากถึง 3,000 คน

eBay อีคอมเมิร์ซยักษ์ใหญ่ของสหรัฐฯ ได้เข้าซื้อกิจการ Expertmaker บริษัทที่เชี่ยวชาญด้านการจัดการและวิเคราะห์ Big Data สำหรับการจัดการข้อมูลสินค้าจำนวนมหาศาลของตัวเอง โดยไม่มีการเปิดเผยตัวเลข ซึ่งทาง eBay ก็ได้ใช้บริการของ Expertmaker มาซักระยะก่อนการเข้าซื้อแล้วด้วยซ้ำไป

Expertmaker จะมาอยู่ภายใต้ฝ่าย Structured Data Initiative ของ eBay โดยการเข้าซื้อครั้งนี้ไม่มีการปลดพนักงาน Expertmaker แต่อย่างใด แถมพนักงานทุกคนยังคงได้รับอนุญาตให้ทำงานอยู่ที่ออฟฟิศเดิมด้วย

ที่มา - Techcrunch

Pivotal บริษัทด้าน Big Data ที่เป็นบริษัทลูกของ EMC (EMC ถือหุ้นบางส่วน) ประกาศรับเงินลงทุนรอบ Series C จำนวน 253 ล้านดอลลาร์ จาก Ford Motor และ Microsoft

Pivotal แยกตัวจาก EMC มาเป็นอีกบริษัทในปี 2013 (แต่ EMC ยังถือหุ้นใหญ่) ก่อนหน้านี้ Pivotal รับเงินลงทุนจากบริษัทใหญ่ๆ หลายราย เช่น GE, VMware และ Ford (เท่ากับว่า Ford ลงเงินซ้ำอีกรอบ) ลูกค้าส่วนใหญ่ของ Pivotal เป็นองค์กรเอกชนรายใหญ่ บริษัทระบุว่ามีรายได้ในไตรมาสแรกของปี 2016 ที่ 83 ล้านดอลลาร์ เพิ่มขึ้น 56% จากปีก่อน

หลังจาก Dell ควบกิจการกับ EMC เสร็จ คาดกันว่า Dell จะแยก Pivotal ออกเป็นบริษัทอิสระที่ขายหุ้น IPO เข้าตลาดหลักทรัพย์

ถ้าใครติดตามข่าวต่างประเทศ อาจเคยเห็นข่าวเชนร้านอาหารเม็กซิกัน Chipotle ในสหรัฐอเมริกาพบแบคทีเรีย E.coli ซึ่งส่งผลสะเทือนต่อยอดขายของ Chipotle ในสหรัฐ

เนื่องจาก Chipotle เป็นบริษัทในตลาดหลักทรัพย์ คำถามที่นักการเงิน-นักลงทุนสงสัยคือ Chipotle ได้รับผลกระทบมากแค่ไหน คำตอบอาจอยู่ที่ Foursquare ซึ่งมีสถิติจริงของลูกค้า Chipotle จากการเช็คอินผ่านโทรศัพท์มือถือ

Foursquare ออกมาประเมินยอดขายของ Chipotle ประจำไตรมาสแรกของปี 2016 ว่าน่าจะลดลงไปราว 30% จากปีก่อน โดยทั่วไปแล้ว ยอดขายของร้านอาหารช่วงปลายปีจะลดลงอยู่แล้ว แต่กรณีของ Chipotle ที่พบแบคทีเรียเมื่อเดือนตุลาคม 2015 เห็นชัดเจนว่าคนเข้าร้านลดลงจากช่วงเวลาเดียวกันของปีก่อนมาก และยอดขายกลับมากระเตื้องขึ้นบ้างเมื่อ Chipotle ออกโปรโมชั่นแจกอาหารฟรี หลังปิดร้านทุกสาขาพร้อมกัน 4 ชั่วโมงเพื่อประชุมพนักงาน (ดูกราฟประกอบ)

เมื่อวานนี้ (31 มีนาคม) บริษัท G-ABLE (อ่านว่าจีเอเบิล) ธุรกิจด้านไอทีโซลูชันรายใหญ่ของไทย แถลงแนวทางธุรกิจปี 2559 ว่าธุรกิจไอทีช่วงนี้เปลี่ยนแปลงเร็วมาก ส่งผลกระทบต่อธุรกิจโซลูชันไอทีองค์กรอย่างมาก ส่งผลให้ G-ABLE เองก็ต้องปรับตัวเยอะ โดยจะเน้นไปที่โซลูชันสำคัญ 3 อย่าง ภายใต้ชื่อแผนว่า "Corporate Digital Transformation"

สำนักข่าว Bloomberg รายงานว่า ทางการจีนได้สั่งให้ China Electronics Technology Group ซึ่งเป็นหนึ่งในรัฐวิสาหกิจ ทำการพัฒนาระบบวิเคราะห์แนวโน้มการก่อการร้ายและอาชญากรรม โดยใช้ข้อมูลส่วนตัวที่เก็บได้จากประชาชนเป็นฐานข้อมูลในการวิเคราะห์

ระบบดังกล่าวนี้จะใช้ข้อมูลทั้งเรื่องของอาชีพ งานอดิเรก พฤติกรรมการบริโภค และตัวบ่งชี้พฤติกรรมอื่นๆ ของประชาชนในรัฐ เพื่อวิเคราะห์หาแนวโน้มของการก่อการร้ายหรืออาชญากรรมก่อนที่จะเกิดขึ้นจริง โดยตัวแทนของรัฐวิสาหกิจดังกล่าวระบุว่าเป็นความจำเป็นที่จะต้องมีการสร้างระบบป้องกันที่ดีพอ เพื่อไม่ให้เกิดเหตุแล้วต้องมาตามแก้ไขกันในภายหลัง

รอบปีมานี้เราเห็นบริษัทไอทีใหญ่ๆ หลายรายทยอยเปิดซอร์สซอฟต์แวร์ด้าน deep learning ของตัวเอง เช่น TensorFlow ของกูเกิล หรือ CNTK ของไมโครซอฟท์

บริษัทที่หลายคนอาจลืมไปแล้วอย่าง Yahoo ก็ร่วมขบวนนี้ด้วยเหมือนกัน ซอฟต์แวร์ตัวนี้เรียกว่า CaffeOnSpark เอาไว้เทรน AI สำหรับงาน deep learning บนคลัสเตอร์ Hadoop/Spark ที่รันงาน big data อยู่แล้ว

ปีที่แล้ว Google เปิดตัว Cloud Dataproc บริการ Hadoop/Spark บนกลุ่มเมฆ ตอนนี้บริการตัวนี้เข้าสถานะ GA (general availability) แล้ว

Google Cloud Dataproc ออกแบบมาสำหรับคนที่ต้องการวิเคราะห์ข้อมูล big data ด้วย Apache Hadoop/Spark แต่ไม่อยากเซ็ตระบบเซิร์ฟเวอร์เอง หรือไม่อยากลงทุนเตรียมคลัสเตอร์ขนาดใหญ่ไว้ ก็สามารถเช่าใช้บริการจากคลาวด์ของกูเกิลได้เลย ช่วยแก้ปัญหาทั้งค่าใช้จ่ายตั้งต้น ภาระการดูแล และการขยายขนาดในอนาคตถ้าหากข้อมูลมีปริมาณเยอะขึ้น

กูเกิลประกาศเพิ่มความสามารถให้บริการฐานข้อมูลขนาดใหญ่ BigQuery หลายอย่างดังนี้

เมื่อวันอังคารที่ผ่านมา IBM ประกาศโอเพนซอร์ส SystemML ซึ่งเป็นตัวแปลข้อมูลสากล (universal translator) สำหรับงานด้านข้อมูลขนาดใหญ่ (big data) และ machine learning อย่างเป็นทางการ โดยเป็นแผนการต่อเนื่องที่ประกาศว่าจะสร้างระบบวิเคราะห์ข้อมูลขนาดใหญ่ที่เรียกว่า Spark เมื่อเดือนมิถุนายนที่ผ่านมา โดยจะยกให้ Apache เป็นคนดูแลโครงการนี้อย่างเป็นทางการ และจะได้ชื่อว่า Apache SystemML

ช่วงนี้ ออราเคิลจัดงานประจำปี Oracle OpenWorld เลยมีข่าวผลิตภัณฑ์ใหม่ของบริษัทเยอะหน่อยนะครับ ผลิตภัณฑ์ใหม่อีกตัวที่น่าสนใจคือ Oracle Cloud Platform for Big Data แพลตฟอร์มคลาวด์สำหรับการประมวลผลข้อมูลขนาดใหญ่

Oracle Cloud Platform for Big Data เป็นการจับผลิตภัณฑ์สาย Big Data ของออราเคิลมารวมเป็นชุดเดียวกัน โดยมีของเดิมอยู่แล้ว 2 ตัวคือ Big Data Cloud Service กับ Big Data SQL Cloud Service และเพิ่มของใหม่อีก 4 ตัว

Zendesk ผู้พัฒนาซอฟต์แวร์ CRM สำหรับบริการลูกค้าชื่อดัง เตรียมนำเทคนิค machine learning เข้ามาช่วย "พยากรณ์" อารมณ์ของลูกค้าว่าแย่แค่ไหน เพื่อให้พนักงานเตรียมรับมือกับลูกค้าได้ทันท่วงที

ฟีเจอร์ใหม่ของ Zendesk เรียกว่า Satisfaction Prediction โดยจะนำฐานข้อมูลการบริหารลูกค้าจำนวนมหาศาลของ Zendesk มาวิเคราะห์ด้วยเทคนิค machine learning จากนั้นในอนาคต ถ้าหากลูกค้ามีแนวโน้มว่ากำลังโกรธหรืออารมณ์เสีย ระบบจะแจ้งเตือนพนักงานดูแลลูกค้าเป็นลำดับคะแนน 0-100 (0 คือแย่ที่สุด) เพื่อให้พนักงานสามารถจัดลำดับความสำคัญ มาช่วยดูแลลูกค้ากลุ่มนี้ก่อน

ไมโครซอฟท์เปิดตัวบริการใหม่ Azure Data Lake แพลตฟอร์มสำหรับจัดเก็บและประมวลผลข้อมูลขนาดใหญ่ (big data) บนกลุ่มเมฆ

Azure Data Lake ประกอบด้วยชิ้นส่วนย่อย ดังนี้

Amazon Web Services เปิดบริการใหม่ชื่อ Amazon Elasticsearch Service (ตัวย่อ ES) โดยนำซอฟต์แวร์ค้นหาและวิเคราะห์ข้อมูลแบบโอเพนซอร์ส Elasticsearch มารันบนคลาวด์ของ AWS

Elasticsearch ถูกออกแบบมาใช้ค้นหาคำที่ต้องการจากข้อมูลขนาดใหญ่ โดยแบ่งงานแบบกระจายศูนย์ตามคลัสเตอร์ได้ (จึงเหมาะแก่การรันบน AWS ตั้งแต่แรกอยู่แล้ว) ตัวซอฟต์แวร์มี API สำหรับเชื่อมกับระบบงานภายนอกอื่นๆ เช่น visualization ได้ด้วย

AWS ไม่ใช่ผู้ให้บริการคลาวด์รายแรกที่นำระบบ Elasticsearch มาใช้งาน เพราะ Google Compute Engine ให้บริการแบบเดียวกันมาตั้งแต่เดือนมกราคม 2015

Google Cloud Platform เปิดบริการใหม่ (อีกแล้ว) โดยใช้ชื่อว่า Google Cloud Dataproc มันคือการนำเอาซอฟต์แวร์วิเคราะห์ข้อมูลอย่าง Apache Hadoop และ Apache Spark มาโฮสต์บนระบบคลาวด์ของกูเกิล และปรับแต่งให้เซ็ตอัพ คอนฟิก และใช้งานง่ายขึ้น ลดความยุ่งยากในการดูแลระบบลง

Cloud Dataproc ยังใช้ประโยชน์จากราคาประมวลผลบนกลุ่มเมฆ โดยคิดราคาเพิ่มจากปกติเพียงแค่ 1 เซ็นต์ต่อซีพียูต่อชั่วโมง (นอกเหนือจากค่าประมวลผล-สตอเรจที่ต้องจ่ายให้กูเกิลอยู่แล้ว) และถ้าอยากประหยัดแบบสุดๆ ก็สามารถรันงานบน Preemptible Instances เซิร์ฟเวอร์พร้อมตายทุกเวลา ที่ราคาถูกมากเป็นพิเศษได้

ไมโครซอฟท์ประกาศซื้อกิจการบริษัท VoloMetrix ผู้พัฒนาซอฟต์แวร์ด้านการวิเคราะห์องค์กร (organizational analytics) และความสัมพันธ์ของคนในองค์กร (people analytics)

เป้าหมายของไมโครซอฟท์ชัดเจนว่าต้องการนำเทคโนโลยีของ VoloMetrix ไปรวมกับชุด Office 365 ที่ภายหลังมีฟีเจอร์ Office Graph แสดงความเชื่อมโยงของคนในองค์กร และมีโปรแกรมใหม่ Delve มาช่วยวิเคราะห์ข้อมูลความสัมพันธ์เหล่านี้

ทีมงานและเทคโนโลยีของ VoloMetrix จะถูกนำไปใช้กับ Delve Organizational Analytics ในไม่ช้า

Hortonworks บริษัทซอฟต์แวร์ด้าน Big Data ที่เชี่ยวชาญ Hadoop (อ่านบทสัมภาษณ์คุณทัศพล อธิอภิญญา คนไทยใน Hortonworks) ประกาศซื้อกิจการบริษัท Onyara สตาร์ตอัพที่ทำด้าน data flow จากเซ็นเซอร์ที่ฝังอยู่ในอุปกรณ์ Internet of Things

Onyara เป็นผู้สนับสนุนโครงการ Apache NiFi ซอฟต์แวร์โอเพนซอร์สที่ทำเรื่องการไหลของข้อมูล (data routing) ซึ่งเป็นซอฟต์แวร์ที่จำเป็นในยุคที่เรามีเซ็นเซอร์อยู่รอบตัว และเซ็นเซอร์เหล่านี้ส่งข้อมูลออกมาตลอดเวลา แถมในหลายกรณียังต้องรับข้อมูลกลับมาประมวลผล เพื่อสื่อสารกันเองระหว่างเซ็นเซอร์แต่ละตัวด้วย

อินเทลเปิดตัวสินค้าฝั่งซอฟต์แวร์ Intel Data Analytics Acceleration Library (Intel DAAL) เป็นไลบรารีสำหรับการประมวลผลข้อมูลขนาดใหญ่ (big data) ที่ออปติไมซ์มาสำหรับซีพียูของอินเทลทั้ง Xeon, Core, Atom, และ Xeon Phi

อัลกอริทึมที่อยู่ในไลบรารีชุดนี้มีตั้งแต่ การจัดชุดข้อมูล (clustering), หาความแตกต่างระหว่างข้อมูล (distance), แปลงข้อมูล (transformation) อัลกอริทึมเหล่านี้ใช้งานกันบ่อยในงานประมวลผลอยู่แล้ว คู่แข่งของที่ DAAL เช่น MLlib ของ Apache ทางอินเทลชูจุดเด่นว่า DAAL ปรับแต่งมาสำหรับซีพียูของอินเทลโดยเฉพาะทำให้ประสิทธิภาพดีขึ้นมากบนเครื่องเดียวกัน

อินเทลเปิด Discovery Peak แพลตฟอร์มสำหรับการวิเคราะห์ข้อมูลขนาดใหญ่ที่รวมเอาทั้งระบบประมวลข้อมูล, การแสดงผลการประมวล, และแพลตฟอร์มพัฒนาแอพพลิเคชั่นจากข้อมูล เข้าเป็นชุดซอฟต์แวร์

พร้อมๆ กับการเปิดตัวชุดซอฟต์แวร์ ทางอินเทลประกาศร่วมมือกับ Oregon Health & Science University (OHSU) เปิดตัวคลาวด์เพื่อความร่วมมือการวิจัยมะเร็ง (Collaborative Cancer Cloud) เป็นความร่วมมือระหว่างสามศูนย์วิจัยทั่วสหรัฐฯ ที่จะแชร์ข้อมูลคนไข้อย่างปลอดภัย เพื่อพัฒนาการรักษาที่เจาะจงกับคนไข้แต่ละคน

Collaborative Cancer Cloud จะเริ่มเปิดให้บริการปีหน้า โดยใช้ซอฟต์แวร์ที่พัฒนาจาก Discovery Peak และทางอินเทลระบุว่าซอร์สโค้ดบางส่วนในโครงการจะเปิดซอร์สออกมาให้นักพัฒนาภายนอกช่วยกันพัฒนาด้วยเช่นกัน

ไมโครซอฟท์เปิดตัว Cortana Analytics Suite ชุดบริการสำหรับวิเคราะห์ข้อมูลให้องค์กรภาคธุรกิจ

ถึงแม้ว่า Cortana Analytics Suite จะมีชื่อ Cortana แปะมาด้วย แต่มันเป็นผลิตภัณฑ์คนละตัวกับ Cortana บน Windows Phone หรือ Windows 10 เพราะจริงๆ แล้วมันเป็นชื่อเรียกของซอฟต์แวร์ด้านประมวลผล-วิเคราะห์ข้อมูลหลายตัวของไมโครซอฟท์มารวมกัน เช่น Azure Machine Learning, Azure HDInsigh, Power BI รวมไปถึง Cortana ตัวปกติด้วย

ทีมวิจัยจาก MIT เสนอสถาปัตยกรรม BlueDBM สำหรับการประมวลผลข้อมูลขนาดใหญ่ด้วยแนวคิดว่าไม่ต้องเน้นการเพิ่มแรมเข้าไปมากๆ เหมือนแต่ก่อน

กรณีของข้อมูลสำหรับ BlueDBM เช่นการประมวลผลข้อมูลทวิตเตอร์ขนาด 5TB ถึง 20TB ที่ต้องใช้เซิร์ฟเวอร์นับร้อยตัว แต่ละตัวติดตั้งแรมจำนวนมากเพื่อให้ข้อมูลทั้งหมดอยู่บนแรม ข้อเสนอของ BlueDBM เสนอให้ไปเน้นหน่วยความจำแบบแฟลชที่ประสิทธิภาพสูงแต่ยังมีราคาถูกและประหยัดไฟแทน

ซอฟต์แวร์ที่มาแรงในโลกของ Big Data คือ Apache Spark ที่เปรียบเสมือน Hadoop ทำงานในหน่วยความจำ (MapReduce in memory)

ล่าสุดไมโครซอฟท์ที่เคยรองรับ Hadoop บน Azure ในชื่อ HDInsight ก็ประกาศรองรับ Spark เพิ่มเติมแล้ว โดยยังมีสถานะเป็น public preview ภายใต้บริการ Azure HDInsight อีกทีหนึ่ง

Apache Spark for Azure HDInsight เป็นบริการประมวลผลข้อมูลบนกลุ่มเมฆ และสามารถใช้เครื่องมือช่วยวิเคราะห์ข้อมูลยี่ห้อใดก็ได้มาช่วยอ่านค่า ไม่ว่าจะเป็น Power BI ของไมโครซอฟท์เอง, Tableau, SAP Lumira, Qlik

IBM และ ลอนเทนนิสสมาคมของอังกฤษ (All England Lawn Tennis Club (AELTC)) ผู้จัดการแข่งขันเทนนิส Wimbledon ร่วมกันแถลงข่าวเพื่อประกาศว่าทางผู้จัดการแข่งขัน จะนำเอาเทคโนโลยีของ IBM เข้ามาใช้งานในการแข่งขันอย่างเป็นทางการ

หน้าที่ของ Watson จะนำเอาข้อมูลจากการแข่งขัน จำนวนกว่า 3.2 ล้านชุด ทั้งจากการจดบันทึกทั่วไป กล้อง รวมถึงเซนเซอร์ต่างๆ เข้าสู่ระบบประมวลผลของ Watson และ InfoSphere ของ IBM โดยจะสามารถประมวลผลแล้วแจ้งเตือนเหตุการณ์ต่างๆ ในสนามระหว่างแข่งขันได้ทันที (เช่น ความเร็วของลูกเสิร์ฟที่เร็วที่สุด เป็นต้น) ส่วนผู้พากย์ (commentator) สามารถหาข้อมูลที่น่าสนใจระหว่างการแข่งขันได้ เป็นต้น

ระบบของ IBM จะถูกเริ่มใช้กับการแข่งขันที่จะมีขึ้นในอีกไม่กี่วันข้างหน้านี้

หากยังจำกันได้เมื่อช่วงต้นปี IBM ประกาศเตรียมวางจำหน่ายหนังสือสูตรอาหารที่คิดขึ้นโดย Watson ระบบประมวลผลข้อมูลขนาดใหญ่ของตัวเอง (ข่าวเก่า) มาคราวนี้ IBM ร่วมมือกับนิตยสารด้านอาหารอย่าง Bon Appetit เปิดตัวแอพ Chef Watson ให้ใช้งานอย่างเป็นทางการ

ในเชิงหลักการ Watson จะนำข้อมูลสูตรอาหารในฐานข้อมูล ผสมกับข้อมูลเกี่ยวกับด้านเคมีและข้อมูลในเชิงจิตวิทยา เพื่อสร้างสูตรอาหารใหม่ขึ้นมา โดยปีที่แล้วได้เริ่มทดลองในวงปิดกับผู้อ่านของนิตยสาร Bon Appetit ก่อนที่จะเปิดให้ใช้อย่างเป็นทางการ