By: lew 
on 8 February 2023 - 23:02
Tags:
ไมโครซอฟท์รายงานถึงความคืบหน้าของเหตุ Azure ที่สิงคโปร์ล่มไปหนึ่ง Availability Zone ทำให้ลูกค้าจำนวนมากได้รับผลกระทบ โดยตอนนี้สามารถกู้ระบบทำความเย็นได้สำเร็จแล้ว และอุณหภูมิในศูนย์ข้อมูลก็อยู่ในระดับปกติ แต่ความยากคือการเปิดระบบกลับมาจากศูนย์
กระบวนการเปิดศูนย์ข้อมูลกลับมาจะเริ่มจากระบบสตอเรจเป็นอย่างแรก จากนั้นจึงเริ่มเปิดระบบ compute ทั้งหลายซึ่งจะทำให้ระบบกลับมาเต็มรูปแบบ
ระบบทำความเย็นเริ่มมีปัญหาตั้งแต่ช่วงตีสามของไทยเมื่อคืนที่ผ่านมา จนตอนนี้ก็กินเวลาเกือบเต็มวันแล้ว และทางไมโครซอฟท์ระบุว่ายังไม่สามารถบอกได้ว่าจะมีกำหนดเปิดระบบกลับคืนได้เมื่อใด
ที่มา - Azure Status
Get latest news from Blognone
Follow @twitterapi
Comments
Azure SQL DB ผมกลับมาแล้ว แต่ว่า Azure SQL Server ยังไม่มา = ยังใช้ไม่ได้เหมือนเดิม
5555TT5555
ในเลข 5 มีนำ้ตาซ่อนอยู่ literally
RIP
ถ้ากู้กลับมาได้ 100% ช่วยอธิบายหน่อยว่าเกิดจากอะไรแล้วแก้อย่างไร
ในตัว incident มีแจ้งข้อมูลเหล่านี้ทั้งหมดครับ
ตัวอย่าง Impact statement ตอนเริ่มต้นมีปัญหา
Starting around 20:19 UTC on 7 February 2023, a utility power surge in the Southeast Asia region tripped all of the chiller units for one datacenter offline. While working to restore the chiller units, temperatures in the datacenter increased so we proactively powered down three storage scale units, to avoid potential damage to the hardware. All three impacted storage scale units are in one datacenter, within one of the region’s three Availability Zones (AZs). Beyond storage resources, downstream services that have been identified as impacted include Azure App Services, Azure Backup, Azure Cosmos DB, Azure Log Analytics, Azure Search, and Azure Virtual Machines (VMs).
สำหรับการแก้ไขไล่อัพเดทให้ลูกค้าทุกชั่วโมง จากที่นั่งดู status report ซึ่งติดตามได้ที่ Tracking ID VN11-JD8 ใน Service Health ของ Azure เอง เข้าไปกด Summary PDF ออกมาได้เลย เอามาสรุปให้ผู้บริหารเองได้ทันที หรือหากจะรอ executive summary ก็ได้ (แต่อันหลังรอนานหน่อย ผู้บริหารบริษัทอาจจะมองว่าช้าไป)
ขอบคูณครับ
myAIS ล่มนี่เกี่ยวกับข่าวนี้มั้ยนะ
Ooh
ขอ Refund จาก Microsoft คืนกันกระจุยแน่ๆ
ระบบยักษ์ใหญ่ Azure ของ microsoft ยังล่มได้ ทำให้ผมคิดได้ว่าระบบ IT ไม่มีอะไรที่แน่นอนเลย ทำงานระบบ IT สรุปตนเป็นที่พึ่งแห่งตน แผนสำรองต้องเตรียมพร้อมเสมอ และคนก็ต้องพร้อมเสมอด้วยเช่นกัน
Buzzbees (บริษัทที่มีระบบช่วยจัดการ Rewards เช่น บัตรเครดิต Citi, Singha Rewards) ล่มนี่เกี่ยวด้วยมั้ยครับ
นี่สินะ ระบบไอที Cloud ร่วงยากจริง แต่ถ้าร่วงแบบนี้ก็จะมีจุดด้อยคือเอาระบบขึ้นได้ใช้ เพราะข้อมูลมหาศาลจากลูกค้าจำนวนมากที่ต้องระมัดระวังไม่ให้ได้รับผลกระทบ
ถ้าบริการไหนต้องการดาวน์ไทม์ต่ำจริงๆ อาจจะใช้คลาวด์อย่างเดียวไม่ได้แฮะ ไม่ก็ใช้หลายเจ้า ซึ่งค่าใช้จ่ายก็จะพุ่งอีก (เดิมก็แพงอยู่แล้ว) น่าปวดหมองจริงๆ
..: เรื่อยไป
ต่ำๆ ต้องกด multi AZ ทิ้งไว้ล่ะครับ (ผมกดออกประจำ เปลือง นี่ยังคิดอยู่ว่าถ้ากดออกบน prod นี่วันนี้จะเป็นยังไง)
lewcpe.com, @wasonliw
จากข้อเท็จจริง ตัว Azure ที่ล่ม ล่มไปเพียง Availability Zone เดียวจากทั้งหมด 3 Zone ใน Region SG โดยจากใน log น่าจะเห็น AZ-03 ที่มีปัญหา
หากออกแบบระบบบน Azure ให้ทำงานหลาย Availability Zone ก็จะไม่เจอปัญหา แต่หากไม่ได้ทำก็จะพบปัญหาหากระบบเราไปอยู่ที่ AZ-03 ซึ่งคำแนะนำของ Azure เอง (best practice) และแม้แต่ Cloud เจ้าอื่น ก็แนะนำให้วางระบบที่ HA ไปมากกว่า 2 Zone เสมอ
และหากระบบ production ระดับที่ต้องทำตาม audit ระดับสูง ต้องทำให้รองรับ DR หากมีปัญหา ซึ่งจะโดนบังคับให้ HA ไปหลาย Availability Zone อยู่แล้ว
ปล. โครงสร้าง Availability Zone นี้ public cloud ทุกเจ้าแจ้งและมีให้ทั้งหมด AWS หรือ GCP ก็มี
อ่อ โอเด ผมเพิ่งเข้าใจหน้าที่ของการมีหลาย Availability Zone เพิ่มก็ตอนนี้ ไอ้เราก็ดันนึกถึงแต่เรื่อง latency
ขอบคุณทั้งสองท่านสำหรับความรู้ครับ คงต้องหาความรู้เรื่อง Cloud Engineering เพิ่มด่วนแล้ว ถึงจะเป็นโปรแกรมเมอร์แต่เหมือนเริ่มจะใกล้ตัวเข้ามาเรื่อยๆ
..: เรื่อยไป
ไม่รู้ก็ดีอีกแบบนะครับ
(พิมพ์เสื้อ)
ไม่รู้
ไม่รู้
ไม่รู้
lewcpe.com, @wasonliw
55555555555555555555
..: เรื่อยไป
มีไม่กี่ตัวไอทีเปิดจากศุนย์ยังโดนกดดันเลย แต่ระดับ MS แค่นี้สบายๆครับ