Meta เปิดตัวซูเปอร์คอมพิวเตอร์ AI Research SuperCluster (RSC) ที่คาดว่าจะใช้งานเต็มที่กลางปี 2022 นี้ ภายในเป็นคลัสเตอร์ของเครื่อง DGX A100 ตอนนี้มีจำนวน 760 เครื่องมาเชื่อมเข้าด้วยกัน รวมชิปกราฟิก 6,080 ชุด และเมื่อคลัสเตอร์เต็มจะใช้ชิปกราฟิก 16,000 ชุด พลังประมวลผลรวมเมื่อเครื่องเสร็จจะอยู่ที่ 5 exaflops ทาง Meta เชื่อว่าน่าจะเร็วที่สุดในโลกเมื่อสร้างเสร็จ
ระบบสตอเรจของ RSC มีสามระดับ ข้อมูลทั่วไปใช้ Pure Storage Flash Array ขนาด 175PB, แคชใช้ Penguin Computing Altus ขนาด 46PB, และ NFS ของ Pure Storage FlashBlade อีก 10PB
แม้ตอนนี้จะยังสร้างไม่เสร็จดีแต่ Meta ก็พบว่าเครื่องใหม่นี้ประสิทธิภาพดีกว่าคลัสเตอร์เดิมมาก สามารถฝึกโมเดลขนาดใหญ่ได้เร็วกว่าเดิม 3 เท่าตัว คือฝึกโมเดลขนาดหมื่นล้านพารามิเตอร์ได้ในสามสัปดาห์จากเดิมเก้าสัปดาห์ เป้าหมายของ Meta คือการฝึกโมเดลขนาดล้านล้านพารามิเตอร์ ซึ่งต้องใช้ข้อมูลฝึกระดับ exabyte
ที่มา - Facebook AI
Comments
ข้อมูลทั่วำไปใช้ >> ข้อมูลทั่วไปใช้
blockchain ทำไมไม่ทำ PoW ด้วยการฝึก AI นะ
ตอบแบบจริงจังคือ เพราะว่าการพิสูจน์ว่าทำงานแล้วจริงๆ นั้นต้องอาศัยศูนย์กลางครับ
ในกรณีของ PoW ทุกวันนี้เราทำงานไร้ประโยชน์แต่พิสูจน์ได้ง่ายว่าได้ทำงานแล้วโดยไม่ต้องผ่านศูนย์กลาง แต่งานที่มีประโยชน์จำนวนมาก การพิสูจน์ว่าทำแล้วหรือยัง หรือทำงานได้คุณภาพไหม ต้องอาศัยศูนย์กลางแทบทั้งสิ้น มีคนมาดู มีคนมาทดลองใช้ ฯลฯ
ที่ผ่านมามีคนพยายามหางานที่มีคุณสมบัติสองด้าน คือพิสูจน์ได้ง่ายไม่ต้องใช้ศูนย์กลาง แต่ยังมีประโยชน์มาก และยังไม่สำเร็จนัก
lewcpe.com, @wasonliw
Mathematically speaking, เป็นไปไม่ได้
AI (เจาะจงหน่อยคือ Machine Learning) ทำนายได้แค่ค่าใกล้เคียงและมักมีรูปแบบที่ตายตัวตามที่ได้ฝึก model ไว้ แล้วมักจะหลุดจากค่าจริงอยู่เป็นประจำ แค่มนุษย์มองเห็นว่ามันยอมรับได้ แต่ PoW มันไม่ตายตัว (หลักการจริง ๆ มันเหมือนเล่นหวยมากกว่าการคำนวณ) ปรับระดับความยากตามความเร็วล่าสุดที่แก้ปัญหาได้เพื่อให้อัตราการเกิดบล็อกใหม่นั้นคงที่ ต่อให้ AI แก้ปัญหาในบล็อกนี้ได้ก็ไม่ได้การันตีว่าจะใช้ได้ในบล็อกถัดไป
ปล. ถ้าจะทำจริง ๆ ... มันก็ได้แหละ แค่มันไม่มีประโยชน์ (compute power ไม่ต่างจากการคำนวณตรง ๆ)
ชอบชื่อ network จริง NVIDIA QUANTUM มี Bandwidth โหดจริง 1.6 Tbps เลย เหลือเฟื่อเลยไหมเนี่ย