By: mk 
on 17 March 2024 - 08:26
Tags:
Cerebras Systems บริษัทผู้พัฒนาชิปประมวลผล AI ที่ก่อตั้งโดยอดีตพนักงาน AMD เปิดตัวชิปรุ่นใหม่ WSE-3 ที่มีจำนวนทรานซิสเตอร์มากถึง 4 ล้านล้านตัว, มีคอร์ประมวลผล AI จำนวน 9 แสนคอร์, แรม SRAM บนชิปขนาดใหญ่ 44GB, สมรรถนะประมวลผล AI 125 petaflops
ชิป Cerebras WSE-3 สามารถนำไปต่อกับหน่วยความจำภายนอกได้สูงสุด 1.3PB รองรับการเทรนโมเดลในอนาคตที่มีขนาดใหญ่กว่า GPT-4 หรือ Gemini ได้ 10 เท่า (โมเดลขนาด 24 ล้านล้านพารามิเตอร์ เก็บในหน่วยความจำผืนเดียวโดยไม่ต้องแบ่งส่วน)
คู่แข่งของ WSE-3 ย่อมเป็นชิป NVIDIA H100 ซึ่งเป็นชิปยอดนิยมของตลาด AI ณ เวลานี้ แนวทางของ Cerebras คือการสร้างชิปขนาดใหญ่กว่าจีพียูมากๆ แล้วใช้ชิปตัวเดียว แทนการนำจีพียูจำนวนมากๆ มาต่อกัน (พื้นที่ของชิป WSE-3 ใหญ่กว่า H100 ถึง 57 เท่า, คอร์เยอะกว่า 52 เท่า)
ชิป WSE-3 จะถูกนำไปใช้ในซูเปอร์คอมพิวเตอร์ Cerebras CS-3 ที่ต่อเชื่อมเป็นคลัสเตอร์ได้สูงสุด 2048 ตัว สามารถเทรนโมเดล Llama 70B เสร็จได้ภายในวันเดียว ตัวเครื่อง CS-3 ยังประหยัดพลังงาน โดยมีประสิทธิภาพเพิ่ม 2 เท่า เมื่อยังใช้พลังงานเท่ากับเครื่องรุ่นก่อน
ที่มา - Cerebras
Get latest news from Blognone
Follow @twitterapi
Blognone Jobs Premium
Cloudnone
- NVIDIA จะไปหยุดที่ตรงไหน ทำไมครองโลกดาต้าเซ็นเตอร์ | Cloudnone EP.22
- ถึงคลาวด์เคราะห์: ทำอย่างไรเมื่อบริการคลาวด์ที่ใช้ถูกยกเลิก | Cloudnone EP. 21
- รู้จักอาชีพ Site Reliability Engineer สำคัญยังไง? | Cloudnone EP. 20
- อธิบาย CrowdStrike ทางเทคนิค ทำไมถึงทำพีซีจอฟ้าเป็นล้านๆ เครื่อง | Cloudnone EP.19
- Kubernetes [Part 2] ยี่ห้อไหนดี งานไหนต้องใช้ แล้วเลือกยังไง? | Cloudnone EP.18
Comments
มวลมหาประชาชิป
หายหรือเปล่า
ตั้งแต่ยุคที่มี sli จนมา crossfire
ผมก็คิดนะว่าทำไมไม่ทำเป็นรุ่นที่รวมกันมาเลย
จนมายุค ai ที่ใช้ gpu เป็นแสน ต่อให้ workstation ai ขนาดเล็กยังใช้อย่างน้อยๆ ก็8 ตัวขึ้นไป ทำไมไม่ทำ ขนาดเวเฟ่อที่ใหญ่ขึ้นไปเลยเพราะยังไงตลาดใหญ่ของกลุ่มนี้ ไม่ใช่คนซื้อตัวสองตัวอยู่แล้วอ่ะนะ ส่วนตลาดรายย่อยก็ดันให้ไปซื้อ RTX แทนไป
แต่คิดๆ ดูอีกแง่ ยิ่งแผ่นใหญ่แบบนี้ yield จะเป็นยังไงนะ… ถ้า mass ได้จริงและราคาสมเหตสมผลคุ้มค่ากว่าซื้อของคู่แข่ง ก็น่าจะทำให้ตลาดบันเทิงได้เลยทีเดียว
ปกติwafer แผ่นนึงมันไม่ได้ใช้ได้ทั้งแผ่นมันหั่นออกเป็นชิ้นเล็กๆมันก็ได้ มีทั้งส่วนที่ดีและไม่ดี เทสไม่ผ่านก็เป็นของเสีย
ถ้าทำchip ใหญ่ๆถ้าเทสไม่ผ่านก็คือทิ้งทั้งแผ่นเลย เปลืองต้นทุนกว่าแน่ๆ
ถ้าออกแบบดีๆ ปิดเฉพาะส่วนที่เสียก็ได้ครับ
รุ่นที่ไม่เสียก็ขายราคาเต็ม
รุ่นที่คอร์ไม่เต็มก็ขายราคาถูกลงมา
เหมือนที่ CPU บางเจ้าเปิดปิดคอร์ได้
ปกติ CPU ทำแบบนั้นไงครับ พวกปิดcore เสีย ก็ขายรุ่นเล็กลง
แต่ถ้าแบบในข่าวนี้คือจำนวน core เยอะมากๆ ไม่งั้นคือต้องผลิตแบบเผื่อ core เสียเยอะๆจะได้yieldแบบลงpackageได้พอดีๆ มองยังไงก็ต้นทุนสูงกว่านะครับ
ทำแค่ไม่กี่ SKU ก็พอครับ ผู้ผลิตจะรู้ดีอยู่แล้วว่าหลังจากเข้าไลน์ผลิตจริงเป็น Mass production ส่วนใหญ่จะเสียกี่ core ทำเป็นกลุ่ม ซอย SKU ไม่เยอะให้ขายได้แบบไม่ต้องทิ้งทั้งแผ่น
อาจจะ
เอามาทำงาน Generic ได้ไหมนะ
น่าจะขึ้นอยู่กับว่ากับต้องการความแม่นยำแค่ไหนในการคำนวณครับ float16 กับ float32
แล้วก็จะถูกสั่ง ห้ามขายให้จีนอีกไหม
WE ARE THE 99%
ชิป AI เอามาเล่นเกมได้เปล่านี่
ไม่น่าจะเวิคมั้ง มันคำนวนไม่เหมือนกัน แต่ทำให้ผมคิดว่า ถ้า intel amd nvidia บ้าจี้ตาม ต่อไปเราอาจจะมี deskTop ตามบ้านเครื่องเท่าตู้เย็นก็ได้นะแบบนี้ 😅 แต่ได้ความแรงแบบก้าวกระโดด พร้อมราคาก้าวกระโดด😂
ผมคิดว่าจะเหมือนเอาการ์ดจอมารัน AI ใช้พวก CUDA core งี้ ฮ่าๆ
ถ้าเอามาใช้งานในฐานะ Co-processor ล่ะก็ ได้
Ubisoft AI จำลองฟิสิกส์ แม้จะไม่ได้แม่นยำมากแต่มันเร็วมาก
NVIDIA AI จำลองมวลของเหลว
Intel AI ทำให้สีของภาพสมจริงยิ่งขึ้น
บน Windows 11 เห็นแว้บ ๆ ว่าเอา NPU มา Upscale ภาพได้ด้วย
แต่ถ้าถามว่าเอามารัน "ทั้งเกม" โดยใช้เป็นชิป General Purpose ได้ไหม มันเป็นไปไม่ได้ตั้งแต่ GPU หรือ Math-coprocessor แล้ว ขนาด SPU ของ CELL เองยังทำงานด้วยตัวเองไม่ได้ ต้องให้ PPU ควบคุม และ DMA เข้าออกอีกที อนึ่งชิปพวกนี้ก็เอาชิป General Purpose มาตัดส่วนที่ไม่จำเป็นออกไปอยู่แล้ว ต่อให้มันทำงานแบบ CPU ได้ก็ไปตันกับคำสั่งที่มันไม่รู้ แล้วจำลอง Instruction เยอะ ๆ จนมันช้าลงไปอยู่ดี หรือบางทีก็เป็นไปไม่ได้เลย
เพราะคิดว่ามันจะเหมือน GPU ที่เราใช้กันทั่วๆ งี้นะครับ เอาแทน CPU เพียวๆ เลยผมไม่น่าจะได้อยู่
Yield น่าจะน้อยจนแพงสุดๆ
ไม่ต้องยืนโชว์แผ่นเวเฟอร์ถ่ายรูปแล้ว ยืนถือแผ่นชิปแค่ตัวเดียวก็พอ
เพิ่งเคยเห็นชิปใหญ่ขนาดนี้วุ้ย
..: เรื่อยไป
บ้านอยู่ใกช้แหลมฉบัง เห็นชิปมาหลายขนาดแล้ว
ถ้าเอาไปแล่นในอ่าว ชิปนี้เล็กที่สุดเท่าที่เคยเห็นมาเลย ^_^