Tags:
Node Thumbnail

บริษัทคอมพิวเตอร์ gptshop.ai ประกาศขายพีซีสำหรับใช้ในบ้านแต่ใช้ชิป NVIDIA GH200 ซีพียูพร้อมชิปกราฟิกจาก NVIDIA ที่มักใช้งานกันในเซิร์ฟเวอร์เป็นหลัก หลักจากผู้ก่อตั้งบริษัทพบว่าชิปสำหรับผู้ใช้ทั่วไปอย่าง NVIDIA RTX 4090 นั้นไม่พอรันโมเดลปัญญาประดิษฐ์ใหม่ๆ

ชิป GH200 นั้นเริ่มต้นรุ่นต่ำสุดมาพร้อมแรม LPDDR5X ขนาด 480GB และส่วนกราฟิก H100 พร้อมแรม HBM3 96GB ทำให้รุ่นเริ่มต้นมีแรมรวม 576GB ราคารุ่นเริ่มต้นอยู่ที่ 47,500 ยูโร หรือ 1.85 ล้านบาท เพียงพอสำหรับการรัน Llama 2 70B ของ Meta แบบย่อ (quantized) เป็น FP8 หากซื้อรุ่นแรมกราฟิก 144GB ก็จะรันแบบ FP16 ได้ด้วย หรือจะคอนฟิกให้ใช้แรมซีพียูก็จะรันโมเดลขนาดใหญ่ขึ้นได้ แต่โมเดลจะรันช้าลง

ความยากในการสร้างพีซีด้วยชิป GH200 คือการระบายความร้อนที่เซิร์ฟเวอร์ปกติพยายามระบายความร้อนระดับพันวัตต์ออกจากเครื่องให้เร็วที่สุดโดยไม่สนใจเสียงนัก แต่ gptstore.ai ต้องออกแบบเครื่องใหม่ให้เสียงเบาลงพอจะใช้งานในบ้านได้

ชิป GH200 ไม่ได้มีขายแยกชิ้นจาก NVIDIA เครื่องที่มีขายได้นี้เพราะบริษัทซื้อเซิร์ฟเวอร์เต็มตัวจาก QCT มาดัดแปลงจนเป็นเครื่องใช้งานในบ้าน อย่างไรก็ดี NVIDIA เองเคยขายเครื่อง DGX Station สำหรับใช้งานแบบเดสก์ทอปมาก่อนในสมัยชิป A100 แต่ยังไม่ได้อัพเดตให้รองรับชิป H100 หรือ GH200

ที่มา - The Register

No Description

Get latest news from Blognone

Comments

By: Azymik on 16 February 2024 - 16:47 #1305949

หลักจากผู้ก่อตั้ง

หลังจากผู้ก่อตั้ง

By: VirtualPrivateUser on 16 February 2024 - 19:31 #1305956

Workstation สมัยนี้อะเนาะ