AMD ออกเบนช์มาร์คเปรียบเทียบสมรรถนะของชิป NPU ใน Ryzen Mobile 7040/8040 เทียบกับคู่แข่ง Intel Core Ultra
AMD NPU มีสมรรถนะตามสเปกที่ 16 TOPS ในขณะที่ NPU ของอินเทลทำได้ 10 TOPS แต่รอบนี้ AMD ลองนำมารันโมเดล LLM ยอดนิยมในตลาดอย่าง Llama 2 และ Mistral เปรียบเทียบให้ดูว่าได้ผลเป็นอย่างไร
คะแนนเบนช์มาร์คแยกเป็น จำนวน token ต่อวินาที ที่ชิปของ AMD เหนือกว่าราว 14-17% แต่ถ้าวัดเป็นระยะเวลารอคอยคำตอบ token แรก ในเคสของ Llama 2 ทำเวลาได้เร็วกว่า 71% และเคสของ Mistral ทำได้เร็วกว่า 41%
ประเด็นเรื่อง NPU ของอินเทลมีสเปกต่ำกว่า เป็นเรื่องที่อินเทลรับทราบอยู่แล้ว และบอกว่าในซีพียูรุ่นหน้าโค้ดเนม Lunar Lake จะขยับขึ้นมาเป็น 40 TOPS อย่างไรก็ตาม ตลาด NPU ฝั่งพีซีจะเจอกับ Snapdragon X Elite สมรรถนะ 45 TOPS ที่จะออกสินค้าจริงในช่วงกลางปีนี้
ที่มา - AMD via Tom's Hardware
Comments
สำหรับงานทั่วๆ ไปหรือเล่นเกมนี่ ชิป NPU จะเอามาช่วยอะไรได้บ้างเนี่ย
not now-now but soon enough..
[S]
อันที่จับต้องได้ที่สุดตอนนี้น่าจะเป็น เอามาช่วยปรับภาพ video call ครับ
Windows Studio Effect
งานแปลงเสียงพูดเป็นข้อความ น่าจะทำงานได้ดีขึ้น ทั้งในด้านตัดเสียงรบกวน การวิเคราะห์ในฝั่งปลายทางที่เร็วขึ้น รวมถึงเรื่องการใช้ปัญญาประดิษฐ์ช่วยในการจัดการการทำประชุม Online สามารถทำได้หลากหลาย และมีข้อจำกัดน้อยลงนั่นแหล่ะครับ เทคโนโลยีบางอย่างก็ทำเพื่อรออนาคตเหมือนกัน แต่หลักๆ ผมว่าน่าจะเป็นพวกนี้ เพราะมันเป็นทิศทางที่คอมพิวเตอร์ในอนาคตน่าจะไปทางนั้น โดยเฉพาะคอมพิวเตอร์ในองค์กร ที่ต่อไปแนวโน้มการประชุมน่าจะทำผ่านห้องประชุมเสมือนเป็นหลักเพราะคนเริ่มคุ้นเคยกันแล้ว แล้วเท่าที่ผมลองมา การจัดการ Stream ของข้อมูลพวกนี้ของปัญญาประดิษฐ์ทำได้ดีมากๆ ถึงแม้จะใช้ชิปยังไม่รองรับโดยตรงก็ตาม ซึ่งหมายถึงเทคโนโลยีทางซอฟต์แวร์มันก็มุ่งมาทางการจัดการข้อมูลใน Stream ให้มีประสิทธิภาพสูงขึ้นเรื่อยๆ ซึ่งงานเหล่านี้ถ้าได้ชิปเฉพาะมาช่วยก็จะทำให้ขีดจำกัดน้อยลง ต่อไปเมื่อเราประชุมเสร็จ อาจไม่ต้องใช้เลขาฯ ประชุมกันแล้วก็ได้ มีรายงานประชุมส่งทางอีเมล์จากปัญญาประดิษฐ์เลย ซึ่งตรงนี้ต้องอาศัยชิปประมวลผลฝั่งปลายทางร่วมด้วยเพื่อลดโหลดการทำงานฝั่ง Server โดยเฉพาะการวิเคราะห์ข้อมูลภาพ และเสียง
เอาเป็นว่าระบบ Virtual Meeting แบบใช้ปัญญาประดิษฐ์ช่วยในการจัดการการประชุม น่าจะมาก่อน Metaverse แล้วกันครับ เพราะมันขายได้แน่นอน (ผมมี Bias นะครับ เพราะผมกำลังทำงานพวกนี้อยู่ ก็เลยอาจสนใจเรื่องพวกนี้ซะเป็นส่วนใหญ่ อาจมีงานอื่นที่เหมาะสมที่เขาจะนำไปใช้งานก็ได้)
แล้วถ้าเป็นงาน ai image generative อย่าง stable diffusion กับงานพวกกราฟิกหรือ 3d อย่าง Photoshop หรือ autocad ตัว NPU จะเข้ามาช่วยได้มากไหมครับ? หรือยังจำเป็นต้องใช้ GPU อยู่ดี?
Mekokung's Story บล็อกส่วนตัวที่ย้ายไป Blogger แล้วนะ
ถ้าว่าตามตัวอักษร หรือที่เราพบเจอใน Internet หรือคำทางการตลาดที่เขามักใช้กัน ก็ต้องบอกว่ามันทำงานคนละอย่าง แต่ถ้าว่าทางเทคนิค และหลักความเป็นจริง มันก็อยู่ที่ว่าซอฟต์แวร์ตัวนั้น หรืออัลกอริทึ่มนั้นเขาได้พัฒนาให้รองรับ NPU หรือเปล่าครับ ถ้ารองรับมันก็จะทำงานได้ดีขึ้น แต่ถ้าไม่รองรับมันก็ทำงานได้ แต่ก็จะใช้พลังงานประมวลผลจากหน่วยประมวลผลอื่นสูง จึงทำให้เกิดคอขวดในบางกรณี (งง ไหมเนี่ย ไม่รู้ว่าจะบอกว่าไงดี บางเรื่องมันก็เป็นเรื่องของการตลาด เพราะโดยพื้นฐานของคอมพิวเตอร์สุดท้ายมันก็ทำงานในแบบเดียวกันในขั้นตอนสุดท้ายอยู่ดี ดังนั้นไม่ว่าจะใช้ CPU, GPU , NPU แต่ท้ายสุดมันก็จะต้องแปลงเป็นคำสั่งเครื่องเพื่อทำงาน)
เอาเป็นว่าถ้ากระแสนี้จุดติด ผู้พัฒนา OS เห็นความสำคัญ เขาก็น่าจะทำให้รองรับในระดับ OS เลย ตรงนั้นก็จะทำให้โปรแกรมที่เรียกใช้คำสั่งมาตรฐานก็จะได้รับอานิสงค์ไป แต่ถ้ายังก็คงต้องดูเงื่อนไขในการใช้งานของ software แต่ละตัวว่ารองรับหรือไม่ เพราะซอฟต์แวร์บางตัวเขาก็ไม่ได้ประมวลผลที่เครื่องเรา แต่ประมวลผลที่ Server มันก็เลยทำได้ถึงแม้เครื่องเราไม่รองรับ
ตัว NPU นี่มันจะติดตั้งในเครื่อง client มันจะช่วยให้การประมวลผล raw data ทำได้ดีขึ้นก่อนจะส่งขึ้นไปประมวลผลเต็มรูปแบบบน Server อีกที เช่น เรื่องเสียง NPU จะมาช่วยเรื่องการตัดเสียงรบกวน หรือแปลง Stream เสียงให้เป็นข้อความก่อนไปทำงานต่อบน Server (ในอนาคตนะครับ ตอนนี้ยังมีน้อยมากที่ทำได้แบบนี้ได้) นั่นหมายถึงว่าอนาคตถ้ามันรองรับก็จะทำให้การทำงานเหล่านี้ดีขึ้น เร็วขึ้น แต่ถามว่าปัจจุบันทำได้ไหม ก็ทำได้ แต่มันยังห่างไกลจากสิ่งที่เราเห็นในหนัง Sci-fi แต่ถ้ามี NPU มันก็จะใกล้เข้ามาอีกระดับนึง (ถ้างง ก็ข้ามไปเถอะครับ ผมเป็นพวกไม่ใช่อ้างอิงตามตัวอักษร ผมจะใช้ความเข้าใจเป็นหลัก บางเรื่องผมจะเข้าใจเองคนเดียวก็มี 555)
ทั้งนี้รวมไปถึงความเป็นไปได้ที่เราจะเอา model ขนาดใหญ่ลงมาประมวลผลด้านล่างโดยไม่ต้องส่งข้อมูลกลับไปยัง Server เลยก็ได้ในบางกรณี ถ้าเขาพัฒนาจนสุดทาง
เข้าใจตามที่พิมพ์มาครับ ขอบคุณสำหรับความเห็นครับ
คงต้องรอให้ตัวนักพัฒนาเองออกมาทำให้รองรับก่อนถึงจะเปลี่ยนไปใช้ที่มี NPU
Mekokung's Story บล็อกส่วนตัวที่ย้ายไป Blogger แล้วนะ
แล้ว 8050 จะทันปีนี้ไหม หรือจะเป็น 9050