Tags:
Node Thumbnail

AMD ออกเบนช์มาร์คเปรียบเทียบสมรรถนะของชิป NPU ใน Ryzen Mobile 7040/8040 เทียบกับคู่แข่ง Intel Core Ultra

AMD NPU มีสมรรถนะตามสเปกที่ 16 TOPS ในขณะที่ NPU ของอินเทลทำได้ 10 TOPS แต่รอบนี้ AMD ลองนำมารันโมเดล LLM ยอดนิยมในตลาดอย่าง Llama 2 และ Mistral เปรียบเทียบให้ดูว่าได้ผลเป็นอย่างไร

คะแนนเบนช์มาร์คแยกเป็น จำนวน token ต่อวินาที ที่ชิปของ AMD เหนือกว่าราว 14-17% แต่ถ้าวัดเป็นระยะเวลารอคอยคำตอบ token แรก ในเคสของ Llama 2 ทำเวลาได้เร็วกว่า 71% และเคสของ Mistral ทำได้เร็วกว่า 41%

ประเด็นเรื่อง NPU ของอินเทลมีสเปกต่ำกว่า เป็นเรื่องที่อินเทลรับทราบอยู่แล้ว และบอกว่าในซีพียูรุ่นหน้าโค้ดเนม Lunar Lake จะขยับขึ้นมาเป็น 40 TOPS อย่างไรก็ตาม ตลาด NPU ฝั่งพีซีจะเจอกับ Snapdragon X Elite สมรรถนะ 45 TOPS ที่จะออกสินค้าจริงในช่วงกลางปีนี้

ที่มา - AMD via Tom's Hardware

No Description

No Description

Get latest news from Blognone

Comments

By: TeamKiller
ContributoriPhone
on 7 April 2024 - 23:55 #1309419
TeamKiller's picture

สำหรับงานทั่วๆ ไปหรือเล่นเกมนี่ ชิป NPU จะเอามาช่วยอะไรได้บ้างเนี่ย

By: atmas
ContributorIn Love
on 8 April 2024 - 00:35 #1309421 Reply to:1309419
atmas's picture

not now-now but soon enough..


[S]

By: mk
FounderAndroid
on 8 April 2024 - 06:23 #1309426 Reply to:1309419
mk's picture

อันที่จับต้องได้ที่สุดตอนนี้น่าจะเป็น เอามาช่วยปรับภาพ video call ครับ

Windows Studio Effect

By: Tasksenger on 8 April 2024 - 09:11 #1309434 Reply to:1309419

งานแปลงเสียงพูดเป็นข้อความ น่าจะทำงานได้ดีขึ้น ทั้งในด้านตัดเสียงรบกวน การวิเคราะห์ในฝั่งปลายทางที่เร็วขึ้น รวมถึงเรื่องการใช้ปัญญาประดิษฐ์ช่วยในการจัดการการทำประชุม Online สามารถทำได้หลากหลาย และมีข้อจำกัดน้อยลงนั่นแหล่ะครับ เทคโนโลยีบางอย่างก็ทำเพื่อรออนาคตเหมือนกัน แต่หลักๆ ผมว่าน่าจะเป็นพวกนี้ เพราะมันเป็นทิศทางที่คอมพิวเตอร์ในอนาคตน่าจะไปทางนั้น โดยเฉพาะคอมพิวเตอร์ในองค์กร ที่ต่อไปแนวโน้มการประชุมน่าจะทำผ่านห้องประชุมเสมือนเป็นหลักเพราะคนเริ่มคุ้นเคยกันแล้ว แล้วเท่าที่ผมลองมา การจัดการ Stream ของข้อมูลพวกนี้ของปัญญาประดิษฐ์ทำได้ดีมากๆ ถึงแม้จะใช้ชิปยังไม่รองรับโดยตรงก็ตาม ซึ่งหมายถึงเทคโนโลยีทางซอฟต์แวร์มันก็มุ่งมาทางการจัดการข้อมูลใน Stream ให้มีประสิทธิภาพสูงขึ้นเรื่อยๆ ซึ่งงานเหล่านี้ถ้าได้ชิปเฉพาะมาช่วยก็จะทำให้ขีดจำกัดน้อยลง ต่อไปเมื่อเราประชุมเสร็จ อาจไม่ต้องใช้เลขาฯ ประชุมกันแล้วก็ได้ มีรายงานประชุมส่งทางอีเมล์จากปัญญาประดิษฐ์เลย ซึ่งตรงนี้ต้องอาศัยชิปประมวลผลฝั่งปลายทางร่วมด้วยเพื่อลดโหลดการทำงานฝั่ง Server โดยเฉพาะการวิเคราะห์ข้อมูลภาพ และเสียง

เอาเป็นว่าระบบ Virtual Meeting แบบใช้ปัญญาประดิษฐ์ช่วยในการจัดการการประชุม น่าจะมาก่อน Metaverse แล้วกันครับ เพราะมันขายได้แน่นอน (ผมมี Bias นะครับ เพราะผมกำลังทำงานพวกนี้อยู่ ก็เลยอาจสนใจเรื่องพวกนี้ซะเป็นส่วนใหญ่ อาจมีงานอื่นที่เหมาะสมที่เขาจะนำไปใช้งานก็ได้)

By: Mekokung
ContributorAndroidWindows
on 8 April 2024 - 12:10 #1309447 Reply to:1309434
Mekokung's picture

แล้วถ้าเป็นงาน ai image generative อย่าง stable diffusion กับงานพวกกราฟิกหรือ 3d อย่าง Photoshop หรือ autocad ตัว NPU จะเข้ามาช่วยได้มากไหมครับ? หรือยังจำเป็นต้องใช้ GPU อยู่ดี?


Mekokung's Story บล็อกส่วนตัวที่ย้ายไป Blogger แล้วนะ

By: Tasksenger on 8 April 2024 - 16:52 #1309465 Reply to:1309447

ถ้าว่าตามตัวอักษร หรือที่เราพบเจอใน Internet หรือคำทางการตลาดที่เขามักใช้กัน ก็ต้องบอกว่ามันทำงานคนละอย่าง แต่ถ้าว่าทางเทคนิค และหลักความเป็นจริง มันก็อยู่ที่ว่าซอฟต์แวร์ตัวนั้น หรืออัลกอริทึ่มนั้นเขาได้พัฒนาให้รองรับ NPU หรือเปล่าครับ ถ้ารองรับมันก็จะทำงานได้ดีขึ้น แต่ถ้าไม่รองรับมันก็ทำงานได้ แต่ก็จะใช้พลังงานประมวลผลจากหน่วยประมวลผลอื่นสูง จึงทำให้เกิดคอขวดในบางกรณี (งง ไหมเนี่ย ไม่รู้ว่าจะบอกว่าไงดี บางเรื่องมันก็เป็นเรื่องของการตลาด เพราะโดยพื้นฐานของคอมพิวเตอร์สุดท้ายมันก็ทำงานในแบบเดียวกันในขั้นตอนสุดท้ายอยู่ดี ดังนั้นไม่ว่าจะใช้ CPU, GPU , NPU แต่ท้ายสุดมันก็จะต้องแปลงเป็นคำสั่งเครื่องเพื่อทำงาน)

เอาเป็นว่าถ้ากระแสนี้จุดติด ผู้พัฒนา OS เห็นความสำคัญ เขาก็น่าจะทำให้รองรับในระดับ OS เลย ตรงนั้นก็จะทำให้โปรแกรมที่เรียกใช้คำสั่งมาตรฐานก็จะได้รับอานิสงค์ไป แต่ถ้ายังก็คงต้องดูเงื่อนไขในการใช้งานของ software แต่ละตัวว่ารองรับหรือไม่ เพราะซอฟต์แวร์บางตัวเขาก็ไม่ได้ประมวลผลที่เครื่องเรา แต่ประมวลผลที่ Server มันก็เลยทำได้ถึงแม้เครื่องเราไม่รองรับ

ตัว NPU นี่มันจะติดตั้งในเครื่อง client มันจะช่วยให้การประมวลผล raw data ทำได้ดีขึ้นก่อนจะส่งขึ้นไปประมวลผลเต็มรูปแบบบน Server อีกที เช่น เรื่องเสียง NPU จะมาช่วยเรื่องการตัดเสียงรบกวน หรือแปลง Stream เสียงให้เป็นข้อความก่อนไปทำงานต่อบน Server (ในอนาคตนะครับ ตอนนี้ยังมีน้อยมากที่ทำได้แบบนี้ได้) นั่นหมายถึงว่าอนาคตถ้ามันรองรับก็จะทำให้การทำงานเหล่านี้ดีขึ้น เร็วขึ้น แต่ถามว่าปัจจุบันทำได้ไหม ก็ทำได้ แต่มันยังห่างไกลจากสิ่งที่เราเห็นในหนัง Sci-fi แต่ถ้ามี NPU มันก็จะใกล้เข้ามาอีกระดับนึง (ถ้างง ก็ข้ามไปเถอะครับ ผมเป็นพวกไม่ใช่อ้างอิงตามตัวอักษร ผมจะใช้ความเข้าใจเป็นหลัก บางเรื่องผมจะเข้าใจเองคนเดียวก็มี 555)

ทั้งนี้รวมไปถึงความเป็นไปได้ที่เราจะเอา model ขนาดใหญ่ลงมาประมวลผลด้านล่างโดยไม่ต้องส่งข้อมูลกลับไปยัง Server เลยก็ได้ในบางกรณี ถ้าเขาพัฒนาจนสุดทาง

By: Mekokung
ContributorAndroidWindows
on 8 April 2024 - 23:26 #1309475 Reply to:1309465
Mekokung's picture

เข้าใจตามที่พิมพ์มาครับ ขอบคุณสำหรับความเห็นครับ

คงต้องรอให้ตัวนักพัฒนาเองออกมาทำให้รองรับก่อนถึงจะเปลี่ยนไปใช้ที่มี NPU


Mekokung's Story บล็อกส่วนตัวที่ย้ายไป Blogger แล้วนะ

By: sukoom2001
ContributorAndroidUbuntu
on 8 April 2024 - 01:43 #1309422
sukoom2001's picture

แล้ว 8050 จะทันปีนี้ไหม หรือจะเป็น 9050