AMD เผยรายละเอียดผลการทดสอบในรอบ MLPerf Training v5.1 เมื่อวันที่ 12 พฤศจิกายน 2025 โดยนำเสนอประสิทธิภาพของ GPU รุ่นใหม่ AMD Instinct MI355X และ MI350X เป็นครั้งแรก พร้อมการเปิดตัวเบนช์มาร์กใหม่ Llama 3.1 8B Pretraining ที่ AMD เป็นผู้นำพัฒนา เพื่อให้สถาบันวิจัยและบริษัทขนาดเล็กเข้าถึงการประเมินคุณภาพการฝึก LLM ได้ง่ายขึ้น

นอกจากนี้ AMD ยังส่งผลทดสอบรวมสามเจเนอเรชันของ Instinct GPU ได้แก่ MI355X, MI350X, MI325X และ MI300X นับเป็นรอบที่มีพาร์ตเนอร์เข้าร่วมส่งผลมากที่สุดของ AMD และเป็นสัญญาณว่าตลาด AI เริ่มเปิดรับฮาร์ดแวร์ของ AMD มากขึ้นเรื่อย ๆ

AMD Instinct MI355X / MI350X: สถาปัตยกรรม CDNA 4 พร้อม FP4 / FP8 สำหรับยุค LLM

MI355X ถูกออกแบบมาเพื่องาน AI สเกลใหญ่โดยเฉพาะ ใช้สถาปัตยกรรม AMD CDNA 4 ที่ให้ประสิทธิภาพสูง และรองรับงานทั้งการฝึกและอินเฟอเรนซ์ LLM อย่างเต็มรูปแบบ จุดเด่นประกอบด้วย:

• รองรับ FP4 และ FP8 อย่างเต็มรูปแบบ
• พลังประมวลผลสูงสุด 20 PFLOPS (FP4)
• HBM3e ขนาด 288GB แบนด์วิดท์ 8TB/s
• ออกแบบสำหรับงาน Multi-user และ Model Serving จำนวนมาก
• รองรับระบบ Liquid Cooling เพื่อคงความเสถียรและลดพลังงาน

ภาพรวมคือ AMD ต้องการวาง MI355X เป็นคู่แข่งโดยตรงของ Nvidia Blackwell ในตลาด LLM Training/Inference ที่กำลังเติบโตอย่างรวดเร็ว

เบนช์มาร์กที่ AMD ส่งใน MLPerf Training v5.1

AMD ส่งผลทดสอบในงานสำคัญสองรายการ ได้แก่ Llama 2 70B LoRA Finetuning และ Llama 3.1 8B Pretraining ซึ่งเป็นรุ่นใหม่ล่าสุดที่ AMD นำพัฒนาเอง

Llama 2 70B LoRA Finetuning เป็นงานทดสอบยอดนิยมที่สุดใน MLPerf Training ใช้เทคนิค Parameter-Efficient Fine-Tuning (PEFT) อย่าง LoRA เพื่อลดการใช้หน่วยความจำและเร่งเวลาเทรน เหมาะสำหรับทดสอบประสิทธิภาพระบบ LLM จำนวนมาก

Llama 3.1 8B Pretraining ถูกสร้างมาเพื่อให้เข้าถึงได้ง่ายกว่าเบนช์มาร์กรุ่นใหญ่ Llama 3.1 405B ใช้เพียง 1 node ก็สามารถรันได้ แต่ยังคงโครงสร้างการวัดผลเดิม เช่น perplexity และ dataset ที่เหมือนกัน

• ใช้ C4 dataset
• ไม่ใช้ checkpoint เริ่มจาก random weights
• สามารถปรับ batch size, learning rate, warmup samples ได้
• ถูกออกแบบให้รองรับจากระดับเล็กไปจนถึงสเกลใหญ่

เทคนิคเร่งประสิทธิภาพที่ใช้ในรอบนี้

AMD อธิบายการเพิ่มประสิทธิภาพเชิงลึกหลายระดับ ตั้งแต่ kernel-level ไปจนถึงระบบปฏิบัติการ โดยเฉพาะงาน LLM ที่ใช้ GEMM และ Attention สูงมาก

• GEMM Optimization: ปรับ tile size, scheduling และ memory pattern พร้อมอัปสตรีมเข้า hipBLASLt
• Flash Attention v3: ใช้ AITER framework ทำให้เร็วกว่าเวอร์ชันเดิมอย่างชัดเจน
• Validation Optimization: ลดเวลาจาก 15 นาที เหลือ 3 นาที เพียงแค่ปรับจำนวน DataLoader workers
• อัปเกรด ROCm และ PyTorch: ROCm 7 + PyTorch 2.8 รองรับ gfx950 (MI355X) เต็มที่
• Transformer Engine Improvements: เพิ่มประสิทธิภาพ SwiGLU, Fused Cross-Entropy และลด peak memory ด้วย 8-bit activation
• System-Level Tuning: ปิด NUMA balancing, เปิด Transparent Huge Pages, ล้าง FS cache, ตั้ง CPU เป็นโหมด Performance

ผลลัพธ์ใน MLPerf Training v5.1: AMD สูสี Nvidia อย่างมาก

ผลทดสอบรอบนี้แสดงว่า GPU ของ AMD มีประสิทธิภาพใกล้เคียงกับแพลตฟอร์ม Nvidia Blackwell รุ่นล่าสุดอย่างมาก:

• Llama 2 70B LoRA: MI355X ช้ากว่า Nvidia B200 เพียง 3% และช้ากว่า B300 เพียง 6%
• Llama 3.1 8B Pretrain: MI355X ช้ากว่า B200 เพียง 6% และช้ากว่า B300 เพียง 5%

ยิ่งไปกว่านั้น เมื่อเทียบกับผล FP8 รุ่นก่อนหน้า:

MI355X (10.18 นาที) ชนะ GB200 ของ Nvidia (11.145 นาที) ประมาณ 10%

น่าสังเกตว่า Nvidia ไม่มี FP8 ส่งในรอบนี้ และส่งเฉพาะ FP4 ซึ่ง AMD ระบุว่ายังไม่พร้อมใช้งานจริงสำหรับการเทรน

สรุปความหมายต่ออุตสาหกรรม

MLPerf Training v5.1 รอบนี้ตอกย้ำว่า AMD Instinct GPU เป็นทางเลือกที่จริงจังสำหรับงาน LLM Training/Inference ไม่ใช่แค่รองรับเท่านั้น แต่สามารถแข่งขันและบางจุดทำได้ดีกว่า Nvidia ด้วยซ้ำ

ทั้งด้านฮาร์ดแวร์ที่เน้นแบนด์วิดท์สูงและสถาปัตยกรรมสำหรับ AI โดยตรง รวมถึงซอฟต์แวร์ ROCm ที่เติบโตเร็วมาก จาก kernel, attention, transformer engine ไปจนถึงระบบสื่อสารระดับคลัสเตอร์ ทำให้ AMD เป็นตัวเลือกที่น่าเชื่อถือสำหรับองค์กรที่ต้องการฝึก LLM ระดับใหญ่

ที่มา: ROCm Blog (AMD)