ในฐานะที่เป็นแบบจำลอง AI มีการพัฒนาเกินกว่าสเกลพารามิเตอร์ล้านล้านตัวอุตสาหกรรมต้องการประสิทธิภาพและความสามารถที่รุนแรง ป้อน NVIDIA H100 96GB PCIE OEM ซึ่งเป็น PCIE ที่ทรงพลังที่สุดGPUเคยสร้างการรวมสถาปัตยกรรมฮ็อปเปอร์ 96GB ของหน่วยความจำ HBM3 ที่เร็วเป็นพิเศษและการเร่งความเร็วความแม่นยำของ FP8 เพื่อปลดล็อกระดับประสิทธิภาพที่ไม่เคยเกิดขึ้นมาก่อนในรูปแบบ PCIe
สร้างขึ้นสำหรับรุ่นขนาดใหญ่ที่ได้รับการสนับสนุนจากจำนวนจริง
ด้วย onboard 96GB HBM3 นี่GPUออกแบบมาเพื่อจัดการ:
GPT-4, Claude 3, Gemini 1.5, Llama 3-400B
Multi-modal LLM และ Models Diffusion (วิดีโอ, Vision, Voice)
การอนุมาน AI AI แบบเรียลไทม์ต่ำในระดับ
การปรับแต่งโมเดลระดับองค์กร (RAG, SFT, LORA)
ข้อกำหนดที่สำคัญ:
หน่วยความจำ: 96GB HBM3, แบนด์วิดธ์สูงถึง 3.35TB/s
ประสิทธิภาพของเทนเซอร์: สูงถึง 4,000 TFLOPS (FP8) ด้วยเครื่องยนต์หม้อแปลง
ประสิทธิภาพสูงสุด FP16: มากกว่า 2,000 tflops
อินเตอร์เฟส PCIE: PCIE GEN5 X16
สถาปัตยกรรม: Nvidia Hopper (H100)
ข้อมูลประสิทธิภาพ:
ในเกณฑ์มาตรฐานภายใน NVIDIA, H100 96GB PCIe ทำได้:
การฝึกอบรม GPT-J ที่เร็วขึ้นถึง 3.5 ×เทียบกับ A100 80GB PCIe
2.6 ×สูงกว่าปริมาณการอนุมาน LLM เทียบกับ H100 80GB
การรองรับ Multi-Instance GPU (MIG) ที่มีประสิทธิภาพช่วยให้เวิร์กโหลด AI-AS-A-Service ปลอดภัยบนการ์ดใบเดียวที่ปลอดภัย
OEM Advantage: พลังเดียวกันการจัดหาอย่างชาญฉลาด
รุ่น H100 96GB PCIe OEM ให้ประสิทธิภาพการคำนวณที่เหมือนกันเป็นรุ่นค้าปลีก แต่ในระดับ TCO ที่ต่ำกว่าอย่างมีนัยสำคัญ เหมาะสำหรับ:
ผู้รวมเซิร์ฟเวอร์ GPU
ผู้ให้บริการคลาวด์ AI
ห้องปฏิบัติการแห่งชาติและกลุ่มมหาวิทยาลัย
แพลตฟอร์มการเปรียบเทียบชิป AI
ไฮไลท์เวอร์ชัน OEM:
GPUs ใหม่ 100%
บรรจุภัณฑ์ถาดจำนวนมากหรือหน่วยป้องกันการปิดผนึกแบบคงที่
ความเข้ากันได้ทั่วโลก (Supermicro, Dell, Asus, แพลตฟอร์มกิกะไบต์)
การรับประกันที่ยืดหยุ่น (1-3 ปีขึ้นอยู่กับปริมาณ)
มีให้สำหรับการจัดส่งปริมาณ
ใช้กรณี: AI สุดขั้วทุกที่
การฝึกอบรมและการปรับแต่ง LLM-Finetune รุ่นใหญ่ในบ้านหลีกเลี่ยงค่าใช้จ่ายคลาวด์สาธารณะ
การอัพเกรดโครงสร้างพื้นฐาน AI - แทนที่โหนด A100 ด้วยประสิทธิภาพ 2-3 ×ต่อวัตต์
การอนุมาน AI-as-A-Service (AIAAS)-ให้บริการหลายพันครั้งโดยใช้ MIG หรือท่อส่ง
การแพทย์ AI-การถ่ายภาพที่แม่นยำการค้นพบยาการวินิจฉัยแบบเรียลไทม์
ระบบอัตโนมัติ-ฟิวชั่นหลายเซ็นเซอร์การจำลองและการเรียนรู้นโยบาย
“ PCIe H100 96GB เดียวสามารถจับคู่หรือมีประสิทธิภาพสูงกว่า A100 หลายตัวในเวิร์กโหลดที่ใช้หม้อแปลง-ลดขนาดคลัสเตอร์การใช้พลังงานและค่าใช้จ่าย” - Nvidia, 2024 whitepaper
