浪潮推出元脑R1推理服务器 单机可释放DeepSeek 671B算力

成都服务器总代理 浪潮官网 2025-04-09 08:57 28

近日,浪潮信息正式推出元脑R1推理服务器,通过系统创新和软硬协同优化,单机即可部署运行DeepSeek R1 671B模型,帮助客户显著降低DeepSeek R1全参数模型的部署难度及成本,并提升推理服务性能,加速千行百业探索智能涌现。

image.png

当前,DeepSeek开源多版本模型,助力各行业加速应用大模型技术推动业务升级转型。其中,DeepSeek R1 671B模型作为全参数基础大模型,相比蒸馏模型具有更强的泛化能力、更高的准确性和更好的上下文理解能力,但也对系统显存容量、显存带宽、互连带宽和延迟提出了更高要求:在FP8精度下至少需要约800GB显存承载,FP16/BF16精度下需要1.4TB以上的显存空间;此外,DeepSeek R1是典型的长思维链模型,具有短输入、长输出的应用特点,推理解码阶段依赖更高的显存带宽和极低的通信延迟。面向671B模型的算力特征和系统需求,元脑R1推理服务器提供领先的显存容量、显存带宽和通信速度,能够助力企业高效完成DeepSeek全参数模型的本地化部署。

元脑R1推理服务器NF5688G7是领先的高算效AI计算平台,原生搭载FP8计算引擎,针对DeepSeek R1 671B模型部署速度快且无精度损失。在显存方面,提供1128GB HBM3e高速显存,满足671B模型 FP8精度下不低于800GB显存容量的需求,单机支持全量模型推理情况下,仍保留充足的KV缓存空间。显存带宽高达4.8TB/s,完美契合DeepSeek R1模型"短输入长输出、显存带宽敏感"的技术特征,在推理解码阶段可实现极致加速。在通信方面,GPU P2P带宽达900GB/s,保障单机部署张量并行最佳通讯性能,基于最新推理框架单机可支持20-30用户并发。同时,单台NF5688G7配备3200Gbps无损扩展网络,可根据用户业务需求增长实现敏捷扩展,提供成熟的R1服务器集群Turnkey解决方案。

元脑R1推理服务器NF5868G8是专为大推理模型(Large Reasoning Model)创新设计的高吞吐推理服务器,业界首次实现单机支持16张标准PCIe双宽卡,提供高达1536GB显存容量,支持在FP16/BF16精度下单机部署DeepSeek 671B模型。创新研发基于PCIe Fabric的16卡全互连拓扑,任意两卡P2P通信带宽可达128GB/s,降低通信延迟超60%。通过软硬协同优化,相较传统2机8卡PCIe机型,NF5868G8可将DeepSeek 671B模型推理性能提升近40%,目前已支持多元AI加速卡选配。

浪潮信息是全球领先的IT基础设施产品、方案和服务提供商,通过发展新一代以系统为核心的计算架构,打造开放、多元、绿色的元脑智算产品和方案。浪潮信息致力于AI计算平台、资源平台和算法平台的研发创新,并通过元脑生态携手领先伙伴,加速人工智能的创新和应用落地。

成都GPU服务器定制:028-85041134, 18380340549


HOT NEWS
  • IDC:2024年中国液冷服务器高速增长,浪潮信息份额蝉联第一

    【成都浪潮服务器总代理】在全球数字化与智能化飞速发展的当下,液冷技术正成为各行各业关注的焦点,在全球范围内的渗透率稳步提升。中国液冷市场也展现出强劲的增长势能和巨大发展前景,IDC预计,2024-2029年中国液冷服务器市场年复合增长率将达到46.8%,2029年市场规模将达到162亿美元。

    浏览510
  • 浪潮信息新品引领AI服务器潮流,助力数字化转型

    浏览111
  • 浪潮NF5468M7 8卡GPU服务器按需定制_成都浪潮服务器代理商

    【成都浪潮服务器代理商】浪潮NF5468G7是浪潮信息畅销海内外NF5468系列的最新产品,是具备卓越多元算力性能、极致弹性架构扩展的全新一代人工智能服务器,4U空间内部署8颗最高性能GPU,可根据应用场景实现拓扑切换。搭载2颗Intel第四代/第五代至强可扩展处理器,提供多达112个处理器核心、8TB系统内存和300TB本地高速存储,面向深度学习、元宇宙、AIGC、AI+Science等复杂应用场景,打造智算时代最强适应性多元算力平台。

    浏览98
  • 首个车间数字孪生国家标准发布!浪潮信息参编

    标准由浪潮信息与多家企业、高校和研究所共同编制,是首个面向车间级的数字孪生架构标准,将于2026年1月1日起实施。此标准为广大企业规划、建设和使用车间数字孪生提供规范性参考,以加快智能制造应用实践,提升建设效率。

    浏览72
  • 浪潮元脑NF5270M7服务器:全能型算力引擎,解锁大数据与云时代高效赋能!

    【成都浪潮服务器总代理】浪潮NF5270G7机架式服务器面向中等规模企业客户市场推出的双路机架式服务器,实现性能、扩展性与经济性的均衡设计,满足业务对于计算性能、存储性能、网络带宽要求的前提下,具有非常优异的性价比,特别适合大数据、CDN、虚拟化、非关系型数据库、视频编解码等场景。

    浏览64
GUESS YOU LIKE
换一批
联系我们
在线咨询
QQ咨询 微信咨询
电话咨询
028-85041134 18380340549
提交项目需求 > 用户意见反馈 > 更多联系方式 >