毅伯智算发布DeepSeek满血版一体机,性能超英伟达四成

受GPU硬件性能的限制,市场上满血版推理一体机存在单机、双机甚至四机等多种部署方案,但是双机方案相对单机方案的硬件成本和功耗会都会翻倍,四机则更高,并增加额外的组网和运维成本。

1

为向行业提供真实、可验证的推理性能,软硬协同算力解决方案提供商毅伯智算,近日向市场全新推出搭载满血版DeepSeek-R1-671B的8卡推理一体机TORA3000,其推理性能相比英伟达H20-141G高出四成,达到业界领先水平,并且实现了硬件、组网、功耗的综合成本最优。 
1

毅伯智算是国内少有的实现全栈自研的软硬协同算力解决方案提供商,团队凝聚了超百人的AI工程师,其中核心成员在人工智能与超算领域拥有超10年的研发经验。过去三年,团队始终致力于全栈式AI训推平台的研发,并于2024年依托新组建的毅伯智算主体,推出了全栈式AI训推平台。2025年3月,毅伯智算进一步推出搭载DeepSeek模型的自研8卡推理一体机TORA3000。

TORA3000是软硬件一体化解决方案,开箱即用,全面满足客户推理需求。毅伯智算凭借其软硬件一体化的综合优势,提供最具性价比的一体机解决方案,1机8卡即能实现上述性能,显著降低客户硬件成本,原生支持 DeepSeek-R1-671B 所采用的FP8 精度,兼容FP64/32/16 及INT8,在保证推理精度的同时有效降低部署成本,通过全自研的算子库、编译技术、推理框架等技术手段,实现更快计算效率、长文本和高并发请求支持、更高推理性能。 

对于企业用户来说,Deepseek推理一体机选择满血版还是蒸馏版?本质上,满血版与蒸馏版类似于教师和学生的关系,即前者是知识输出者,后者通过知识蒸馏过程继承前者的知识。在实际应用中,满血版可深度处理代码生成、知识图谱构建等高复杂度任务;而蒸馏版作为学生模型,受限于知识压缩与固定架构,仅适用于应用特别定义且相对简单场景。对于大中型企业,至少需配置满血版一体机作为核心引擎,以支撑业务迭代与高密度推理需求。

受GPU硬件性能的限制,市场上满血版推理一体机存在单机、双机甚至四机等多种部署方案,但是双机方案相对单机方案的硬件成本和功耗会都会翻倍,四机则更高,并增加额外的组网和运维成本。在Deepseek原生FP8精度下,一体机(8卡)要流畅运行满血模型,单卡显存需大于120G(整机显存大于1000GB),显存不足则必须采用多机部署。同时,部分GPU不支持FP8运算,只能量化为INT8或FP16模型,但INT8精度下,推理精度会所有下降,FP16会导致所需显存和节点数量翻倍。为降低部署成本、简化部署复杂性并保证性能,1台标准8卡服务器上部署原生FP8精度的DeepSeek-R1-671B模型是最优选择,但此方案要求GPU支持FP8精度且单卡显存超过120GB,而目前市场上仅有毅伯智算的TORA3000和英伟达H20-141G可以满足。经采用开源数据集和开源测试工具对两者推理性能进行测试发现,毅伯智算的TORA3000相比英伟达H20-141G,性能提升达40%,达到业界领先水平。
1

转载请注明出处、作者和本文链接
声明:文章内容仅供参考、交流、学习、不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容
  • 满血版处理复杂任务强,大中型企业肯定很需要,有竞争力!

    回复 3月14日 · via pc
  • 毅伯智算百人AI团队,实力应该挺强,就看产品能不能打了!

    回复 3月14日 · via iphone
  • 别家产品成本高,毅伯智算这新品性价比直接拉满了。

    回复 3月14日 · via pc
  • 毅伯智算全栈自研,看来对自己技术很有信心嘛。

    回复 3月14日 · via pc
  • TORA3000能满足高并发请求,在数据量大时优势就凸显了。

    回复 3月14日 · via h5
  • 推理性能领先,那在实际应用场景中效率能提升多少呢?

    回复 3月14日 · via pc
  • 大中型企业要处理复杂任务,这满血版简直是刚需啊。

    回复 3月14日 · via iphone
  • 相比英伟达产品,性能提升40%,真有这么牛?拭目以待!

    回复 3月14日 · via h5
  • 有了这软硬件一体化方案,企业用户使用起来应该更方便了。

    回复 3月14日 · via h5
  • 以前部署方案成本高,这下毅伯智算新品可算是个新希望。

    回复 3月14日 · via pc
更多评论

快报

更多

2025-03-23 22:46

香港财政司司长陈茂波:香港正通过构建“耐心资本”生态支持科创发展

2025-03-23 22:22

高通总裁安蒙谈DeepSeek:人工智能模型正在变得更小、更有能力

2025-03-23 21:52

香港财政司司长陈茂波:稳步深化互联互通,积极开拓中东等地区的新资金来源

2025-03-23 21:25

上海贝岭:部分高管拟合计减持不超13.4万股公司股份

2025-03-23 21:19

富佳股份:股东拟减持不超6.57万股公司股份

2025-03-23 20:59

亚光股份:股东拟减持不超1%公司股份

2025-03-23 20:51

中国贸促会会长会见苹果公司CEO库克

2025-03-23 20:49

四川眉山市市场监督管理局:对千禾味业产品抽查23批次,均符合国家标准

2025-03-23 20:27

马克·古尔曼:苹果公司致力于为手表添加摄像头

2025-03-23 20:10

3月23日新闻联播速览22条

2025-03-23 19:54

海利生物:股东拟减持不超2%公司股份

2025-03-23 19:46

自由现金流主题基金申报数量已达36只

2025-03-23 19:46

小米在日本开设首家门店

2025-03-23 19:04

和达科技:股东拟减持不超1%公司股份

2025-03-23 18:57

美国参议员现身中国发展高层论坛

2025-03-23 18:15

朱民:从中国国内产业链延伸的全球产业链开始初步展现,稳定全球产业链

2025-03-23 17:55

蔡昉:农村养老难需靠尽快缩小城乡基本公共服务差别等措施来解决

2025-03-23 17:27

本周新增爱购控股1家境外上市备案企业

2025-03-23 17:27

本周新增名瑞智能、胜华波电器等4家上市辅导备案企业

2025-03-23 17:17

中国工商银行行长刘珺:金融机构需从资金中介向综合服务提供商转变

20

扫描下载App