站长之家用户 - 传媒 2025-03-17 10:34

速度2.6倍提升,TencentOS 支持满血版DeepSeek

TencentOS Server AI全面支持满血版DeepSeek R1,在双机 16 卡的硬件环境上,分别在短输入场景(如知识问答)以及长输入场景(如企业私有信息的检索增强生成)均获得超过2. 6 倍的推理性能提升

本性能评估采用 2 台 8 卡服务器,显存总量共1536GB,部署TencentOS Server AI版, 2 台服务器采用RDMA高速网络互联,测试样本采用通用的数据集。分别测试输入200tokens/输出500tokens以及输入6144tokens/输出1024tokens下的吞吐能力,测试结果如下:

TencentOS Server AI是腾讯云发布的一款针对AI场景的操作系统,提供了从基础架构到AI框架以及模型的全栈式AI环境,一方面简化部署,另一方面通过高性能的AI框架,实现大模型如DeepSeek推理效率成倍的增加。

相关话题

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,相关信息仅供参考。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

推荐关键词

24小时热搜

查看更多内容

大家正在看

寻找DeepSeek梁文锋

广告盯上DeepSeek