• 首页
  • 关于我们

    公司介绍

    大事记

  • 新闻中心

    公司动态

    媒体报道

    市场活动

  • 产品

    数据计算产品

    • AI算力系列
    • 通用算力系列
    • 风液冷整机柜系列
    • 一体机解决方案系列

    终端产品

    • 商用台式机
    • 商用笔记本

    KunTai数据通信产品

    • 数据中心交换机
    • 园区交换机
    • 无线产品
  • 服务

    服务与支持

    • 服务网点
    • 服务公告
    • 产品停止维护公告

    服务产品

    • 服务产品
    • 服务窗口

    文档

    • 产品文档
    • 知识库
    • 视频中心
    • FAQ

    工具

    • 软件下载

    自助服务

    • 许可申请
    • 故障申报
    • 保修期单条查询
    • 保修期批量查询
    • 备件查询助手
    • 漏洞上报
    • 漏洞公示
    • 产品兼容性查询
  • 生态合作

    ISV软件兼容性

    合作伙伴信息

    分销业务咨询

    总裁信箱

  • 行业应用

    金融

    运营商

    互联网

    能源

    政企

    科教医疗

  • 认证培训

    重点赛事

    • 技能竞赛
    • 第二届神州数码云端技术大赛

    校企合作

    • 人才培养方案
    • 专业共建服务
    • 课程授权
    • 实训室建设
    • 师资培养与支持

    人才认证

    • 认证项目
    • 认证考试报名
    • 证书查询

    课程培训

    • 认证培训
    • 专题培训
    • ICT技术培训
    • 平台服务
    • 实训项目
    • 培训报名
  • 联系我们

    加入我们

    公司通联

登录
  • 新闻中心
  • 公司动态
  • 媒体报道
  • 市场活动

金日开工丨神州鲲泰推理服务器全面支撑DeepSeek系列模型部署

2025-02-05| 新闻中心
分享至:

DeepSeek AI最新发布的多模态大模型Janus-Pro,以及之前发布的大型语言模型DeepSeek-R1、DeepSeek-V3及DeepSeek-V2,一经发布,就在AI领域引起了热烈反响,多项创新技术显著提升了模型的性能与效率。DeepSeek系列模型首发即支持昇腾平台,神州鲲泰推理服务器产品搭载昇腾硬件,可全面支持DeepSeek系列模型的快速部署,可为用户带来更快、更高效、更便捷的AI开发和应用体验。

2025年2月4日,DeepSeek-R1、DeepSeek-V3、DeepSeek-V2、Janus-Pro正式上线昇腾社区,支持一键获取DeepSeek系列模型,支持昇腾硬件平台上开箱即用,推理快速部署,带来更快、更高效、更便捷的AI开发和应用体验,欢迎广大开发者体验使用。

微信图片_20250217162426.jpg

下面以Deepseek-V3为例,
演示在昇腾社区如何高效获取模型及使用

1 硬件要求

部署DeepSeek-V3模型需配置4台KunTai A924推理服务器(每台搭载8张昇腾推理卡)

微信图片_20250217162430.png

2 模型调用实践

一、权重转换

GPU:

微信图片_20250217162432.png

NPU:

微信图片_20250217162439.png

二、加载镜像

在昇腾社区/开发资源下载适配DeepSeek-V3的镜像包:

mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64

完成之后,请使用docker images命令确认查找具体镜像名称与标签。

微信图片_20250217162441.png

三、容器启动

提供的MindIE镜像预置了DeepSeek-V3模型推理脚本,从您信任的来源自行获取权重后,放置在从上述下载的模型代码的主目录下,修改模型文件夹属组为1001,执行权限为750,启动容器。

微信图片_20250217162444.png

微信图片_20250217162447.png

四、服务化测试

配置服务化环境变量,expandable_segments-使能内存池扩展段功能,即虚拟内存特性。

微信图片_20250217162450.png

修改服务化参数

微信图片_20250217162452.png

拉起服务化

微信图片_20250217162505.png

图片出现“Daemon start success!”,则认为服务成功启动。

更深入了解DeepSeek系列模型在昇腾上的使用方法及指导文档,可登录昇腾社区模型库专区学习了解!

更多DeepSeek模型获取链接可参考:

DeepSeek-R1

https://www.hiascend.com/software/modelzoo/models/detail/68457b8a51324310aad9a0f55c3e56e3

(扫码获取)

微信图片_20250217162516.png

DeepSeek-V3:

https://www.hiascend.com/software/modelzoo/models/detail/678bdeb4e1a64c9dae51d353d84ddd15

(扫码获取)

微信图片_20250217162519.png

Janus-Pro

https://www.hiascend.com/software/modelzoo/models/detail/ffe1a0f4e8ba43aeb989251a3f0308e9

(扫码获取)

微信图片_20250217162521.png

友情链接

  • 神州数码集团
  • DCN

    关于我们

  • 公司介绍
  • 大事记

    新闻中心

  • 公司动态
  • 媒体报道
  • 市场活动

    产品

  • 数据计算产品
  • 终端产品
  • KunTai数据通信产品

    服务

  • 服务与支持
  • 服务产品
  • 文档
  • 工具
  • 自助服务

    生态合作

  • ISV软件兼容性
  • 合作伙伴信息
  • 分销业务咨询
  • 总裁信箱

    行业应用

  • 金融
  • 运营商
  • 互联网
  • 能源
  • 政企
  • 科教医疗

    认证培训

  • 重点赛事
  • 校企合作
  • 人才认证
  • 课程培训

    联系我们

  • 加入我们
  • 公司通联

客户服务热线

7X24小时服务热线

400-810-9119


终端产品24小时服务热线

400-770-8600


公司地址

北京市海淀区上地九街九号数码科技广场

E-Mail

kuntai_support@digitalchina.com

隐私政策 | 网络安全与隐私保护      Copyright© 神州鲲泰(厦门)信息技术有限公司   闽ICP备2021009467号
在线客服