1. 前言

1.1. 声明

本文档提供的信息属于上海燧原科技股份有限公司和/或其关联公司(以下统称“燧原科技”)所有,且燧原科技保留不经通知随时对本文档信息或对任何产品和服务做出修改的权利。本文档所含信息和本文档所引用燧原科技其他信息均“按原样”提供。燧原科技不担保信息、文本、图案、链接或本文档内所含其他项目的准确性或完整性。燧原科技不对本文档所述产品的可销售性、所有权、不侵犯知识产权、准确性、完整性、稳定性或特定用途适用性做任何暗示担保、保证。燧原科技可不经通知随时对本文档或本文档所述产品做出更改,但不承诺更新本文档。

您购买的产品、服务或特性等应受燧原科技商业合同和条款的约束。本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定,燧原科技对本文档的所有内容不做任何明示或默示的声明或保证。本文档中的示意图与产品实物可能有差别,请以实物为准。本文档仅作为使用指导,不对使用我们产品之前、期间或之后发生的任何损害负责,包括但不限于利益损失、信息丢失、业务中断、人身伤害,或其他任何直接或间接损失。本文档默认读者对服务器产品有足够的认识,获得了足够的培训,在操作、维护过程中不会造成个人伤害或产品损坏。

本文档所列的规格参数、性能数据和等级需使用特定芯片或计算机系统或组件来测量。经该等测试,本文档所示结果反映了燧原科技产品的大概性能。系统配置及软硬件版本、环境变量等的任何不同均会影响实际性能,产品实际效果与文档描述存在差异的,均属正常现象。燧原科技不担保测试每种产品的所有参数。客户自行承担对产品适合并适用于客户计划的应用以及对应用程序进行必要测试的责任。客户产品设计的脆弱性会影响燧原科技产品的质量和可靠性并导致超出本文档范围的额外或不同的情况和/或要求。

燧原科技和燧原科技的标志是上海燧原科技有限公司申请和/或注册的商标。本文档并未明示或暗示地授予客户任何专利、版权、商标、集成电路布图设计、商业秘密或任何其他燧原科技知识产权的权利或许可。

本文档为保密文档,归燧原科技版权所有,并受全世界版权法律和条约条款的保护。未经燧原科技的事先书面许可,任何人不可以任何方式复制、修改、出版、上传、发布、传输或分发本文档。为免疑义,除了允许客户按照本文档要求使用文档相关信息外,燧原科技不授予其他任何明示或暗示的权利或许可。

燧原科技对本文档享有最终解释权。

1.2. 版本记录

表 1.2.1 版本记录

文档版本

文档日期

文档说明

V1.0

2024/7/23

正式版本

V1.1

2024/8/29

添加SR-IOV及BAR address规格描述

1.3. 词汇表

表 1.3.1 词汇表

术语

描述

MCM

Multi-Chip Module

GDDR

Graphic Double Data Rate SDRAM

GCU

General Compute Unit

PN

Part Number

SMBUS

System Management Bus

SR-IOV

Single Root I/O Virtualization

2. 产品概述

2.1. 加速卡简介

Enflame S60是燧原科技基于GCU320(邃思320)芯片打造的第三代人工智能加速卡,是一款全高全长的标准PCIe加速卡,支持FP32、FP16、BF16、INT8多种数据精度,可广泛应用于各类型人工智能边缘推理和云端推理业务场景,包括但不限于:目标检测、图像分类、OCR识别、姿态识别、图像分割、图像增强、图像合成、语音识别、语音合成、内容理解、机器翻译、智能客服、智能推荐等领域。

Enflame S60主芯片采用MCM封装技术,基于片上网络NOC构建,集成了多个GCU-CARE计算核心,内置多核ARM Cortex A55及RISC-V,提供强大的片上处理能力。GCU320(邃思320)芯片内置硬件视频解码单元,结合全新升级的驭算TopsRider软件栈,可提供强大的视频和图片解码能力。Enflame S60支持PCIe 5.0,板载大容量GDDR6内存,可支持各类型大模型应用,算力较上一代产品有明显提升。

Enflame S60是具备完全自主知识产权的人工智能加速卡,愿为用户提供强大的且安全可靠的普惠算力支持,助力产业智能升级。

../../../../../_images/2-1.png

图 2.1.1 Enflame S60外观图

2.2. 软件栈简介

与燧原科技加速卡硬件配套的驭算TopsRider软件栈是燧原科技自主知识产权的计算及编程平台,通过软硬件协同架构设计,充分释放GCU芯片性能。软件生态矩阵包括核心异构加速计算平台(驱动、运行时、编译器、开发者工具)以及扩展开发库、计算图、框架、AI开发相关的工具集,上层还提供丰富的模型、镜像、解决方案和AI开发平台等。软件组件众多,可归为以下6大类别,详细请参考TopsRider相关配套文档。

  • TopsPlatform即TopsRider核心异构加速计算平台,驱动层稳定兼容X86 & ARM平台,支持众多国内外常用的Linux发行版。驱动和运行时支持高效的设备管理、资源管理&虚拟化、多流&多进程调度等。编译层包括TopsCC异构编译器和编程模型、性能分析/调试工具,帮助用户灵活快速地编写自定义GCU程序。

  • 计算平台以上的扩展库包括预编译算子库、计算图编译器、通信库和多媒体库。TopsATen预编译算子库保持用户界面的稳定兼容并带来性能跃升。ECCL显著降低通信开销,同时降低对接复杂性。GCU新增加多媒体支持,软件提供适配FFmpeg库的解码接口;TopsCV图像处理接口。

  • AI Framework提供燧原稳定适配的主流深度学习框架和自定义推理框架Topsinference,联合下层组件实现诸多新功能和性能提升,在传统领域持续增强动态性支持和计算图加速。

  • AI Development Toolkit深度融入开源生态。一系列工具集涵盖了大模型开源推理引擎vLLM和Text Generation Interface(TGI)的GCU适配版本,持续支持Huggingface社区开源库低成本搭建运行AIGC任务,新推出支持大模型低精度量化的TopsCompressor,通过AI Toolbox支撑精度&性能调试以及传统模型的低精度量化。

  • Data Center Toolkit亦称为TopsCloud,提供Kubernetes集群下GCU部署运维的工具套件,有基础的设备和Kubernetes插件,集群自动化安装升级、调度、可视化监测告警,以及golang二次开发组件。

  • Enflame GCU Center提供的镜像库和解决方案支持更多的基础环境。AI Platform提供可视化AI开发部署平台,包括算法、数据集、服务部署管理和集群设备调度监测功能,重点推出了AIGC文生文、文生图、图生图场景的无代码应用平台。

    ../../../../../_images/2-2.png

    图 2.2.1 TopsRider软件栈架构图

3. 产品规格

3.1. 参数规格

表 3.1.1 规格参数

产品名称 Product NAME

中文

燧原 S60

英文

Enflame S60

产品型号 Product Model

S60

产品部件 Product PN 1

EFB-0088000-00

PCI Device IDs

Vendor ID

0x1e36

Device ID

0xc035

Subsystem Vender ID

0x1e36

Subsystem ID

0xc035

计算精度支持

FP32,FP16,BF16,INT8

内存规格

容量

48GB

带宽

672GB/s

速率

14Gbps

解码能力

视频解码

最高支持256路

图片解码

最大支持7680FPS@1080P

最高支持分辨率32Kx32K

接口规格

PCIe

PCIe Gen5 X16

ECC 保护

支持

Secure boot

支持

SR-IOV 支持

4VF

BAR address

physical function

BAR0: 16KiB, non-prefetchable

BAR1: 16MiB, non-prefetchable

BAR2: 64GiB, 64bit prefetchable

BAR4: 256MiB, 64bit prefetchable

virtual function

BAR0: 64KiB(16KiB per VF) , non-prefetchable

BAR1: 64MiB(16MiB per VF) , non-prefetchable

BAR2: 16GiB(total VF) , 64bit prefetchable

BAR4: 1GiB(256MiB per VF) , 64bit prefetchable

SMBus Address(8 bit Address)

0x6A

功耗

最大功耗

300W

散热设计

风冷被动散热

形态

FHFL双槽位

重量 2

1064g

1

产品PN不用于销售流程,客户采购所需信息请咨询燧原科技商务人员。

2

此处的重量是指加速卡净重,公差±10%,不包含配件及包装的重量。配件重量请参见配件说明书。

3.2. 产品结构和外观

Enflame S60是全高全长双槽位的标准PCIe板卡,提供PCIe Gen5 x16高速数据接口。

Enflame S60可以适配包括x86、ARM的各种类型服务器,用于数据中心AI云端推理业务。

3.2.1. 加速卡外形尺寸

Enflame S60 外观如下图所示:

../../../../../_images/3-1.png

图 3.2.1 Enflame S60五视图

3.3. 电气特性

Enflame S60采用符合PCIe 5.0标准的12V PCIe 16pin供电接口,最大限度与主流AI服务器电源输出配置相兼容。

3.3.1. 电气规格

Enflame S60供电及电气特性如下:

表 3.3.1 供电及电气特性

电源输入

典型电压

电压范围

最大功率

最大电流

滑动平均

12VHPWR辅助电源接口

12V

11.04V~12.6V

276W

23A

1s

PCIe插槽 (12V ± 8%)

12V

11.04V~12.6V

66W

5.5A

1s

PCIe插槽 (3.3V ± 9%)

3.3V

3.003V~3.597V

3.3W

1A

1s

总功耗

≤300W

1s

表 3.3.2 功耗封顶指标

项目

指标

封顶功耗

300W

功耗封顶响应时间(最大值)

250ms

表 3.3.3 供电接口峰值电流表

电源持续时间

12VHPWR辅助电源接口电流(A)

Pcie 12V 接口电流(A)

5ms

40

10

1ms

40

10

200us

40

10

3.3.2. 12VHPWR 辅助电源连接器

12VHPWR辅助电源连接器遵从标准PCIe 5.0规范(PCI Express Card Electromechanical Specification Revision 5.0),连接器共有16 Pins,其中上面2x6个较大的触点用于12V电源与GND载流,下面4个较小的触点用于边带信号。

../../../../../_images/3-2.png

图 3.3.1 16-pin 12VHPWR辅助电源连接器示意图与管脚定义

Attention

16-pin 12VHPWR辅助电源接口与服务器主板对接,由服务器厂商根据具体服务器提供适配的线缆。

加速卡12VHPWR辅助电源连接器信号定义如下:

表 3.3.4 12VHPWR辅助电源连接器信号定义表

Pin

信号

电压

方向

备注

1~6

+12V

11.04V~12.6V

IN

7~12

GND

0V

IN

S1

CARD_PWR_STABLE

1.8V

OUT

Floating on Add-in Card

S2

CARD_CBL_PRES#

1.8V

OUT

Default 10K pull down on Add-in Card

S3

SENSE0

0V or Floating

IN

Need Configuration on Power Cable or Server

S4

SENSE01

0V or Floating

IN

Need Configuration on Power Cable or Server

表 3.3.5 12VHPWR辅助电源连接器最大允许功率定义表

SENSE1

SENSE0

最大允许功率

Open

Open

0 W

Shorted

150 W

Open

Ground

300 W

Ground

Open

450 W

Ground

Ground

600 W

3.4. 时钟要求

Enflame S60遵从标准PCIe 5.0规范(PCI Express Card Electromechanical Specification Revision 5.0),整卡需要提供标准PCIe 5.0的时钟,信号质量需满足PCIe 5.0规范。

3.5. 热拔插

Enflame S60不支持通知式热插拔和暴力热插拔。

4. 散热设计

4.1. 工作环境

表 4.1.1 板卡工作环境

环境参数

工作条件

工作环境温度

0 °C ~ 45 °C

贮存运输温度

-40 °C ~ 75 °C

工作环境湿度

5% ~ 90% 相对湿度

贮存运输湿度

5% ~ 95% 相对湿度

4.2. 总功耗和温控门限

表 4.2.1 温度门限定义

参数

GCU

单位

加速卡功耗

≤300

W

熔断保护温度3

105

°C

警告温度4

100

°C

最大操作温度5

95

°C

最佳性能温度范围6

0 - 82

°C

3

当GCU结温大于等于表中温度时,会触发芯片熔断保护机制。

4

当GCU结温大于等于表中温度时,芯片工作频率会即刻降到最低,建议风扇转速调至100%。

5

当GCU结温大于等于表中温度时,必然触发芯片降频。

6

当GCU结温在表中温度范围内时,不会因为温度原因导致芯片降频。

4.3. 进风方向

Enflame S60被动散热支持双向风流,风可以从左往右吹,也可以从右往左吹。

../../../../../_images/4-1.png

图 4.3.1 Enflame S60散热风向图

4.4. 散热器风阻

Enflame S60的风阻曲线如下图所示:

../../../../../_images/4-2.png

图 4.4.1 Enflame S60散热器风阻图

4.5. 最小风量要求

表 4.5.1 最小风量要求

散热器入风口温度(°C)

最小风量(CFM)78

燧原科技验证

30

17

Y

35

19

Y

40

22

Y

45

27

Y

任何温度9

17

Y

7

最小风量是假定所有输送的风都会通过Enflame S60被动散热,系统风量必须大于等于最小风量。

8

在表格中的最小风量和散热器入风口温度数据是一个经过燧原科技验证过的参考值,不是一个绝对的规范。系统设计可以参考这些数据进行系统散热调优。

9

此处的最小风量是指Enflame S60上电以后所需的最小风量,与系统操作模式和入风口温度无关。

5. 认证

Enflame S60加速卡已通过下表所列认证:

表 5.1 认证证书

序号

国家/地区

认证

1

Europe

CE

2

US

FCC

3

Europe

RoHS

4

Europe

REACH

5

IEC

CB

6

CN

国密10

10

此处的国密认证是指针对芯片的认证(即Enflame S60加速卡内置的芯片),其余为以加速卡为主体的认证。