1. 前言¶
1.1. 声明¶
本文档提供的信息属于上海燧原科技股份有限公司和/或其关联公司(以下统称“燧原科技”)所有,且燧原科技保留不经通知随时对本文档信息或对任何产品和服务做出修改的权利。本文档所含信息和本文档所引用燧原科技其他信息均“按原样”提供。燧原科技不担保信息、文本、图案、链接或本文档内所含其他项目的准确性或完整性。燧原科技不对本文档所述产品的可销售性、所有权、不侵犯知识产权、准确性、完整性、稳定性或特定用途适用性做任何暗示担保、保证。燧原科技可不经通知随时对本文档或本文档所述产品做出更改,但不承诺更新本文档。
您购买的产品、服务或特性等应受燧原科技商业合同和条款的约束。本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定,燧原科技对本文档的所有内容不做任何明示或默示的声明或保证。本文档中的示意图与产品实物可能有差别,请以实物为准。本文档仅作为使用指导,不对使用我们产品之前、期间或之后发生的任何损害负责,包括但不限于利益损失、信息丢失、业务中断、人身伤害,或其他任何直接或间接损失。本文档默认读者对服务器产品有足够的认识,获得了足够的培训,在操作、维护过程中不会造成个人伤害或产品损坏。
本文档所列的规格参数、性能数据和等级需使用特定芯片或计算机系统或组件来测量。经该等测试,本文档所示结果反映了燧原科技产品的大概性能。系统配置及软硬件版本、环境变量等的任何不同均会影响实际性能,产品实际效果与文档描述存在差异的,均属正常现象。燧原科技不担保测试每种产品的所有参数。客户自行承担对产品适合并适用于客户计划的应用以及对应用程序进行必要测试的责任。客户产品设计的脆弱性会影响燧原科技产品的质量和可靠性并导致超出本文档范围的额外或不同的情况和/或要求。
燧原科技和燧原科技的标志是上海燧原科技有限公司申请和/或注册的商标。本文档并未明示或暗示地授予客户任何专利、版权、商标、集成电路布图设计、商业秘密或任何其他燧原科技知识产权的权利或许可。
本文档为保密文档,归燧原科技版权所有,并受全世界版权法律和条约条款的保护。未经燧原科技的事先书面许可,任何人不可以任何方式复制、修改、出版、上传、发布、传输或分发本文档。为免疑义,除了允许客户按照本文档要求使用文档相关信息外,燧原科技不授予其他任何明示或暗示的权利或许可。
燧原科技对本文档享有最终解释权。
1.2. 版本记录¶
文档版本 |
文档日期 |
文档说明 |
---|---|---|
V1.0 |
2024/7/23 |
正式版本 |
V1.1 |
2024/8/29 |
添加SR-IOV及BAR address规格描述 |
1.3. 词汇表¶
术语 |
描述 |
---|---|
MCM |
Multi-Chip Module |
GDDR |
Graphic Double Data Rate SDRAM |
GCU |
General Compute Unit |
PN |
Part Number |
SMBUS |
System Management Bus |
SR-IOV |
Single Root I/O Virtualization |
2. 产品概述¶
2.1. 加速卡简介¶
Enflame S60是燧原科技基于GCU320(邃思320)芯片打造的第三代人工智能加速卡,是一款全高全长的标准PCIe加速卡,支持FP32、FP16、BF16、INT8多种数据精度,可广泛应用于各类型人工智能边缘推理和云端推理业务场景,包括但不限于:目标检测、图像分类、OCR识别、姿态识别、图像分割、图像增强、图像合成、语音识别、语音合成、内容理解、机器翻译、智能客服、智能推荐等领域。
Enflame S60主芯片采用MCM封装技术,基于片上网络NOC构建,集成了多个GCU-CARE计算核心,内置多核ARM Cortex A55及RISC-V,提供强大的片上处理能力。GCU320(邃思320)芯片内置硬件视频解码单元,结合全新升级的驭算TopsRider软件栈,可提供强大的视频和图片解码能力。Enflame S60支持PCIe 5.0,板载大容量GDDR6内存,可支持各类型大模型应用,算力较上一代产品有明显提升。
Enflame S60是具备完全自主知识产权的人工智能加速卡,愿为用户提供强大的且安全可靠的普惠算力支持,助力产业智能升级。
2.2. 软件栈简介¶
与燧原科技加速卡硬件配套的驭算TopsRider软件栈是燧原科技自主知识产权的计算及编程平台,通过软硬件协同架构设计,充分释放GCU芯片性能。软件生态矩阵包括核心异构加速计算平台(驱动、运行时、编译器、开发者工具)以及扩展开发库、计算图、框架、AI开发相关的工具集,上层还提供丰富的模型、镜像、解决方案和AI开发平台等。软件组件众多,可归为以下6大类别,详细请参考TopsRider相关配套文档。
TopsPlatform即TopsRider核心异构加速计算平台,驱动层稳定兼容X86 & ARM平台,支持众多国内外常用的Linux发行版。驱动和运行时支持高效的设备管理、资源管理&虚拟化、多流&多进程调度等。编译层包括TopsCC异构编译器和编程模型、性能分析/调试工具,帮助用户灵活快速地编写自定义GCU程序。
计算平台以上的扩展库包括预编译算子库、计算图编译器、通信库和多媒体库。TopsATen预编译算子库保持用户界面的稳定兼容并带来性能跃升。ECCL显著降低通信开销,同时降低对接复杂性。GCU新增加多媒体支持,软件提供适配FFmpeg库的解码接口;TopsCV图像处理接口。
AI Framework提供燧原稳定适配的主流深度学习框架和自定义推理框架Topsinference,联合下层组件实现诸多新功能和性能提升,在传统领域持续增强动态性支持和计算图加速。
AI Development Toolkit深度融入开源生态。一系列工具集涵盖了大模型开源推理引擎vLLM和Text Generation Interface(TGI)的GCU适配版本,持续支持Huggingface社区开源库低成本搭建运行AIGC任务,新推出支持大模型低精度量化的TopsCompressor,通过AI Toolbox支撑精度&性能调试以及传统模型的低精度量化。
Data Center Toolkit亦称为TopsCloud,提供Kubernetes集群下GCU部署运维的工具套件,有基础的设备和Kubernetes插件,集群自动化安装升级、调度、可视化监测告警,以及golang二次开发组件。
Enflame GCU Center提供的镜像库和解决方案支持更多的基础环境。AI Platform提供可视化AI开发部署平台,包括算法、数据集、服务部署管理和集群设备调度监测功能,重点推出了AIGC文生文、文生图、图生图场景的无代码应用平台。
3. 产品规格¶
3.1. 参数规格¶
产品名称 Product NAME |
中文 |
燧原 S60 |
英文 |
Enflame S60 |
|
产品型号 Product Model |
S60 |
|
产品部件 Product PN 1 |
EFB-0088000-00 |
|
PCI Device IDs |
Vendor ID |
0x1e36 |
Device ID |
0xc035 |
|
Subsystem Vender ID |
0x1e36 |
|
Subsystem ID |
0xc035 |
|
计算精度支持 |
FP32,FP16,BF16,INT8 |
|
内存规格 |
容量 |
48GB |
带宽 |
672GB/s |
|
速率 |
14Gbps |
|
解码能力 |
视频解码 |
最高支持256路 |
图片解码 |
最大支持7680FPS@1080P |
|
最高支持分辨率32Kx32K |
||
接口规格 |
PCIe |
PCIe Gen5 X16 |
ECC 保护 |
支持 |
|
Secure boot |
支持 |
|
SR-IOV 支持 |
4VF |
|
BAR address |
physical function |
BAR0: 16KiB, non-prefetchable |
BAR1: 16MiB, non-prefetchable |
||
BAR2: 64GiB, 64bit prefetchable |
||
BAR4: 256MiB, 64bit prefetchable |
||
virtual function |
BAR0: 64KiB(16KiB per VF) , non-prefetchable |
|
BAR1: 64MiB(16MiB per VF) , non-prefetchable |
||
BAR2: 16GiB(total VF) , 64bit prefetchable |
||
BAR4: 1GiB(256MiB per VF) , 64bit prefetchable |
||
SMBus Address(8 bit Address) |
0x6A |
|
功耗 |
最大功耗 |
300W |
散热设计 |
风冷被动散热 |
|
形态 |
FHFL双槽位 |
|
重量 2 |
1064g |
3.2. 产品结构和外观¶
Enflame S60是全高全长双槽位的标准PCIe板卡,提供PCIe Gen5 x16高速数据接口。
Enflame S60可以适配包括x86、ARM的各种类型服务器,用于数据中心AI云端推理业务。
3.2.1. 加速卡外形尺寸¶
Enflame S60 外观如下图所示:
3.3. 电气特性¶
Enflame S60采用符合PCIe 5.0标准的12V PCIe 16pin供电接口,最大限度与主流AI服务器电源输出配置相兼容。
3.3.1. 电气规格¶
Enflame S60供电及电气特性如下:
电源输入 |
典型电压 |
电压范围 |
最大功率 |
最大电流 |
滑动平均 |
---|---|---|---|---|---|
12VHPWR辅助电源接口 |
12V |
11.04V~12.6V |
276W |
23A |
1s |
PCIe插槽 (12V ± 8%) |
12V |
11.04V~12.6V |
66W |
5.5A |
1s |
PCIe插槽 (3.3V ± 9%) |
3.3V |
3.003V~3.597V |
3.3W |
1A |
1s |
总功耗 |
≤300W |
1s |
项目 |
指标 |
---|---|
封顶功耗 |
300W |
功耗封顶响应时间(最大值) |
250ms |
电源持续时间 |
12VHPWR辅助电源接口电流(A) |
Pcie 12V 接口电流(A) |
---|---|---|
5ms |
40 |
10 |
1ms |
40 |
10 |
200us |
40 |
10 |
3.3.2. 12VHPWR 辅助电源连接器¶
12VHPWR辅助电源连接器遵从标准PCIe 5.0规范(PCI Express Card Electromechanical Specification Revision 5.0),连接器共有16 Pins,其中上面2x6个较大的触点用于12V电源与GND载流,下面4个较小的触点用于边带信号。
Attention
16-pin 12VHPWR辅助电源接口与服务器主板对接,由服务器厂商根据具体服务器提供适配的线缆。
加速卡12VHPWR辅助电源连接器信号定义如下:
Pin |
信号 |
电压 |
方向 |
备注 |
---|---|---|---|---|
1~6 |
+12V |
11.04V~12.6V |
IN |
|
7~12 |
GND |
0V |
IN |
|
S1 |
CARD_PWR_STABLE |
1.8V |
OUT |
Floating on Add-in Card |
S2 |
CARD_CBL_PRES# |
1.8V |
OUT |
Default 10K pull down on Add-in Card |
S3 |
SENSE0 |
0V or Floating |
IN |
Need Configuration on Power Cable or Server |
S4 |
SENSE01 |
0V or Floating |
IN |
Need Configuration on Power Cable or Server |
SENSE1 |
SENSE0 |
最大允许功率 |
---|---|---|
Open |
Open |
0 W |
Shorted |
150 W |
|
Open |
Ground |
300 W |
Ground |
Open |
450 W |
Ground |
Ground |
600 W |
3.4. 时钟要求¶
Enflame S60遵从标准PCIe 5.0规范(PCI Express Card Electromechanical Specification Revision 5.0),整卡需要提供标准PCIe 5.0的时钟,信号质量需满足PCIe 5.0规范。
3.5. 热拔插¶
Enflame S60不支持通知式热插拔和暴力热插拔。
4. 散热设计¶
4.1. 工作环境¶
环境参数 |
工作条件 |
---|---|
工作环境温度 |
0 °C ~ 45 °C |
贮存运输温度 |
-40 °C ~ 75 °C |
工作环境湿度 |
5% ~ 90% 相对湿度 |
贮存运输湿度 |
5% ~ 95% 相对湿度 |
4.2. 总功耗和温控门限¶
参数 |
GCU |
单位 |
---|---|---|
加速卡功耗 |
≤300 |
W |
熔断保护温度3 |
105 |
°C |
警告温度4 |
100 |
°C |
最大操作温度5 |
95 |
°C |
最佳性能温度范围6 |
0 - 82 |
°C |
4.3. 进风方向¶
Enflame S60被动散热支持双向风流,风可以从左往右吹,也可以从右往左吹。
4.4. 散热器风阻¶
Enflame S60的风阻曲线如下图所示:
4.5. 最小风量要求¶
散热器入风口温度(°C) |
燧原科技验证 |
|
---|---|---|
30 |
17 |
Y |
35 |
19 |
Y |
40 |
22 |
Y |
45 |
27 |
Y |
任何温度9 |
17 |
Y |
5. 认证¶
Enflame S60加速卡已通过下表所列认证:
序号 |
国家/地区 |
认证 |
---|---|---|
1 |
Europe |
CE |
2 |
US |
FCC |
3 |
Europe |
RoHS |
4 |
Europe |
REACH |
5 |
IEC |
CB |
6 |
CN |
国密10 |
- 10
此处的国密认证是指针对芯片的认证(即Enflame S60加速卡内置的芯片),其余为以加速卡为主体的认证。