前言

本文档介绍fast-diffusers的功能和使用方法，包括模型推理示例和性能评估。

版本信息

表 12 版本信息

日期

版本

新增功能

2023-12-29

v 0.24
在gcu上支持了下述模型 pipeline 的推理:

  • stable-diffusion-1.5 的 text2img 推理

2024-02-25

v 0.24
在gcu上支持了下述模型 pipeline 的推理:

  • stable-diffusion-xl Controlnet Canny 的 text2img 推理

2024-03-05

v 0.24
在gcu上支持了下述模型 pipeline 的推理:

  • stable-diffusion-xl Controlnet Canny 的 text2img 推理

2024-03-22

v 0.24
在gcu上支持了下述模型 pipeline 的推理:

  • stable-diffusion-xl turbo 的 text2img、img2img 推理

2024-03-27

v 0.24
在gcu上支持了下述模型 pipeline 的推理:

  • blip-v1 的 conditional_image_captioning 推理

2024-03-29

v 0.24
在gcu上支持了下述模型 pipeline 的推理:

  • stable-diffusion-1.5 融合 lora 推理

  • stable-diffusion-xl-base-1.0 融合 lora 推理

2024-04-01

v 0.24
在gcu上支持了下述模型 pipeline 的推理:

  • DiT 推理

  • stable-diffusion-xl refiner 的 text2img、img2img 推理

2024-04-07

v 0.24
在gcu上支持了下述模型 pipeline 的推理:

  • stable-diffusion-xl-controlnet 融合 lora 推理

2024-04-10

v 0.24
在gcu上支持了下述模型 pipeline 的推理:

  • stable-diffusion-1.5 img2img 推理

2024-04-26

v 0.24
在gcu上支持了下述模型 pipeline 的推理:

  • IP-Adapter-FaceID-SDXL 推理

2024-05-09

v 0.24
在gcu上支持了下述模型 pipeline 的推理:

  • InstantID 推理

  • stable-diffusion-xl controlnet depth 的推理

2024-05-22

v 0.27
升级到 0.27, 在gcu上支持了下述模型 pipeline 的推理:

  • stable-diffusion-2 的 text2img、img2img 推理

  • stable-diffusion-2.1 的 text2img、img2img 推理

2024-05-31

v 0.27
在gcu上支持了下述模型 pipeline 的推理:

  • AnimateDiff;

  • deepdanbooru;

  • MagicAnimate;

  • stable-diffusion-1.5-controlnet 14种模式;

  • stable-diffusion-1.5 Hires fix;

  • stable-diffusion-xl LCM-LoRA;

  • stable-diffusion-xl inpainting;

2024-06-04

v 0.27
在gcu上支持了下述模型 pipeline 的推理:

  • Playground-v2.5 推理

2024-08-21

v 0.29
在gcu上支持了下述模型 pipeline 的推理:

  • stable-diffusion-1.5 long_prompt 的推理

  • stable-diffusion-1.5 Controlnetplusplus 的推理

  • stable-diffusion-xl long_prompt 的推理

  • stable-diffusion-xl-Lightning 的推理

  • stable-diffusion-xl DeepCache 的推理

  • stable-diffusion-xl Textual Inversion 的推理

  • stable-diffusion-3-medium 的推理

  • Hunyuan-Dit 的推理

  • Hunyuan-Dit-v1.2_diffusers 的推理

  • Pixart-Sigma 的推理

  • real esrgan 的推理

  • Stable-Video-Diffusion 的推理

  • EasyAnimate 的推理

  • Hallo 的推理

  • ToonCrafter 的推理

  • DynamiCrafter 的推理

  • OpenSora1.2 的推理

  • OpenSora-Plan1.1 的推理

2024-10-31

v 0.29
在gcu上支持了下述模型 pipeline 的推理:

  • OpenSora1.2 (compile mode) 的推理

  • cogvideox-5b text2video 的推理

  • FLUX.1-schnell 的推理

原理及功能介绍

  • fast-diffusers是适配于燧原S60 GCU 的diffusers，用于支持在 Enflame GCU 上基于pytorch native运行stable diffusion类模型的推理。

安装使用说明

以下步骤基于 Python3.10, 请先安装所需依赖：

  • 安装环境：安装过程请参考《TopsRider软件栈安装手册》，请根据手册完成TopsRider软件栈安装

  • 安装 合适版本的 torch cpu 和 torchvision cpu，可以参考下面的命令

`bash pip3 install torch==2.3.0 torchvision==0.18.0 --index-url https://download.pytorch.org/whl/cpu `

  • 安装 torch_gcu

  • 不同的 Intel/AMD 平台上因为 CPU 架构、指令集的差异，生成的图片可能有细微差异