掘金 后端 ( ) • 2024-04-23 11:02

概述

不知何时开始,公众号、小红书等平台出现一些精美、逼真、磅礴大气的绘图作品。这些图片,看着非常养眼,但是又透露着一股本是同根生的感觉😄,不用怀疑,它们大概率都是 AI 生成的。

开始动手

前期准备

最好准备一台具备独立显卡的机器,本地或者 ECS(云服务器)均可。我直接在本地安装,OS 为 windows 11,机器配置如下:

准备 Git、Python

各自前往官网,下载安装包进行安装即可。Python 建议安装 3.10.x 版本(适配 Stable Diffusion)

拉取代码

建议先到官方仓库 stable-diffusion-webui 看看说明😄

选择一个全英文路径,在 CMD 下执行命令:

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

有几个目录需要知道:

模型名称 作用 后缀名 大小 在 WebUI 的文件夹 Checkpoint 主模型 .ckpt 或 .safetensors 2G - 7G models/Stable-diffusion LoRA 和 LyCORIS 微调模型,一般用于控制画风、控制生成的角色、控制角色的姿势等等 .safetensors 2G - 7G models/Stable-diffusion Textual Inversion 文本编码器模型 .pt 或 .safetensors KB 级别 embeddings Hypernetworks 调整模型神经网络权重,进行风格的微调 .pt 或 .safetensors 20M - 200M models/hypernetworks ControlNet 强大的控制模型,可以进行画面控制、动作控制、色深控制、色彩控制等等 .safetensors KB 级别 models/ControlNet VAE 图片亮度和饱和度的修正、画面较正和以及补光等 .pt 或 .safetensors 335M 或 823M models/VAE CodeFormer 修复模型,修复人脸、提高分辨率等 - - models/codeformer

安装依赖

执行webui-user.bat,等待依赖安装完成即可,如出现进度慢、网络异常等情况,建议切换网络,多试几次😂。

上述步骤成功后,会运行后端服务(端口通常为7860,详见控制台打印的值) 访问上图的 URL,即可看到相关界面,试下我们的第一个 AI 绘画。 我的第一张AI图 大概需要 70 秒,挺慢的😄,想要提速,需要使用性能更高的显卡。

进阶

安装插件

经过安装插件、大模型后,整体的界面如下:

资源汇总

问题汇总

手动安装过程中,由于设备、网络等差异,会碰到各种错误而中断,

Traceback (most recent call last)

请尝试切换网络(Github 上常见的一句话:I guess you are from china,你懂的😂),或者重试。

Could not install packages due to an OSError: [Errno 2] No such file or directory

请尝试使用非管理员运行 webui-uset.bat

RuntimeError: Torch is not able to use GPU

λ webui-user.bat                                                                                                         
venv "E:\AI\stable-diffusion-webui\venv\Scripts\Python.exe"                                                              
Python 3.10.6 (tags/v3.10.6:9c7b4bd, Aug  1 2022, 21:53:49) [MSC v.1932 64 bit (AMD64)]                                  
Version: v1.8.0                                                                                                          
Commit hash: bef51aed032c0aaa5cfd80445bc4cf0d85b408b5                                                                    
Traceback (most recent call last):                                                                                       
  File "E:\AI\stable-diffusion-webui\launch.py", line 48, in <module>                                                    
    main()                                                                                                               
  File "E:\AI\stable-diffusion-webui\launch.py", line 39, in main                                                        
    prepare_environment()                                                                                                
  File "E:\AI\stable-diffusion-webui\modules\launch_utils.py", line 386, in prepare_environment                          
    raise RuntimeError(                                                                                                  
RuntimeError: Torch is not able to use GPU; add --skip-torch-cuda-test to COMMANDLINE_ARGS variable to disable this check

按提示,给 webui-user.bat 文件添加启动参数即可:

@echo off

set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=--skip-torch-cuda-test

call webui.bat

No checkpoints found. When searching for checkpoints

默认是没有模型,此时需要自行下载:huggingface models

Can't load tokenizer for 'openai/clip-vit-large-patch14'

详见:https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/11507

cd stable-diffusion-webui
mkdir openai
cd openai
git clone https://huggingface.co/openai/clip-vit-large-patch14