背景介绍 

近年来，AI行业蓬勃发展，变化日新月异，每一次突破都令人振奋，推动着我们不断迈向真正的人工智能时代。而这一切的实现，离不开计算机系统强大的算力支持、海量的数据积累以及先进的算法。从一年多以前ChatGPT问世以来，全球更是陷入了一场大语言模型（Large Language Model, LLM）的热潮。随着LLM的规模不断扩大，算力资源的需求也与日俱增，为LLM推理带来更大的挑战。如今，如何降低推理成本，提高推理效率，是LLM推理面临的重要问题。

为此，英特尔推出了一个名为xFasterTransformer [1]的LLM推理加速框架，旨在帮助 AI 开发者在英特尔®至强®平台上提升 LLM 推理性能，最大化利用硬件资源，通过简单的使用方式就能帮助用户在 CPU 上实现高效的模型部署。

xFasterTransformer

项目架构

xFasterTransformer [1] 是英特尔开源的推理框架，其遵循Apache2.0许可，为LLM在CPU平台上的推理加速提供了一种深度优化的解决方案。xFasterTransformer支持分布式推理，支持单机跨socket的分布式部署，也支持多机跨节点的分布式部署。并提供了C++和Python两种API接口，涵盖了从上层到底层的接口调用，易于用户使用并将其集成到自有业务框架中。xFasterTransformer支持BF16，FP16，INT8，INT4等多种数据类型及多种LLM主流模型，比如ChatGLM，ChatGLM2/3， Llama/Llama2，Baichuan，QWEN，OPT以及SecLLM(YaRN-Llama)等。其框架设计如图1所示。

优化策略 

xFasterTransformer优化自上而下采用了多种优化策略，包括张量并行(Tensor Parallelism)和流水线并行(Pipeline Parallelism)，使用硬件加速指令AMX、AVX512向量化优化，避免冗余计算，多种低精度量化相结合等方式。下文将展开说明这些优化策略。

分布式推理优化

我们知道分布式推理过程中，通信延迟对推理性能的影响较大。项目在使用高效的通信库oneCCL 基础上，优化通信实现，降低通信量。比如，在每轮推理的初始阶段，我们推荐的实现方式是广播token ID，而不是广播根据token ID查出来的Embedding的值。在每轮推理结束时，直接对所有token的logits进行reduce并不是最优选择。更有效的方法是，让各个worker计算出topk后再进行reduce操作。

此外，我们还需要根据模型本身的结构来优化通信方式，比如像gptj，falcon这样的模型，attention部分和feed forward network是并行的，我们完全可以做到每一个decoder layer只做一次通信，也就是一次reduce add。

另外，计算模块和通信模块在交互的时候，往往会涉及到数据拷贝，一种更激进的优化方式可以尝试省去这些拷贝，也就是计算模块在做通信前的最后一次运算的时候，直接将结果写到通信模块所在的位置，从而达成零拷贝的实现。

高性能的计算加速库

项目集成了oneDNN、oneMKL以及定制化优化矩阵计算库实现。通过多个计算库的结合，为用户自动选择最优实现，并提供了大量的基础算子优化，如矩阵乘法、softmax和常用的激活函数等等，为大语言模型推理提供基本的kernel支持。通过使用这些计算库，可以将LLM中的操作加速到更高的性能水准，从而提高整体计算效率。此外，在支持高级矩阵扩展AMX[2]技术的平台上， xFasterTransformer会自动识别并使用AMX对矩阵运算进行加速，从而大大提升推理性能。 

优化LLM实现 

算子融合，最小化数据拷贝和重排操作，内存的重复利用也都是常用的优化手段。通过有效地管理内存可以最大限度地减少内存占用，提高缓存命中率，从而提升整体性能。此外，仔细分析LLM的工作流程，不难发现计算过程种存在的一些不必要或重复的操作，我们可以减少这些不必要的计算开销，提高数据重用度和计算效率。

以Attention为例，Attention是Transformer模型的关键热点之一。我们知道Attention机制消耗的资源跟序列长度的平方成正比，所以Attention的优化对于长序列的输入尤为重要。针对不同长度的序列，保证访存效率最高，项目会采取不同的优化算法来进行优化。

低精度量化和稀疏化 

通过使用低精的数据类型，或者是将权重进行稀疏化，都可以有效地降低对内存带宽的需求，从而在推理速度和准确度之间取得平衡。xFasterTransformer支持多种数据类型来实现模型推理和部署，包括单一精度和混合精度（首包和后面的生成token精度可以不一样，任意组合）充分利用CPU的计算资源和带宽资源，来提高大语言模型的推理速度。

使用方式及性能效果

使用方法

接下来将以Llama为例，讲述如何使用xFasterTransformer这个高效的推理性能加速框架来启动一个web demo。当然，如果你需要采用其他启用及使用方式，都可以从开源项目xFasterTransformer[1]中的使用说明找到你想要的答案。

假设开发者已经有了Llama-2-7b-chat预训练模型[3]，接下去只需简单几步就可以采用xFasterTransformer帮助你在CPU上完成高效的推理加速。我们推荐使用第四代及以上的英特尔®至强®平台。

1、获取并运行xFasterTransformer容器

docker pull intel/xfastertransformer:latest docker run -it \ --name xfastertransformer \ --privileged \ --shm-size=16g \ intel/xfastertransformer:latest

2、转换模型格式

下述命令将帮助你将已有的HuggingFace格式的模型转换成xFasterTransformer可应用的格式，如需转换Llama以外的模型，可以从xFastertranformer[1]使用说明中获得更多帮助。

python -c 'import xfastertransformer as xft; xft.LlamaConvert().convert("${HF_DATASET_DIR}","${OUTPUT_DIR}")'

3、安装相关依赖启动web demo

pip install -r examples/web_demo/requirements.txt LD_PRELOAD=libiomp5.so python examples/web_demo/Llama2.py \ -d bf16\ -t ${TOKEN_PATH} \ -m ${MODEL_PATH}

通过这样简单的步骤，使用者将轻松的启动一个web demo，与该聊天助手交谈。

如果开发者需要采用其他启用及使用方式，都可以从开源项目[1]中的使用说明获得相应的帮助。

性能结果

采用四台双路英特尔® 至强®8563C进行测试，在输入大小为1024 、输出大小为128时，运行Llama2-70B[4]大语言模型的 16 位精度推理仅花费了87ms的延时（生成token的测试结果）。

最后，欢迎广大AI开发者试用xFastertranformer[1]，在英特尔®至强 平台上实现更高效的LLM推理性能优化。更诚邀大家一起交流，向开源项目仓库中反馈问题及提交代码，共同推动大模型推理性能的优化之路。

[1] xFasterTransformer项目开源地址: https://github.com/intel/xFasterTransformer"

[2] AMX简介：https://en.wikipedia.org/wiki/Advanced_Matrix_Extensions"

[3] Llama-2-7b-chat预训练模型: https://huggingface.co/meta-llama/Llama-2-7b-chat-hf"

特别致谢：

在此致谢为此篇文章做出贡献的英特尔公司工程师李常青、王杜毅、余伟飞、刘晓东、孟晨、桂晟。

作者简介：

英特尔公司AI软件工程师黄文欢，英特尔公司资深架构师周姗，英特尔公司首席工程师何普江，都在从事人工智能及性能优化相关工作。