新聞 | iThome ( ) • 2024-04-24 11:55

Phi-3-mini具有轻巧、容易使用、跨平台等特色,可在多种硬体平台如CPU、GPU、FPGA甚至行动装置上执行。(图片来源/微软)

微软昨(23)日公布并开源小型语言模型(small language model,SLM)Phi-3系列,强调在语言理解、推理、数学及写程式等能力上,比更多参数的模型如GPT-3.5 Turbo、Mistral还强大。

微软分别在去年6月及12月公布参数仅13亿的Phi-1及27亿的Phi-2轻量型语言模型。此类模型是为执行较简单任务设计,使用较简单,资源较有限的组织也能轻易微调以满足特定用途。

最新的Phi-3包含三款模型,分别是Phi-3-mini(3.8B)、Phi-3-small(7B)、及Phi-3-medium(14B)。今天Phi-3-mini已透过Azure AI Studio模型库、Hugging Face轻量框架Ollama公开。再几个星期Phi-3-small及Phi-3-medium也会在Azure AI模型库及其他网站公开。微软强调,Phi-3家族虽然参数量相较少,但效能却大于参数较多的模型。根据微软提供的数据,Phi-3-mini在多语言理解、推理、数学及写程式等标竿测试上,超过Google Gemma-7B与Mistral-7B,而Phi-3-small及Phi-3-medium甚至超过Mixtral 8x7B、Claude-3 Sonnet与GPT-3.5 Turbo。

图片来源/微软

除了使用简单、适合特定AI任务外,微软并强调Phi-3可用于运算效能有限或离线环境,这允许资源有限的组织将之部署在成本较低的装置以及频宽受限的环境下,确保回应速度。

其中今天公布的Phi-3-mini具有特别轻巧、容易使用、跨平台等特色。仅38亿参数的规模使Phi-3-mini可执行于本地装置,如笔电上,它还经过微软推论框架ONNX Runtime优化并支援Windows DirectML,可在多种硬体平台如CPU、GPU、FPGA甚至行动装置上执行。Phi-3-mini也已为Nvidia GPU优化,还可作为Nvidia NIM微服务以标准API执行,可部署在任何地方。

图片来源/微软

另一方面,mini版Phi-3分提供二种脉络空间(context-length)版本,分别为4K及128K token。微软表示Phi-3-mini也是同等级模型中首个能支援到128K token的SLM。更大的脉络赋予Phi-3-mini强大的文本输入与理解能力,使其适合进行分析任务。

已经有企业导入Phi-3。例如印度农业集团ITC以微软Copilot范本开发AI助理以协助当地农民,并在本地部署Phi-3。

AI PC是微软推动本地端执行AI的计划之一。微软可望在下个月产品及技术大会上公布新款自家AI PC,即Surface平板及笔电,以及其他Windows 11的AI技术。