新聞 | iThome ( ) • 2024-04-24 12:45
图片来源: 

AWS

AWS昨(23)日发表AI平台Amazon Bedrock最新服务Custom Model Import预览版,可让企业用户将模型上传Bedrock微调并为特定应用客制化。

Amazon Bedrock提供如Mistral或Llama等基础模型,供企业选择以打造生成式AI应用,有些用户会为特定使用场景微调或客制化模型。另一些企业则是自建基础架构,使用Mistral或Llama等模型客制化并开发AI应用。之前,企业用户必须在Bedrock以外的其他环境上进行客制化。问题是,这类环境的部署需要一定能力,而对Bedrock用户而言,这还会使开发人员必须在不同模型环境间切换,造成经验的不连续。

最新公布工具可解决客制化环境的部署问题。首先是Custom Model Import,诉求让用户将客制化模型汇入Bedrock,一方面保留客制化成果,另一方面又能在安全的云端平台上使用模型。汇入Bedrock后,用户就能透过Bedrock的API呼叫,以随需(on-demand)方式存取模型,并为基础、客制化及汇入的模型建立一致化经验。最新工具支援Mistral、Llama及Flan T5等。

另一方面,针对Bedrock上想客制化模型的用户,AWS昨日也宣布预览一项新功能。新功能让用户从Amazon SageMaker机器学习平台及Amazon S3以Hugging Face safetensors格式汇入自订权重以客制化模型,之后就能以随需方式存取模型。本功能支援Meta Llama 2、Llama 3及Mistral。

这样一来用户可以使用Bedrock上为写程式特化的Code Llama模型,或是以自有资料微调模型后,再将模型汇入Bedrock。二项新功能目前都仅在美国测试。美国用户可透过Bedrock控制台主页开始汇入模型或权重。