重点新闻(0531～0606)

LLM     RAG     Meta  

如何知道RAG能耐？Meta推CRAG测试基准

自大型语言模型（LLM）应用兴起以来，检索增强生成（RAG）一直是降低LLM产生幻觉和胡言乱语的主流方法。但如何衡量RAG效力，又是另一门课题。最近，Meta AI团队就推出一款名为CRAG的测试基准，可用来测试RAG系统的表现，也就是LLM结合外部知识进行问答的能力。

CRAG包含4,409个问答组，测试范围横跨5大领域，如金融、运动、音乐、电影和百科，另外包含8种问题类型，像是条件式简单问题、比较型问题、加总型问题等。CRAG可测试2种RAG能力，包括网路搜寻和API串接形式，让使用者了解自家系统在动态和静态事实下的检索、合成与生成能力。

Meta团队也用CRAG来评估LLM，发现最先进的语言模型准确率只有34%，透过RAG加持可提升到44%。而且，即便是业界先进的系统，在处理动态和复杂查询时，也只能回答63%的问题且不产生幻觉。Meta希望透过CRAG，来推动问答系统的创新和进步，克服语言模型的幻觉和知识差距。与此同时，CRAG也是Meta今年3月展开的KDD Cup 2024挑战赛基准，全球已有数千名参赛者来测试、精进自家RAG系统，Meta团队也会持续扩充CRAG，来推进RAG技术发展。（详全文）

 AI机房     日月光     水冷  

日月光年底要启用首座水冷AI机房

日月光半导体日前在Computex大会中揭露，将于今年底启用其位于高雄的首座水冷散热资料中心。该机房不只是全新AI运算设备基地，更是一座节能标竿机房，目标PUE（能源使用效率）值低于1.2。这个机房是要满足每年增长1.2倍的AI运算需求，来因应未来两年AI应用和大型语言模型（LLM）快速发展趋势。

这座AI机房采用Supermicro的水冷式散热技术，并由中华系统整合布建。机房内的伺服器将搭载最新水冷机制，通过冷水直接带走主机板热能，取代传统气冷的冷热通道方式。这种设计的机房能耗，比气冷方式减少了20%以上，有助于达成日月光ESG永续发展目标。该AI机房也将配置多台AI伺服器机柜系统，据Supermicro提供的硬体规格，每台AI伺服器主机内搭载2个32核Intel CPU与8个Nvidia H100 GPU。日月光计划用这座AI机房加速智慧制造，并在产品生产、工程研发及营运上开发新的AI应用。（详全文）

  音效生成     ElevenLabs     AI  

ElevenLabs新AI工具可细致地生成音效

AI新创ElevenLabs专攻语音和声音技术研究，去年先是推出AI平台Text to Speech，可让用户根据文字设定，合成不同性别、年龄、口音和风格的语音。今年2月，ElevenLabs预告与OpenAI合作，要用其影片生成模型Sora，来打造可为影片配音的AI模型，最近正式公开这款音效生成工具Text to Sound Effects。

Text to Sound Effects可让使用者调整音效，例如「脚步声」可细分为高跟鞋、靴子或球鞋的声音，甚至还能模拟不同环境的音效，如沙地、雪地或叶子上的脚步声。ElevenLabs也与Shutterstock合作，利用其高品质的合法音讯资料库微调AI模型，确保生成音效的多样性和真实性。该工具提供免费及付费版本，免费版用户需在生成的音效中标注来自ElevenLabs，而付费版本则无需此限制。（详全文）

  Nvidia    AI晶片      RTX  

Nvidia揭AI晶片计划，另推RTX新技术和Chatbot专案

Nvidia创办人暨执行长黄仁勋日前在台大演讲中，透露Nvidia AI晶片新计划，包括加速AI晶片的更新周期、每年推出一款新晶片，尤其是明年将推出的Blackwell Ultra和后年的Rubin，来因应他强调的新工业革命AI浪潮。在日前的Computex大会上，Nvidia发表也最新RTX技术，包括光线追踪、AI视觉运算、光栅化及模拟等，另推出用来实现相关技术的Nvidia RTX AI Toolkit，集结各种支援Windows平台的工具和SDK，供开发者客制化AI模型、跨云端及RTX个人电脑部署。

此外，Nvidia也新推聊天机器人Project G-Assist，这款RTX技术加持的AI助理可用于游戏，能接收玩家的文字、语音和游戏视窗快照，并回答游戏中遇到的问题，如任务指引、物品建议和怪物资讯等。同时，Nvidia也与微软合作，要助开发者将生成式AI功能整合到Windows原生网页程式，也能使用API存取GPU加速的小型语言模型（SLM），来更轻松部署AI应用。这款API将在今年以开发者预览版释出。（详全文）

  AI套件     树莓派     电脑视觉  

树莓派推出70美元AI套件，强化视觉应用

树莓派（Raspberry Pi）日前推出支援Raspberry Pi 5单板电脑的AI套件，售价70美元。该套件是树莓派与以色列AI公司Hailo Technologies合作开发，目的是要提高AI视觉应用的建置效率。进一步来说，这个AI套件结合了树莓派的M.2 HAT+扩充板和Hailo-8L AI加速模组，具即时执行、低延迟和低功耗等特性。也因此，Raspberry Pi 5能高效率运行复杂的AI视觉应用，如物体侦测、语义分割、姿势估计和脸部特征识别等。

该套件可执行每秒13兆次操作（TOPS）的推论，单通道PCIe 3.0连结传输速度为8Gbps，无缝整合Raspberry Pi的作业系统和软体，也兼容多种相机。此外，它也能在单个或多个相机镜头上同时执行多个神经网路。Hailo也建立一个模型资料库，包含各种预训练神经网路模型，方便用户快速部署或优化。此外，为简化相机与AI应用整合，其专属rpicam-apps套件现在拥有后处理模板，可将神经网路推论整合至相机工作流程中即时执行，并预装了Hailo Tappas后处理函式库，让用户只需几百行C++程式码便能建置AI应用。这一整合很快也会扩展到Picamera2框架。（详全文）

  音效     Stability AI     Stable Audio Open  

Stability AI释出文字生成音效模型Stable Audio Open

Stability AI近日释出文字生成声音模型的开源版本Stable Audio Open，使用者输入文字描述后，就能生成长达47秒的音档。这个模型是Stability AI以48万多个音档训练而成，其中超过9成来自Freesound，另有少数来自「免费音乐档案」（FMA），所有音讯都取得免费的共享许可，并使用预训练T5文字模型来处理、生成文本。

Stability AI表示，Stable Audio Open很适合用来建立鼓点、音乐即兴片段、环境音效、模拟录音或其它与音乐和声音有关的样本。开源版本的好处是，使用者可用自己的声音来调整模型，例如鼓手可加入自己的录音样本，来生成新的节奏。（详全文）

  Lunar Lake     英特尔     AI PC  

英特尔发表新一代AI PC处理器Lunar Lake

英特尔在今年度Computex大会揭露新一代笔电处理器Lunar Lake，是Core Ultra系列第二代产品。该处理器每秒可处理48兆次（TOPS），是前一代的3.5倍，耗电量则低了40%。

进一步来说，上个月底微软发表AI系列笔电Copilot+ PC，首批笔电与高通合作，采高通Snapdragon系列处理器，但Snapdragon的PC产品在市场上份量相对小，下一波预计搭载英特尔和AMD处理器的Copilot+ PC，才会触及更多主流PC市场。而Lunar Lake就会出现在这批PC中，其搭载的CPU、GPU、NPU算力共有120 TOPS，包含CPU的5 TOPS、GPU的67 TOPS，以及NPU的48 TOPS算力，可更快速执行AI应用。Lunar Lake预计第三季上市，至于搭载Lunar Lake的Copilot+ PC何时会推出，英特尔没有进一步揭露更多细节。（详全文）

  Google     异常侦测     半监督  

资料不足也能有效侦测，Google开源半监督式框架SPADE

Google开源一款SPADE半监督式异常侦测框架，能克服其他半监督异常侦测方法，只需少量已标记和大量未标记资料，就能高效率侦测异常。异常侦测应用范围很广，涵盖API安全、金融诈欺、制造缺陷等领域，而Google开发的SPADE使用一组单类分类器（OCCs），作为虚拟标签器和监督分类器，特别适合用来处理少量已标记资料和大量为标记样本的资料集。

这是因为，要建立大规模标记资料集不仅耗时且成本昂贵，SPADE利用半监督学习方法，可降低这个成本。在运作方式上，SPADE先使用多个单类分类器来学习资料中的正常样本特征，接著，这些分类器分别对未标记的资料进行预测，生成虚拟标签，猜测异常与正常的资料，但只有当所有分类器一致认为特定样本为异常时，才会真正将其标记为异常。再来用虚拟标签和原始标记资料，来训练监督异常模型，完成后，模型就能用来侦测新资料中的异常。（详全文）

图片来源／Meta AI、树莓派、英特尔

摄影／余至浩

  AI近期新闻 

1. AMD发表第3代Ryzen AI笔电处理器，NPU效能达50TOPS、用低能耗带来新AI体验

2. Databricks买下Tabular，要改善资料相容性

3. 阿里巴巴发表新款语言模型Qwen2，支援128K Token、多数表现胜过Llama 3

资料来源：iThome整理，2024年6月