InfoQ 推荐 ( ) • 2024-05-08 12:52

大模型的快节奏发展,让了解最新技术动态、积极主动学习成为每一位从业者的必修课。InfoQ研究中心期望通过每周更新大模型行业最新动态,为广大读者提供全面的行业回顾和要点分析。现在,让我们回顾过去一周的大模型重大事件吧。

一、重点发现

本周,行业在技术创新、模型优化、跨领域应用和科研探索方面展现出活跃态势。Vidu视频大模型,多token预测模型以及gpt2-chatbot,均展现突破性性能。元象公司开源XVERSE-V大模型,通义千问发布千亿参数的Qwen1.5-110B,推动了AI技术的共享与进步。PEFT技术和KAN神经网络架构的提出,为大模型的训练和架构设计提供了新方向。Anthropic发布Claude iOS应用,GitHub推出Copilot Workspace,增强了AI在移动平台和开发环境中的实用性。

二、具体内容

大模型持续更新

4月27日,生数科技与清华大学联合发布了中国首个具有长时长、高一致性和高动态性特点的视频大模型——Vidu。Vidu不仅能够模拟现实世界的物理现象,还支持多镜头生成,并且具有高度的时空一致性。Vidu采用了该团队独创的Diffusion与Transformer融合架构——U-ViT,能够实现一键生成长达16秒、分辨率达到1080P的高清视频内容。4月30日,在LMSYS Chatbot Arena中,一个名为gpt2-chatbot的神秘模型引起了社交媒体上的热烈讨论。众多网友对gpt2-chatbot进行了围观和测试,发现其能力与GPT-4不相上下,甚至在某些任务上的表现超过了GPT-4 Turbo。4月30日,Meta AI法国团队推出多token预测模型,在编程类任务上表现突出。与单一token预测相比,13B参数模型在HumanEval基准测试中解决了12%的额外问题,在MBPP基准上则多解决了17%的问题。此外,在小型算法推理任务中,多token预测也在分布外泛化方面取得了显著的成效。

开源领域

4月28日,元象公司发布了多模态大模型XVERSE-V,并将其开源,允许无条件免费商用。这一模型支持任意宽高比的图像输入。4月29日,通义千问首次发布了一个千亿级参数模型——Qwen1.5-110B,该模型在多项基准测试中刷新了当前开源模型的最佳成绩。该模型继承了Qwen1.5系列的Transformer解码器架构,并引入了分组查询注意力方法,这使得模型在推理过程中更为高效。Qwen1.5-110B模型支持32K上下文,表现出卓越的多语言处理能力,支持中文、英文、法文、德文、西班牙文、俄文、日文、韩文、越南文、阿拉伯文等多种语言。

多模态领域

4月27日,智子引擎发布了其最新的多模态大模型——Awaker 1.0,Awaker 1.0采用了创新的MOE架构,并具备自主更新能力。在视觉生成方面,Awaker 1.0采用了智子引擎自研的视频生成底座——VDT,该技术在写真视频生成方面的表现超越了Sora,打破了大模型在实际应用中难以落地的难题。

科研领域

4 月 29 日,来自美国东北大学、加州大学Riverside分校、亚利桑那州立大学和纽约大学的研究员共同深入探讨了参数高效微调(PEFT)技术在大模型中的应用及发展方向。PEFT技术为预训练模型提供了一种高效的适配方法,专门用于下游任务。该技术通过保持大部分预训练参数不变,仅对极少数参数进行微调,使得大模型能够更加灵活和高效地适应各种不同的下游任务。4月30日,麻省理工学院、加州理工学院、东北大学等团队联合进行研究出一种全新的神经网络架构KAN,该架构与传统的MLP架构截然不同,并且能够在数学和物理问题上以更少的参数达到更高的精确度。在函数拟合、偏微分方程求解,甚至处理凝聚态物理方面,KAN的表现都超越了MLP。此外,KAN在处理大模型时自然避免了灾难性遗忘的问题,并且很容易将人类的习惯性偏差或特定领域的知识融入其中。

应用探索

新产品新应用/功能

4月29日,GitHub推出了Copilot Workspace的技术预览版。这是一个由GitHub设计的开发环境,它基于多种Copilot代理,允许开发者使用自然语言与代理进行互动。在Copilot Workspace中,开发者可以进行头脑风暴、规划、构建、测试以及执行程序代码,并且能够查看从初步想法到最终代码实现的整个开发过程,这使得开发者能够更快、更轻松地发挥其创造力。5月1日,人工智能创业公司 Anthropic首次推出旗下大模型产品 Claude 的移动端App iOS版本,只有11MB。功能包括:允许用户与网络聊天实现无缝同步,聊天可以跨设备持续进行;用户可随时随地使用照片、拍摄新照片、上传文件,同时支持实时图像分析和态势感知功能;对于所有订阅计划用户,包括Pro和Team,都可免费下载并开放使用这款应用程序。

其他

4月27日,八位具身智能领域的企业创始人、技术负责人和专家在中关村论坛年会未来「人工智能先锋论坛」上展开了一场关于具身智能的深度对话,讨论了关于具身智能发展路径,当前的技术水平,发展瓶颈和难题等内容;5月4日,斯坦福大学教授李飞飞正在筹划成立一家AI公司,并已成功完成了种子轮融资。该公司将专注于开发“空间智能”技术,目标是使人工智能能够像人类一样对视觉信息进行复杂推理和处理。此轮融资的投资方包括硅谷风投a16z和Radical Ventures。

报告推荐

Sora来袭,国内发展文生视频模型的土壤如何?各公司用脚投票开闭源路线的当下,开源在大模型市场进程中的价值正在被重新定义吗?人型机器人重回视野,大模型是否助力其刷新能力上限?Devin和智能编码助手是同一条赛道上的不同节点?多家企业宣布All in AI,对市场意味着什么?答案尽在InfoQ研究中心近期发布的《2024 年第 1 季度大模型监测报告》,关注「AI前线」公众号,回复「季度报告」免费下载,一睹为快吧~

报告预告

AGI究竟是什么?AI Agent 如何助力人工智能走向AGI时代?在营销、金融、教育、零售、企服又有哪些典型应用和案例?欢迎大家持续关注InfoQ研究中心即将发布的《中国AGI市场发展研究报告 2024》。

活动推荐

AICon 全球人工智能与大模型开发与应用大会暨通用人工智能开发与应用生态展将于5月17日正式开幕,本次大会主题为「智能未来,探索AI无限可能」。如您感兴趣,可点击「阅读原文」查看更多详情。

会议即将开幕,购票或咨询其他问题请联系票务同学:13269078023,或扫描上方二维码添加大会福利官,可领取福利资料包。

阅读原文链接:https://sourl.co/iRVv2U"