小黑盒游戏新闻 ( ) • 2024-04-05 17:31

月5日,腾讯公开了全新的大模型工具MuseV,能够让虚拟人物动起来,腾讯展示了金克丝动态视频等高质量生成视频,项目团队希望通过开源模型,让整个社区受益!




今年,OpenAI发布了视频生成模型Sora,开启了文生视频的新赛道,3月份,阿里云推出了全新的AI图生视频模型——EMO,给定一张图片和一段文字,即可生成任意的音频文件。

4月份,腾讯紧接着公开了MuseV,同样也是文生视频工具,主要是基于视觉条件并行去噪的无限长度和高保真虚拟人视频生成,去噪技术能够让生成的虚拟人视频更为清晰和真实,而且还能够无限长度地生成视频内容。

我们先给定一张金克丝的图片,再利用MuseV生成人物的动作视频,可以看到金克丝在对我们抛媚眼。腾讯团队补充,下面的视频并未经过任何的超分处理。


MuseV能够处理无限长度的视频生成,避免误差累计的问题,更适用于固定相机位的场景,MuseV支持图像到视频、文本到图像到视频、视频到视频的生成,为用户提供了多样化的生成选项,满足不同场景下的需求。

腾讯方面提供了基于人物类型数据集训练的虚拟人视频生成预训练模型,可以帮助用户更轻松地生成虚拟人视频内容,加速生成过程并提高生成的质量。除了虚拟人外,也有网友直接拿MuseV生成小米SU7的行驶视频。


MuseV兼容Stable Diffusion的文生图模型,包括基础模型base_model、lora和控制网络Controlnet等,让用户可以更加灵活地使用这些工具进行虚拟人视频生成。


MuseV支持多参考图像技术,包括IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID等多种技术,帮助用户在生成过程中更好地利用参考图像,提高生成的准确性和质量。腾讯还即将提供训练代码,用户可以根据自己的需求和数据集进行模型训练,定制化自己的虚拟人视频生成模型。

目前,腾讯旗下拥有大量的版权IP,MuseV作为其开源的虚拟人视频生成框架,可以更好地利用这些IP,比如利用IP虚拟角色形象来生成虚拟人视频,增强角色形象的影响力和价值,推出各种各样的虚拟人物衍生产品,再结合腾讯的曝光度进行营销,为用户提供更丰富、更多样化的内容体验。


对比Sora模型,MuseV主要是面向固定相机位的虚拟人物生成,对理解世界的涌现能力并没有那么强,项目组表示MuseV其实在去年7月份就实现了,受Sora扩散模型的启发,腾讯决定开源MuseV,让模型能够站在开源社区逐步成长。(huggingface地址 / Github地址




AIGC:

聊天机器人——ChatGPT全网爆红,马斯克惊叹夸赞!

聊天机器人——ChatGPT小白注册教程,勿被电商割韭菜!

火爆全网——AI生成的漂亮小姐姐,形象逼近真人!

AI动画重磅上线——15种风格任选,支持图片视频输入!

AI“核弹级”修图神器——有手就能修图,PS将被淘汰!

AI修图神器升级:一键拖拽,即可精准P图!

微软头显AI助手:重磅推出Otter,能够打麻将、开飞机!

游戏界大变天:斯坦福最新成果,AI角色可模拟真人小镇!

智械危机:AutoGPT尝试“毁灭人类”,诱导发动核战争!

ChatGPT:玩转《我的世界》,北京大学强化学习攻克复杂任务!

ChatGPT:成功让AI听懂人话,学会与人类合作!

ChatGPT:7分钟开发一款游戏,成本仅0.3美元!

OpenAI重磅突破:用AI学习AI,开创人工智能新道路!

AI速通游戏——两小时超越玩家,阿尔法狗母公司攻克26款游戏!

占卜GPT问世:AI进军玄学领域,将取代星座大V!

ChatGPT:AI女网红交1000+男友周入50万,未来AI会如何发展?

青年文学论坛——GPT-4来临,翻译会被AI取代吗?

华为&北大:识别ChatGPT造假,AI打假检测器来了!

ChatGPT清明节:上海云生命公司“复原”逝者,数字生命丫丫!

腾讯&剑:“熊猫GPT”重磅出炉,多模态超级大模型!

腾讯&南航:AI游戏生成技术,3天可建设一座“机场”!

网易:ChatGPT自研课首发上架,AI为游戏赋能!

网易:AI孙燕姿真来了!网易云音乐成立AI歌手厂牌!

搞钱GPT:国产首个带货AI,将颠覆全球千亿美金市场!

国产GPT:推出AI数字人员工,元宇宙+GPT震撼登场!

稚晖君:赛博国风轮足机器人“哪吒”,未来或集成GPT大模型!

妙鸭相机:朋友圈刷屏!AI精修写真,妙鸭相机爆红!

视频版GPT?斯坦福美女博士退学创业,AI生成视频爆火!

科目三:让马斯克跳“科目三”,AI视频新玩法!

AI网红来了:半藏森林克隆人,月入10万+!

AI金发女友:月入3万刀,每月收到20份求婚!

AI复活女儿:歌手包小柏,现实版图桓宇!

AI图生视频:效果逼真,阿里云推出EMO!

AI作曲爆红:周杰伦歌曲爆改,人人都能写歌!

AI复活技术:清明临近,AI复活技术爆火!


#gd的ai&游戏杂谈#

#ai人工智能#