前言

如果单纯的将大模型用来聊天，那就是low了。

而多模态赋予了大模型更多的现实价值，大模型则助力多模态变得更强大。

多模态

我们所处的是一个物理世界，不同事物之间模态多种多样，即便是简单的文本，按照语言，格式都可以分很多个模态。

在实际使用中，多模态的场景往往需要模型微调，才可能满足需求。

我们这里还是主要看一下当前比较常用的基础多模态和支持的模型。

典型场景

1. 漫画

我们可以利用大模型自动根据我们的剧情画漫画，它的实现流程大致如下：

• 单智能体版本

1. 创建一个漫画家agent
2. 给这个漫画家添加一个文生图的tool
3. 给它一段段剧情，自动生成漫画

• 多智能体版本

1. 创建一个漫画家agent，创建一个作家agent
2. 给这个漫画家添加一个文生图的tool，给作家一个ttstool。
3. 给作家一段概要，作家自动生成一段段剧情，并生成对应的语音
4. 漫画家根据剧情画出漫画

2. 健身|减肥

在减肥的时候，是不是有这样的烦恼，不知道自己吃的这顿饭有多少卡路里？

我们可以在吃饭前，把食物拍下来，然后用图生文的能力解读出，当前食物所含有的卡路里。

3. 医疗

我生病时，最头疼的事情就是描述不出自己是什么病，也不知道用什么药。

亲身经历：有次早晨醒来，发现后槽牙龈肿了，吃不了饭，当时不知道是智齿冠周炎，去医院挂号排队，搞了一下午，开了一堆药。后来再出现这样的情况，我就直接网购阿莫西林胶囊和甲硝唑口含片，基本一两天就能好。省略一大笔冤枉钱和大把的时间。

现在想想，如果有大模型支持的医疗agent，借助图搜图的能力，我只需要对着口腔拍个照片，就能直接看病，抓药。

4. 法律助手

这是一个典型的embedding功能，在langchain框架上有现成的功能。实际应用中是非常普遍和广泛的。

比如当你在做某个事情，而不知道法律是如何规定的时候，用embedding功能对所有的法律条目进行召回，并用大模型进行总结和回复。

5. siri

这是一个较为复杂的场景，它集成苹果手机的基础功能，此时他的模态更加宽泛，是一个典型的大模型和多模态的应用场景。

尾语

多模态是大模型应用中不可缺少的部分。是更贴近应用的部分。

不同的应用场景需要不同的策略，可能是新旧技术的结合，也可能是完全新的领域，比如sora。多模态正在发力的路上，还需要我们更多的探索。