知乎热榜 ( ) • 2024-04-12 22:28
Trisimo崔思莫的回答

方校长说得没错,但说得不清楚。

“知识茧房”问题:

①抛开RAG和网络搜索等接地功能,一个基础的LLM并不输出知识,只是在输出概率幻觉,只是由于技术实力强,大部分的输出都能和事实相符,从本质上说,它们提供的只是一种“大概率与真实知识相符的幻觉”,从技术上说,它们是多层神经元的叠加,而不是在神经元里存储了明确无误的知识,权重而不是知识。

②LLM是做知识处理的,而不是提供知识的,只是做语言翻译,风格重写,细节补充,语法润色。——正确的做法:应该是用户向LLM提供事实和知识,比如搜索,RAG,PDF,网址,提示词等等,让LLM按照要求处理知识。 所以使用LLM,不要把方向搞反。提供知识的角色,应该是你自己。

③搞清楚了原理,那就不会陷入知识茧房了,它们没有真正的知识,所以也不会有知识茧房。

④方校长说的也没错,很多人错误地把基础模型当做知识来源,这就会陷入知识茧房,因为LLM输出大体上是按照概率输出的,在一般的提示词下,LLM会优先输出高概率Tokens,所以就容易形成知识茧房。这也是为什么在没有好的外部输入的情况下,模型会倾向于泛泛而谈,正确但没用。big truth but empty.这就是概率。

“被模型左右三观”

①首先要搞清楚,模型没有三观,对于一个没有做RLHF等对齐的基础模型而言,它什么都可以输出,正能量负能量,正三观毁三观都可以。

②即使做了对齐,像OpenAI和Anthropic这样的大厂,都会优先考虑世界主流价值观,比如自由民主平等,温良恭俭让,LGBT彩虹旗飘扬。 我想这样的三观不是一个正常人应该有的三观么?这不就是Civilization么?

你用ChatGPT和Claude时间长了,三观的确会被左右。 但你不用在前面加个“甚至”,搞得这是什么负面影响一样,甚至可以说,ChatGPT和Claude省去了很多思品课的时间,加速了文明的脚步。如果这个世界上所有都信ChatGPT那套三观,我们更有可能免受战争、部落主义、偏见、歧视之苦,三观歪到天边,就是人类天然自带的基因,人类既不是孤狼,也不是博爱动物,而是小部落的,仇外的,自带偏见的。教育是必须的,ChatGPT就是教育的一部分。