失眠，索性起来看看：

性能先搂一眼：

近期的目标是使 Llama 3 成为多语言和多模式、具有更长的上下文，并继续提高推理和编码等核心 LLM 能力的整体性能。

关键改进：

模型架构：词表更大了，反正是一些比较正常且有用的操作；

数据工程：15T tokens，一些很贵的事情！

• 15T tokens，llama2的7倍，包含了4倍的代码数据；
• 多语言：30+
• 数据过滤pipeline：启发式过滤器、NSFW 过滤器、语义重复数据删除方法和文本分类器来预测数据质量
• 数据配比

scaling law的一点观察

对齐技术：暂时没发现新东西

好吧，下一步哈哈：