即刻App年轻人的同好社区
下载
🦙 LLaMA2 有什么特别之处？和ChatGPT 有什么不同？
今天是一个超级里程碑，Meta AI 推出了开源的LLaMA 2 ， 它的意义不亚于ChatGPT的横空出世，将改变整个AI生态和新世界的商业格局。首发即刻，转发请使用官方标准手段。
你可以直接上手体验： llama2.ai 或者 llama.perplexity.ai
以下尽量面向非专业人士的分享和行业分析。
1/ LLaMA 2 开源，可商用。 最可观的是，就基础模型来说，超越GPT-3，十分强大；调参后是目前唯一和ChatGPT相抗衡的「开源」大语言模型；这将根本引发整个AI 生态的新变局。
2/ LLaMA （羊驼）的缩写全称是 ， Large Language Model Meta AI，LlaMA 2 比上一代在数据质量、训练方式和安全处理都有显著升级。它具有不同的参数量——70亿、130亿和700 亿——以及预训练和微调变体。
根据Meta的说法，调谐版本使用监督微调(SFT)和人类反馈的强化学习(RLHF)来符合人类对有用性和安全性的偏好。Llama 2 预训练模型在 2 万亿个词库上进行了训练，其上下文长度是 Llama 1 的两倍。其微调模型已在 100 多万个人类注释上进行了训练。Meta 花费了 至少 2000 万美元来训练它。
3/ 在推理、编码、能力和知识测试等多项外部基准测试中，LLaMA 2 的表现均优于其他开源语言模型。70B模型与GPT-3.5-0301基本持平，并且明显强于Falcon、MPT和Vicuna。在编码方面， 还没有达到 GPT-3.5 的水平（来自JimFan等评价）。
4/ 隐私与安全，是LlaMA 2最重要的特点之一。在其相关论文中， 大篇幅都关注论文的近一半内容都在谈论安全防护、红队和评估。
例如以下措施：a）预训练数据的选择，对可能包含大量个人隐私信息的某些来源进行了移除。b）细致调教：通过监督微调、人类反馈增强学习等方式，使模型输出更加安全可控。c）对抗性测试。采用红队测试等手段主动攻击模型,确保其能够抵御攻击。d）输出过滤。署时可以使用文本分类器等技术过滤模型输出,避免生成违规内容。e）透明度控制。向用户提供透明度控制,允许用户自定义或拒绝某些输出。
因为ChatGPT的数据源并不透明，我们甚至可以初步确认， LlaMA 2正在深刻影响AI 安全和伦理的新标准。
5/ RLHF 和微调。 Meta 论文的关键部分展示了他们如何使用RLHF来显著提高他们的模型；他们用最好的奖励模型评估他们的各种模型。
质量是最为重要的。Meta 说开源指令数据集是中等的，注解数据的数量（27,540）实际上仍然非常接近Anthropic报道和OpenAI传闻的数量（~10k数量级）。这对可重复性来说是一个胜利。
这是第一篇出来说RLHF从根本上提高模型上限的论文，而其他研究组都在说RLHF是重要的，但有点把它当作一种风格或安全工具。
Meta确实明确表示，这个过程是一个“需要大量的计算和注解资源”的过程。详见论文ai.meta.com
6/ 战略合作伙伴。 Meta今天在Microsoft Inspire活动上宣布了这一举动，并指出它对Azure和Windows的支持以及两家公司之间“日益增长”的合作关系。与此同时，Microsoft透露了更多关于其360平台内置的AI工具的详细信息，以及这些工具的成本。
高通还宣布，它将与Meta合作,从2024年开始在笔记本电脑、手机和耳机上推出LLaMa，用于无需依赖云服务即可工作的AI 驱动应用。
7/ AI的去中心化加速。不少专业人士相信， 开源的模型和数据集公开将前所未有推动多模态（见我在这里的科普文m.okjike.com ）的发展， 让 LLM 从更多数据类型（音视频等唯独）学习世界知识。
整体来看， AI 底层模型竞争将更快去中心化， 这是智能富足时代最显性特征之一， 未来可期。
今天是一个超级里程碑，Meta AI 推出了开源的LLaMA 2 ， 它的意义不亚于ChatGPT的横空出世，将改变整个AI生态和新世界的商业格局。首发即刻，转发请使用官方标准手段。
你可以直接上手体验： llama2.ai 或者 llama.perplexity.ai
以下尽量面向非专业人士的分享和行业分析。
1/ LLaMA 2 开源，可商用。 最可观的是，就基础模型来说，超越GPT-3，十分强大；调参后是目前唯一和ChatGPT相抗衡的「开源」大语言模型；这将根本引发整个AI 生态的新变局。
2/ LLaMA （羊驼）的缩写全称是 ， Large Language Model Meta AI，LlaMA 2 比上一代在数据质量、训练方式和安全处理都有显著升级。它具有不同的参数量——70亿、130亿和700 亿——以及预训练和微调变体。
根据Meta的说法，调谐版本使用监督微调(SFT)和人类反馈的强化学习(RLHF)来符合人类对有用性和安全性的偏好。Llama 2 预训练模型在 2 万亿个词库上进行了训练，其上下文长度是 Llama 1 的两倍。其微调模型已在 100 多万个人类注释上进行了训练。Meta 花费了 至少 2000 万美元来训练它。
3/ 在推理、编码、能力和知识测试等多项外部基准测试中，LLaMA 2 的表现均优于其他开源语言模型。70B模型与GPT-3.5-0301基本持平，并且明显强于Falcon、MPT和Vicuna。在编码方面， 还没有达到 GPT-3.5 的水平（来自JimFan等评价）。
4/ 隐私与安全，是LlaMA 2最重要的特点之一。在其相关论文中， 大篇幅都关注论文的近一半内容都在谈论安全防护、红队和评估。
例如以下措施：a）预训练数据的选择，对可能包含大量个人隐私信息的某些来源进行了移除。b）细致调教：通过监督微调、人类反馈增强学习等方式，使模型输出更加安全可控。c）对抗性测试。采用红队测试等手段主动攻击模型,确保其能够抵御攻击。d）输出过滤。署时可以使用文本分类器等技术过滤模型输出,避免生成违规内容。e）透明度控制。向用户提供透明度控制,允许用户自定义或拒绝某些输出。
因为ChatGPT的数据源并不透明，我们甚至可以初步确认， LlaMA 2正在深刻影响AI 安全和伦理的新标准。
5/ RLHF 和微调。 Meta 论文的关键部分展示了他们如何使用RLHF来显著提高他们的模型；他们用最好的奖励模型评估他们的各种模型。
质量是最为重要的。Meta 说开源指令数据集是中等的，注解数据的数量（27,540）实际上仍然非常接近Anthropic报道和OpenAI传闻的数量（~10k数量级）。这对可重复性来说是一个胜利。
这是第一篇出来说RLHF从根本上提高模型上限的论文，而其他研究组都在说RLHF是重要的，但有点把它当作一种风格或安全工具。
Meta确实明确表示，这个过程是一个“需要大量的计算和注解资源”的过程。详见论文ai.meta.com
6/ 战略合作伙伴。 Meta今天在Microsoft Inspire活动上宣布了这一举动，并指出它对Azure和Windows的支持以及两家公司之间“日益增长”的合作关系。与此同时，Microsoft透露了更多关于其360平台内置的AI工具的详细信息，以及这些工具的成本。
高通还宣布，它将与Meta合作,从2024年开始在笔记本电脑、手机和耳机上推出LLaMa，用于无需依赖云服务即可工作的AI 驱动应用。
7/ AI的去中心化加速。不少专业人士相信， 开源的模型和数据集公开将前所未有推动多模态（见我在这里的科普文m.okjike.com ）的发展， 让 LLM 从更多数据类型（音视频等唯独）学习世界知识。
整体来看， AI 底层模型竞争将更快去中心化， 这是智能富足时代最显性特征之一， 未来可期。
78 652
来自圈子
AI探索站
77587人已经加入