meta-llama-3-70b

Llama 3是Meta推出的最新语言模型。该模型具有业界领先的性能表现，上下文窗口达8000个token，是Llama 2的两倍。

要了解Llama 3模型的更多信息、如何通过API运行Llama 3，或如何开发Llama 3应用，请查看Replicate的交互式博客文章。

模型详情

Meta研发并发布了Llama 3系列大语言模型(LLMs)，包含80亿和700亿参数规模的预训练及指令微调生成式文本模型。经过指令微调的Llama 3模型针对对话场景优化，在行业常见基准测试中超越多数开源聊天模型。在开发过程中，我们特别注重优化模型的实用性和安全性。

开发机构 Meta

版本变体 Llama 3提供80亿和700亿两种参数规模，含预训练版和指令微调版

输入 仅接受文本输入

输出 仅生成文本和代码

架构 Llama 3采用优化Transformer架构的自回归语言模型。微调版本使用监督微调(SFT)和人类反馈强化学习(RLHF)技术，使模型响应更符合人类偏好

	训练数据	参数量	上下文长度	GQA	训练token数	知识截止
Llama 3	全新混合的公开网络数据	8B	8k	支持	15T+	2023年3月
70B	8k	支持	2023年12月

Llama 3模型家族。token统计仅含预训练数据。80亿和700亿版本均采用分组查询注意力(GQA)机制提升推理效率

发布日期 2024年4月18日

状态 基于离线数据集训练的静态模型。后续将根据社区反馈持续优化安全性

许可协议 定制商业许可详见：https://llama.meta.com/llama3/license

反馈渠道 模型意见反馈指南详见README。技术参数与应用开发指南请参阅此处

使用范围

适用场景 Llama 3适用于英语环境的商业和研究用途。指令微调版适用于对话助手场景，预训练版可适配各类文本生成任务

限制场景 任何违反法律法规的使用；违反《可接受使用政策》和《Llama 3社区许可》的使用；非英语场景使用**

**注：开发者可基于Llama 3社区许可对模型进行非英语微调

硬件与软件

训练设施 使用定制训练库、Meta研究超级集群及生产集群进行预训练。微调、标注和评估使用第三方云计算资源

碳足迹 预训练累计消耗770万GPU小时（H100-80GB，TDP 700W）。总排放量2290吨CO2当量，已通过Meta碳中和计划全额抵消

	耗时(GPU小时)	功耗(W)	碳排放(tCO2eq)
Llama 3 8B	130万	700	390
Llama 3 70B	640万	700	1900
总计	770万		2290

预训练碳排放。耗时：单模型训练总GPU时间；功耗：GPU设备峰值功耗（经能效调整）。排放已通过Meta碳中和计划全额抵消

训练数据

概述 预训练使用超过15万亿token的公开数据。微调数据包含公开指令数据集及超1000万人工标注样本。所有数据均不含Meta用户数据

数据时效 预训练数据截止于2023年3月(8B)和2023年12月(70B)

基准测试

本节报告Llama 3在标准自动化基准的表现。评估方法详见此处

预训练基础模型

类别	基准	Llama 3 8B	Llama2 7B	Llama2 13B	Llama 3 70B	Llama2 70B
通用能力	MMLU (5-shot)	66.6	45.7	53.8	79.5	69.7
AGIEval英文(3-5 shot)	45.9	28.8	38.7	63.0	54.8
常识推理(7-shot)	72.6	57.6	67.6	83.8	78.7

指令微调模型

责任与安全

我们相信开放方法能带来更优质安全的产品、更快的创新和更大的市场。我们通过多重措施限制滥用风险并支持开源社区

基础模型作为通用技术，需开发者根据具体应用场景实施全流程安全实践。我们更新了《负责任使用指南》，并提供Meta Llama Guard 2和代码防护盾等工具

Llama 3指令版

模型实用性与安全性需要权衡。我们通过红队测试、对抗评估等技术降低风险，同时大幅减少了对良性提示的误拒率

负责任发布

我们建立了严格的发布审查流程，特别针对以下风险领域：

CBRNE风险

通过双重评估确保模型拒绝提供可能造成危害的详细信息

网络安全

使用CyberSecEval测试套件评估，Llama 3在代码安全性和攻击协助倾向方面表现优于同级模型

儿童安全

组建专家团队进行风险评估，通过针对性微调降低潜在风险

社区

我们积极参与AI联盟等组织，开源Purple Llama工具集，并建立输出反馈机制和漏洞赏金计划

伦理考量与局限

Llama 3秉持开放、包容、有益的核心价值观。作为新技术，其输出可能存在偏差或不准确。开发者应参考《负责任使用指南》进行应用级安全测试

引用格式

@article{llama3modelcard,
  title={Llama 3模型卡},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

贡献者

（保留原始贡献者名单，因涉及大量专有名词）