价格
价格未知
商业使用
允许
API文档资料
Llama 3是Meta推出的最新语言模型。该模型具有业界领先的性能表现,上下文窗口达8000个token,是Llama 2的两倍。
要了解Llama 3模型的更多信息、如何通过API运行Llama 3,或如何开发Llama 3应用,请查看Replicate的交互式博客文章。
模型详情
Meta研发并发布了Llama 3系列大语言模型(LLMs),包含80亿和700亿参数规模的预训练及指令微调生成式文本模型。经过指令微调的Llama 3模型针对对话场景优化,在行业常见基准测试中超越多数开源聊天模型。在开发过程中,我们特别注重优化模型的实用性和安全性。
开发机构 Meta
版本变体 Llama 3提供80亿和700亿两种参数规模,含预训练版和指令微调版
输入 仅接受文本输入
输出 仅生成文本和代码
架构 Llama 3采用优化Transformer架构的自回归语言模型。微调版本使用监督微调(SFT)和人类反馈强化学习(RLHF)技术,使模型响应更符合人类偏好
训练数据 | 参数量 | 上下文长度 | GQA | 训练token数 | 知识截止 | |
Llama 3 | 全新混合的公开网络数据 | 8B | 8k | 支持 | 15T+ | 2023年3月 |
70B | 8k | 支持 | 2023年12月 |
Llama 3模型家族。token统计仅含预训练数据。80亿和700亿版本均采用分组查询注意力(GQA)机制提升推理效率
发布日期 2024年4月18日
状态 基于离线数据集训练的静态模型。后续将根据社区反馈持续优化安全性
许可协议 定制商业许可详见:https://llama.meta.com/llama3/license
反馈渠道 模型意见反馈指南详见README。技术参数与应用开发指南请参阅此处
使用范围
适用场景 Llama 3适用于英语环境的商业和研究用途。指令微调版适用于对话助手场景,预训练版可适配各类文本生成任务
限制场景 任何违反法律法规的使用;违反《可接受使用政策》和《Llama 3社区许可》的使用;非英语场景使用**
**注:开发者可基于Llama 3社区许可对模型进行非英语微调
硬件与软件
训练设施 使用定制训练库、Meta研究超级集群及生产集群进行预训练。微调、标注和评估使用第三方云计算资源
碳足迹 预训练累计消耗770万GPU小时(H100-80GB,TDP 700W)。总排放量2290吨CO2当量,已通过Meta碳中和计划全额抵消
耗时(GPU小时) | 功耗(W) | 碳排放(tCO2eq) | |
Llama 3 8B | 130万 | 700 | 390 |
Llama 3 70B | 640万 | 700 | 1900 |
总计 | 770万 | 2290 |
预训练碳排放。耗时:单模型训练总GPU时间;功耗:GPU设备峰值功耗(经能效调整)。排放已通过Meta碳中和计划全额抵消
训练数据
概述 预训练使用超过15万亿token的公开数据。微调数据包含公开指令数据集及超1000万人工标注样本。所有数据均不含Meta用户数据
数据时效 预训练数据截止于2023年3月(8B)和2023年12月(70B)
基准测试
本节报告Llama 3在标准自动化基准的表现。评估方法详见此处
预训练基础模型
类别 | 基准 | Llama 3 8B | Llama2 7B | Llama2 13B | Llama 3 70B | Llama2 70B |
通用能力 | MMLU (5-shot) | 66.6 | 45.7 | 53.8 | 79.5 | 69.7 |
AGIEval英文(3-5 shot) | 45.9 | 28.8 | 38.7 | 63.0 | 54.8 | |
常识推理(7-shot) | 72.6 | 57.6 | 67.6 | 83.8 | 78.7 |
指令微调模型
责任与安全
我们相信开放方法能带来更优质安全的产品、更快的创新和更大的市场。我们通过多重措施限制滥用风险并支持开源社区
基础模型作为通用技术,需开发者根据具体应用场景实施全流程安全实践。我们更新了《负责任使用指南》,并提供Meta Llama Guard 2和代码防护盾等工具
Llama 3指令版
模型实用性与安全性需要权衡。我们通过红队测试、对抗评估等技术降低风险,同时大幅减少了对良性提示的误拒率
负责任发布
我们建立了严格的发布审查流程,特别针对以下风险领域:
CBRNE风险
通过双重评估确保模型拒绝提供可能造成危害的详细信息
网络安全
使用CyberSecEval测试套件评估,Llama 3在代码安全性和攻击协助倾向方面表现优于同级模型
儿童安全
组建专家团队进行风险评估,通过针对性微调降低潜在风险
社区
我们积极参与AI联盟等组织,开源Purple Llama工具集,并建立输出反馈机制和漏洞赏金计划
伦理考量与局限
Llama 3秉持开放、包容、有益的核心价值观。作为新技术,其输出可能存在偏差或不准确。开发者应参考《负责任使用指南》进行应用级安全测试
引用格式
@article{llama3modelcard,
title={Llama 3模型卡},
author={AI@Meta},
year={2024},
url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}
贡献者
(保留原始贡献者名单,因涉及大量专有名词)
使用量分析
meta-llama-3-70b 使用统计
replicate - 调用数据分析