Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用

4 min read

今天 Meta 发布 Llama 2 也就是羊驼 2 模型,提供 7B、13B 和 70B 参数版本,该模型开源、免费、可商用,这也是为什么最近一段时间有大量新模型出现,对开源社区来说,只要有高质量模型被开源出来,那接下来就是社区成员登场,微调、优化、定制、整合,然后就可以生成更多模型了。

羊驼 2 预训练模型接受了 2 万亿个 tokens 的训练,上下文长度是 Llama 1 的两倍,是的其上下文长度从 2048 提升到了 4096,其微调模型接受了超过 100 万个人类标注的训练。

根据 Meta AI 研究团队的测试,羊驼 2 在不少测试中表现都比较优异 (相对其他开源模型),包括推理、编程、熟练程度和知识测试。

Meta AI 研究团队表示,羊驼 2 的目标是成为广泛适用的通用模型,可以用于各种自然语言处理任务,包括问答、文本生成、语言翻译等。他们还表示,与之前的模型相比,羊驼 2 在生成长文本时有更好的一致性和逻辑性。

Meta AI 表示,他们希望通过将羊驼 2 开源和免费提供给开发者,促进更多的研究和创新,让自然语言处理技术更加普及和进步。

值得一提的是,与 Llama 1 不同,羊驼 2 模型是基于 GPT-3 架构的,该架构已被证明在自然语言处理任务上表现出色。

总的来说,Meta 的发布羊驼 2 模型是对开源社区的一大贡献,为自然语言处理领域的研究者和开发者提供了一个强大的工具,有望推动自然语言处理技术的发展和创新。