像当今的每家大型科技公司一样，Meta拥有自己的旗舰生成式AI模型，名为Llama。Llama在主要模型中有些独特之处，它是“开放”的，意味着开发人员可以下载并根据自己的需求使用它（有一定限制）。与Anthropic的Claude、OpenAI的GPT-4o（支持ChatGPT）和Google的Gemini这样只能通过API访问的模型形成鲜明对比。
然而，为了给开发人员更多选择，Meta还与包括AWS、Google Cloud和Microsoft Azure在内的供应商合作，提供基于云的Llama版本。此外，该公司还发布了旨在使调整和定制模型更加容易的工具。
这里有关于Llama的一切，从其功能和版本到你可以在哪里使用它。随着Meta发布升级和引入新的开发工具来支持模型的使用，我们将保持这篇文章的更新。
Llama是什么？
Llama是一系列模型，而不仅仅是一个：
- Llama 8B
- Llama 70B
- Llama 405B
最新版本是Llama 3.1 8B、Llama 3.1 70B和Llama 3.1 405B，它们于2024年7月发布。它们经过训练，可以处理各种语言的网页、公共代码和网络文件，以及其他AI模型生成的综合数据。
Llama 3.1 8B和Llama 3.1 70B是设计紧凑的小型模型，适用于从笔记本电脑到服务器的设备。另一方面，Llama 3.1 405B是一个大规模模型，除非进行一些修改，否则需要数据中心硬件。事实上，Llama 3.1 8B和Llama 3.1 70B比Llama 3.1 405B功能较弱，但速度更快。它们实际上是优化的“蒸馏”版本，旨在降低存储开销和延迟。
所有Llama模型的上下文窗口为128,000个标记。在数据科学中，标记是原始数据的细分位，类似于单词“fantastic”中的音节“fan”、“tas”和“tic”。模型的上下文，或上下文窗口，指的是模型在生成输出（例如额外的文本）之前考虑的输入数据（例如文本）。长上下文可以防止模型“忘记”最近文档和数据的内容，并避免偏离主题和错误推理。
这128,000个标记大约相当于100,000个单词或300页，供参考，这相当于《呼啸山庄》、《格列佛游记》和《哈利•波特与阿兹卡班的囚徒》的篇幅。
Llama能做什么？
像其他生成式AI模型一样，Llama可以执行各种不同的辅助任务，如编码和回答基本数学问题，以及用八种语言（英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语）总结文档。大多数基于文本的工作负载，例如分析PDF和电子表格等文件，都在其职责范围之内；所有的Llama模型都不能处理或生成图像，尽管这可能会在不久的将来发生变化。
所有最新的Llama模型都可以配置为利用第三方应用程序、工具和API来完成任务。它们默认通过Brave Search回答有关最新事件的问题，通过Wolfram Alpha API提供与数学和科学相关的查询，以及通过Python解释器验证代码。此外，Meta表示Llama 3.1模型可以使用他们以前未见过的某些工具（但它们能否可靠地使用这些工具是另一回事）。
我在哪里可以使用Llama？
如果你只想和Llama聊天，它正在为Facebook Messenger、WhatsApp、Instagram、Oculus和Meta.ai提供Meta AI聊天机器人体验。
使用Llama的开发人员可以在大多数流行的云平台上下载、使用或优化模型。Meta声称已经有超过25家合作伙伴托管Llama，包括Nvidia、Databricks、Groq、Dell和Snowflake。
其中一些合作伙伴已经构建了基于Llama的附加工具和服务，包括让模型引用专有数据以及使其在更低延迟下运行的工具。
Meta建议使用其较小的模型，如Llama 8B和Llama 70B，用于通用应用程序，例如为聊天机器人提供动力和生成代码。公司表示，Llama 405B更适用于模型蒸馏——这是将知识从大型模型转移到较小、更高效模型的过程，以及生成用于训练（或微调）替代模型的综合数据。
重要的是，Llama许可证限制了开发人员如何部署模型：月活跃用户超过7亿的应用开发者必须向Meta请求特殊许可，该公司将酌情授予。
Meta为Llama提供了哪些工具？
除了Llama，Meta还提供了一些旨在使模型使用更加“安全”的工具：
- Llama Guard，一种审查框架
- Prompt Guard，一种用于防止提示注入攻击的工具
- CyberSecEval，一个网络安全风险评估套件
Llama Guard试图检测Llama模型输入或生成的潜在问题内容，包括涉及犯罪活动、儿童剥削、侵犯版权、仇恨、自残和性虐待的内容。开发人员可以自定义受阻内容的类别，并将这些封锁应用于Llama默认支持的所有语言。
与Llama Guard类似，Prompt Guard可以防止针对Llama的文本，但只针对意图“攻击”模型并使其表现出不良行为的文本。Meta声称，Llama Guard可以防御明确恶意的提示（即试图绕过Llama内置安全过滤器的越狱）以及包含“注入输入”的提示。
