Llama 3 王者归来，Airbox 率先支持部署-德赢Vwin官网网

前天，智算领域迎来一则令人振奋的消息：Meta 正式发布了备受期待的开源大模型——Llama 3。

Llama 3 的卓越性能

Meta 表示，Llama 3 在多个关键基准测试中展现出卓越性能，超越了业内先进的同类模型。无论是在代码生成、复杂推理，还是在遵循指令和可视化想法方面，Llama 3 都实现了全面领先。该模型在以下五个基准测试中均表现出色：

MMLU（学科知识理解）

GPQA（一般问题解答）

HumanEval（代码能力）

GSM-8K（数学能力）

MATH（高难度数学问题）

无论是 8B 规格的 Llama3 还是 70B 规格，它们都较市场上其他优秀大模型表现更佳。

纵向对比显示，Llama 3 的性能大幅领先于前代产品 Llama 2，尤其是在 8B 规格上，远超过 Llama 2 时代的 13B 和 70B 规格；新的 70B 规格更是展现出与 GPT-4 早期版本相媲美的能力。

指令调优模型

Benchmark	Llama 3 8B	Llama 2 7B	Llama 2 13B	Llama 3 70B	Llama 2 70B
MMLU (5-shot)	68.4	34.1	47.8	82	52.9
GPQA (0-shot)	34.2	21.7	22.3	39.5	21
HumanEval (0-shot)	62.2	7.9	14	81.7	25.6
GSM-8K (8-shot, CoT)	79.6	25.7	77.4	93	57.5
MATH (4-shot, CoT)	30	3.8	6.7	50.4	11.6

瑞莎 Airbox 快速支持 Llama 3

面对 Llama 3 如此激动人心的性能，Airbox 团队积极响应，快速将 Llama 8B 移植并成功在 Airbox 上运行。以下视频展示了 Llama 8B 在 Airbox 上的运行情况：

(注：Llama 3 8B 知识更新到 2023 年 3 月)

可以看到，Llama 3 8B 在 Airbox 上的运行表现极为流畅，达到了 9.6 token/s 的处理速度，已充分展现出其实用价值。与其他应用结合使用时，更开辟了广阔的应用前景和创新可能性。Airbox 团队后续会对 Llama 3 8B 做更多测试并公布结果。

关于瑞莎 Fogwise Airbox

瑞莎智算盒子 Fogwise Airbox 是一款面向侧端生成式智算的边缘计算微型服务器，基于算能最新专为生成式智算打造的 SG2300X 处理器设计，具有开箱即用，本地离线部署，注重数据隐私，多精度支持，高能效比，高性价比，系统/文档/工具链开源等特点，是当前为数不多甚至是唯一的低成本在边缘侧部署生成式智算的方案。

瑞莎 Fogwise Airbox 现已准备就绪，即将在近期发售，敬请期待。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

基准测试

基准测试

+关注

关注
0

文章
19

浏览量
7585
开源

开源

+关注

关注
3

文章
3309

浏览量
42470
大模型

大模型

+关注

关注
2

文章
2423

浏览量
2637

用Ollama轻松搞定Llama 3.2 Vision模型本地部署

Ollama 是一个开源的大语言模型服务工具，它的核心目的是简化大语言模型（LLMs）的本地部署和运行过程，请参考《Gemma 2+Ollama在算力魔方上帮你在LeetCode解题》，一条命令完成

发表于 11-23 17:22 •909次阅读

用Ollama轻松搞定<b class='flag-5'>Llama</b> 3.2 Vision模型本地<b class='flag-5'>部署</b>

Llama 3 的未来发展趋势

在科技迅猛发展的今天，人工智能和机器学习已经成为推动社会进步的重要力量。Llama 3，作为一个划时代的产品，正以其独特的设计理念和卓越的性能，预示着未来科技的新方向。一、Llama 3

发表于 10-27 14:44 •355次阅读

Llama 3 性能评测与分析

1. 设计与构建质量 Llama 3的设计延续了其前代产品的简洁风格，同时在细节上进行了优化。机身采用了轻质材料，使得整体重量得到了有效控制，便于携带。此外，Llama 3的表面处理工

发表于 10-27 14:30 •288次阅读

Llama 3 适合的行业应用

在当今快速发展的技术时代，各行各业都在寻求通过人工智能（AI）来提高效率、降低成本并增强用户体验。Llama 3，作为一个先进的AI平台，以其强大的数据处理能力和用户友好的界面，成为了众多行业的新宠

发表于 10-27 14:28 •222次阅读

Llama 3 语言模型应用

理解复杂的上下文信息，包括对话历史、用户偏好和文化差异。这使得它在对话系统和个性化推荐中表现出色。情感分析：通过深度学习技术，Llama 3 能够识别和理解文本中的情感倾向，无论是正面的、负面的还是中性的。多语言支持：

发表于 10-27 14:15 •263次阅读

使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型

前面我们分享了《三步完成Llama3在算力魔方的本地量化和部署》。2024年9月25日，Meta又发布了Llama3.2：一个多语言大型语言模型（LLMs）的集合。

发表于 10-12 09:39 •561次阅读

[技术] 【飞凌嵌入式OK3576-C开发板体验】llama2.c部署

MCU 上部署。以下是 llama2.c 在 OK3576 开发板上的部署步骤。工程克隆首先我们将源码克隆下来：https://github.com/karpathy/llama

发表于 09-18 23:58

【AIBOX上手指南】快速部署Llama3

Firefly开源团队推出了Llama3部署包，提供简易且完善的部署教程，过程无需联网，简单快捷完成本地化部署。点击观看Llama3快速

发表于 06-06 08:02 •642次阅读

Optimum Intel三步完成Llama3在算力魔方的本地量化和部署

Llama3 是Meta最新发布的开源大语言模型(LLM), 当前已开源8B和70B参数量的预训练模型权重，并支持指令微调。

发表于 05-10 10:34 •1044次阅读

Meta Llama 3基础模型现已在亚马逊云科技正式可用

亚马逊云科技近日宣布，Meta公司最新发布的两款Llama 3基础模型——Llama 3 8B和Llama

发表于 05-09 10:39 •394次阅读

高通支持Meta Llama 3在骁龙终端上运行

高通与Meta携手合作，共同推动Meta的Llama 3大语言模型（LLM）在骁龙驱动的各类终端设备上实现高效运行。此次合作致力于优化Llama 3在智能手机、个人电脑、VR/AR头显

发表于 05-09 10:37 •428次阅读

让生成式AI触手可及 ——AirBox 正式开放预定

让生成式AI触手可及 ——AirBox 正式开放预定

发表于 04-26 08:34 •893次阅读

百度智能云国内首家支持Llama3全系列训练推理！

4月18日，Meta 正式发布 Llama 3，包括8B 和 70B 参数的大模型，官方号称有史以来最强大的开源大模型。

发表于 04-20 09:20 •396次阅读

高通支持Meta Llama 3大语言模型在骁龙旗舰平台上实现终端侧执行

高通和Meta合作优化Meta Llama 3大语言模型，支持在未来的骁龙旗舰平台上实现终端侧执行。

发表于 04-20 09:13 •498次阅读

【飞腾派4G版免费试用】仙女姐姐的嵌入式实验室之五~LLaMA.cpp及3B“小模型”OpenBuddy-StableLM-3B

，根据LLaMA官方的介绍，要想运行该模型需要30GB左右显存的显卡支持，这是边缘终端甚至个人电脑难以做到的，后来，GitHub上的一位开发者ggerganov发布了llama.cpp项目，该项

发表于 12-22 10:18