Eleuther AI：已经开源了复现版GPT-3的模型参数-德赢Vwin官网网

GPT3终于开源！不过，不是官方开的（别打我

Eleuther AI推出的名为GPT-Neo的开源项目，于晨4点于twitter正式宣布：已经开源了复现版GPT-3的模型参数（1.3B和2.7B级别），并将其更新在Colab notebook之上。需要指出的是这次开源的模型里较大的那个版本也只是到了GPT-3商用版里最小模型的参数量，不过Eleuther AI表示未来会进一步开源10B版本和原始大小版本的GPT3模型参数。

消息发布后，立刻被各个大v转发，10小时内就已迅速收获1.5K的点赞量，相应的github链接也已收获接近2k star。

▲Twitter原文

但关于复现模型的性能，目前只说“实验表现与原版GPT-3相当”（they perf ormed on par）。具体实验结果将于明天公布。

风靡一时的拥有1750亿超大参数量，一出道便被视作NLP领域最强AI模型的GPT-3，得益于其庞大的参数量，使得GPT-3拥有不用接受特定训练与微调，就能在不同NLP领域达到领先水平的强大能力。去年七月，GPT-3被Open-AI以商业API的形式向公众开放，并被人们探索出了形形色色的应用，从基于问题的搜索，到文本样式转换，从UI界面设计，再到自动生成SQL代码，GPT-3以其卓越的性能展现了其广阔的应用场景，深度学习之父Hinton甚至这样评价道:

如果以GPT-3的出色性能推算未来、生命、宇宙和万物的答案也不过是4.398万亿个参数

但是，由于目前GPT-3的使用模式仍然是付费的商业API，因此并不是所有NLP的研究者都能使用GPT-3完成自己领域的任务与工作。而由Connor Leahy，Leo Gao和Sid Black三人联合创立的Eleuther AI的团队，于去年11月宣布推出GPT-Neo的开源项目，该项目基于GPT系列的设计原理，旨在复现GPT系列的各种项目，在该项目发布之初，其团队成员已经预测可以完成GPT-3级别大小的语言模型。

毫无疑问，GPT-3的开源将会催生出一大批NLP技术的崭新应用，也会以更为低廉的成本释放人们对NLP未来的想象力。

原文标题：【GPT-3】千呼万唤始出来——GPT-3终于开源！

文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。

责任编辑:haq

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

AI

AI

+关注

关注
87

文章
30726

浏览量
268871
开源

开源

+关注

关注
3

文章
3309

浏览量
42470
nlp

nlp

+关注

关注
1

文章
488

浏览量
22033

原文标题：【GPT-3】千呼万唤始出来——GPT-3终于开源！

文章出处：【微信号：zenRRan，微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。

开源AI模型库是干嘛的

开源AI模型库是指那些公开源代码、允许自由访问和使用的AI模型集合。这些

发表于 12-14 10:33 •154次阅读

AI时代算力的重要性及现状:平衡发展与优化配置的挑战

瓦时的电力。训练一次拥有1746亿参数的GPT-3模型，所需的算力更是高达3640PFlops，耗资466万美元。

发表于 11-04 11:45 •406次阅读

Llama 3 与开源AI模型的关系

体现在多个层面。 1. 开源精神的体现 Llama 3项目可能是一个开源项目，这意味着它的源代码、算法和数据集对公众开放。这种开放性是开源AI

发表于 10-27 14:42 •361次阅读

Llama 3 模型与其他AI工具对比

Llama 3模型与其他AI工具的对比可以从多个维度进行，包括但不限于技术架构、性能表现、应用场景、定制化能力、开源与成本等方面。以下是对Llama

发表于 10-27 14:37 •362次阅读

英伟达预测机器人领域或迎“GPT-3时刻”

未来2-3年内，机器人基础模型的研究将迎来重大突破，这一时刻被形象地比喻为机器人领域的“GPT-3时刻”。

发表于 09-20 17:05 •789次阅读

Jim Fan展望:机器人领域即将迎来GPT-3式突破

英伟达科学家9月19日，科技媒体The Decoder发布了一则引人关注的报道，英伟达高级科学家Jim Fan在近期预测，机器人技术将在未来两到三年内迎来类似GPT-3在语言处理领域的革命性突破，他称之为机器人领域的“GPT-3

发表于 09-19 15:13 •566次阅读

通义千问推出1100亿参数开源模型

通义千问近日震撼发布1100亿参数的开源模型Qwen1.5-110B，这一举措标志着通义千问在AI领域迈出了重大步伐。该模型成为通义千问全系

发表于 05-06 10:49 •575次阅读

微软发布phi-3AI模型，性能超越GPT-3.5

微软称，带有38亿参数的phi-3-mini经过3.3万亿token的强化学习，其基础表现已经超过Mixtral 8x7B及GPT-3.5；此外，该

发表于 04-23 14:32 •534次阅读

Meta推出最强开源模型Llama 3 要挑战GPT

Meta推出最强开源模型Llama 3 要挑战GPT Facebook母公司Meta Platforms（META.US）推出了开源

发表于 04-19 17:00 •832次阅读

为什么GPU适用于AI？AI服务器产业链格局分析

GPT模型对比BERT模型、T5模型的参数量有明显提升。GPT-3是目前最大的知名语言

发表于 04-09 10:38 •899次阅读

全球最强大模型易主，GPT-4被超越

近日，AI领域的领军企业Anthropic宣布推出全新的Claude 3系列模型，其中包括最强版Claude 3 Opus。据该公司称，Claude

发表于 03-05 09:58 •645次阅读

Anthropic推出Claude 3系列模型，全面超越GPT-4，树立AI新标杆

近日，AI领域的领军企业Anthropic震撼发布了全新的Claude 3系列模型，该系列模型在多模态和语言能力等关键领域展现出卓越性能，成

发表于 03-05 09:49 •678次阅读

高分工作！Uni3D：3D基础大模型，刷新多个SOTA！

我们主要探索了3D视觉中scale up模型参数量和统一模型架构的可能性。在NLP / 2D vision领域，scale up大

发表于 01-30 15:56 •866次阅读

Rambus HBM3内存控制器IP速率达到9.6 Gbps

在人工智能大模型浪潮的推动下，AI训练数据集正极速扩增。以ChatGPT为例，去年11月发布的GPT-3，使用1750亿个参数构建，今年3月

发表于 01-23 11:19 •971次阅读

【飞腾派4G版免费试用】仙女姐姐的嵌入式实验室之五~LLaMA.cpp及3B“小模型”OpenBuddy-StableLM-3B

和1750亿参数的GPT-3都是非常由有竞争力的 MetaAI研究人员认为，当前大模型的高成本阻碍了学术研究，因此，开发出这个更小更强的模型

发表于 12-22 10:18

搜索历史

Eleuther AI：已经开源了复现版GPT-3的模型参数

评论

开源AI模型库是干嘛的

AI时代算力的重要性及现状:平衡发展与优化配置的挑战

Llama 3 与开源AI模型的关系

Llama 3 模型与其他AI工具对比

英伟达预测机器人领域或迎“GPT-3时刻”

Jim Fan展望:机器人领域即将迎来GPT-3式突破

通义千问推出1100亿参数开源模型

微软发布phi-3AI模型，性能超越GPT-3.5

Meta推出最强开源模型Llama 3 要挑战GPT

为什么GPU适用于AI？AI服务器产业链格局分析

全球最强大模型易主，GPT-4被超越

Anthropic推出Claude 3系列模型，全面超越GPT-4，树立AI新标杆

高分工作！Uni3D：3D基础大模型，刷新多个SOTA！

Rambus HBM3内存控制器IP速率达到9.6 Gbps

【飞腾派4G版免费试用】仙女姐姐的嵌入式实验室之五~LLaMA.cpp及3B“小模型”OpenBuddy-StableLM-3B