马斯克实现承诺,开源Grok-1!3140亿参数迄今最大,远高于ChatGPT 3.5!

刚刚,马斯克(Elon Musk)真的实现了他的承诺——把大模型Grok-1开源了!

北京时间3月18日早上,马斯克旗下 AI 初创公司 xAI 宣布,其研发的大模型Grok-1其大语言模型Grok-1已实现开源,并向公众开放下载。感兴趣的用户可通过访问GitHub页面github.com/xai-org/grok来使用该模型。

image.png

Grok-1是拥有3140亿参数构成的混合专家模型,其中25%的参数能够针对特定的数据单元(Token)激活。远远高于ChatGPT 3.5 模型参数大小(一般认为是1750 亿)。

xAI 表示,开源的 Grok-1 是 2023 年 10 月结束的预训练阶段的原始基础模型检查点。这意味着该模型不会针对任何特定应用(例如对话和对话)进行微调。GitHub 上提供了权重和体系结构,以及模型入门说明。

该模型在成立后仅 3 个月内就由 xAI 从头开始训练。与一些具有使用限制的开源版本(例如 Gemma 和 Llama)不同,Grok 的开源版本提供了对底层技术的广泛访问。但是,它无法实现 Pythia、Bloom 和 OLMo 等模型提供的完全透明性,其中包括训练代码和用于训练模型的数据集。

要下载该模型,用户可以访问大约 300GB 并包含 773 个文件的 torrent 文件的磁力链接:

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

此次发布正值马斯克和 OpenAI 之间的紧张关系日益紧张之际。马斯克因担心 OpenAI 将利润置于安全之上而于 2018 年离开,他对公司的批评越来越直言不讳。他最近对 OpenAI 提起诉讼,声称该公司背弃了其创建开源模式以支持股东优先的承诺。

马斯克还对包括谷歌在内的其他人工智能公司持批评态度。他最近批评了谷歌的 Gemini AI 图像生成器,因为它产生了历史上不准确和误导性的种族内容。

Grok-1 的发布是马斯克去年 3 月推出的 xAI 的重要一步。该公司的首款产品 Grok 聊天机器人于 11 月发布,并在 X(以前称为 Twitter)上向付费订阅者开放。马斯克声称该聊天机器人“旨在用一点智慧来回答问题,并且具有叛逆性。”

随着人工智能领域的快速发展,像Grok-1这样的模型的开源可能会产生重大影响(尽管运行该模型需要大量的计算资源)。虽然这肯定是对 OpenAI 的直接抨击,但看看 AI 社区如何回应这个版本,以及它如何影响围绕 AI 技术负责任开发和部署的持续辩论,这将是一件有趣的事情。

文章来源:EETOP

推荐阅读

更多嵌入式AI干货请关注嵌入式AI专栏。欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。

推荐阅读
关注数
18838
内容数
1371
嵌入式端AI,包括AI算法在推理框架Tengine,MNN,NCNN,PaddlePaddle及相关芯片上的实现。欢迎加入微信交流群,微信号:aijishu20(备注:嵌入式)
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息