马斯克开源Grok-1,3140亿参数量迄今最大

  潇湘晨报综合   2024-03-18 15:31:30

当地时间3月17日,马斯克的AI创企xAI宣布开源3140亿参数的混合专家模型Grok-1,以及该模型的权重和网络架构,并向公众开放下载。

据了解,Grok-1是一款基于混合专家系统(Mixture-of-Experts,MoE)技术构建的大语言模型,拥有3140亿参数,远超OpenAI GPT-3.5的1750亿。是迄今参数量最大的开源大语言模型,遵照Apache 2.0协议开放模型权重和架构。

责编:周秋红

一审:姚帅

二审:唐能

三审:文凤雏

来源:潇湘晨报综合

我要问