墨武Jais是一个130亿参数的阿拉伯语大型语言模型(LLM),在3950亿单词的阿拉伯语和英语数据集上训练。其使用的人工智能系统是Cerebras Systems和中东的云提供商G42联合推出的Condor Galaxy。
Jais LLM以阿联酋最高的山峰Jebel Jais命名,是G42 Inception、Mohamed bin Zayed人工智能大学(MBZUAI)和Cerebras的合作项目。该开源模型是在一个专门构建的1160亿阿拉伯语token数据集上训练的,这些公司表示,该数据集旨在捕捉阿拉伯语的复杂性、细微差别和丰富性。
Inception表示,Jais模型的发布标志着阿拉伯世界人工智能领域的一个重要里程碑,因为它诞生于阿布扎比,旨在赋予全球4亿讲阿拉伯语用户的个人生成式人工智能的潜力。
该公司在一份声明中表示:“通过开源Jais,Inception旨在让科学、学术和开发者社区参与进来,加快充满活力的阿拉伯语人工智能生态系统的发展。这可以成为目前非主流人工智能的其他语言的典范。”
Inception首席执行官Andrew Jackson表示,创新随着合作而蓬勃发展,此次发布为中东人工智能的发展树立了一个新标准,以确保“阿拉伯语凭借其深度和传统,在人工智能领域发出自己的声音。Jais证明了我们对卓越的承诺,以及我们致力于实现人工智能民主化和促进创新。”
该公司声称,Jais的性能大大优于现有的阿拉伯模型。Jais的训练数据还包括2790亿个英语单词标记,旨在通过跨语言迁移提高模型的性能。它具备与同样大小的英语模型竞争的实力,尽管它是用少得多的英语数据训练的。Inception在一份新闻稿中表示:“这一有趣的结果表明,该模型的英语部分从阿拉伯语数据中学习,反之亦然,开启了LLM开发和训练的新时代。”
据Inception报道,Jais目前正被阿联酋外交部、阿联酋工业和先进技术部、阿布扎比卫生部、阿布扎比国家石油公司(ADNOC)和阿提哈德航空公司等组织使用。
Condor Galaxy是一个由九台互连的超级计算机组成的网络(计划算力为36 exaflop),有望减少人工智能模型的训练时间。该网络上的第一台人工智能超级计算机是Condor Galaxy 1(CG-1),它有4 exaflop运算能力和5400万个内核。CG-1将64个Cerebras CS-2系统节点链接到Cerebras和G42作为云服务提供的系统中。
G42 Cloud首席执行官Alkaissi表示,两家公司的共同愿景是使用Condor Galaxy来应对医疗保健、能源和气候行动方面的紧迫挑战。“与Cerebras合作,快速交付世界上最快的人工智能训练超级计算机,并为在世界各地互连这些超级计算机奠定基础,这是非常令人兴奋的。这一合作关系汇集了Cerebras非凡的计算能力,以及G42的多行业人工智能专业知识。”
MBZUAI是一所致力于人工智能的研究生研究型大学。MBZUAI校长兼大学教授Eric Xing说:“开发这样一个高水平的阿拉伯语LLM需要尖端的人工智能研究,此外还需要对阿拉伯语、其多样性和传统以及LLM在社会各阶层日益增长的重要性进行深入细致的理解。由于我们的研究以及与Inception和其他顶级地区和全球组织的合作,MBZUAI将继续开创高效、有效和准确的LLM。”
Inception和MBZUAI表示,随着用户社区的发展,他们将继续扩大和完善Jais。该模型将可在Hugging Face上下载。
|