BLOOMChat: 开源可商用支持多语言的大语言模型，性能逼近 GPT-4！

作者

背景: 目前开源的大语言模型对多语言支持不够理想, 且大多数模型参数量不够大, 无法商用。而 SambaNova 和 Together 联合开源的 BLOOMChat 是一个支持 46 种语言、参数达 1760 亿的开源可商用微调模型。

  • BLOOMChat: BLOOMChat 是在 SambaNova 的 AI 计算平台上训练的, 目的是打造一个开源的、支持多语言、可商用的聊天 LLM 。实验表明 BLOOMChat 对多语言的支持明显优于其它开源模型。
  • 数据和方法: BLOOMChat 使用 OpenChatKit 、 Dolly 2.0 和 OASST1 等英语数据集进行 BLOOM(176B. 模型的微调。尽管只用英语数据微调, 但 BLOOMChat 在其他语言的对话质量也得到明显提高。✅
  • 实验效果: 让不同语言的 native speaker 评价 BLOOMChat 在其语言下的回答质量,BLOOMChat 明显优于其他开源模型, 但略逊于 GPT-4 。对 BLOOMChat 的回答进行评分,70% 以上得到正确或可接受的评价。在 WMT 翻译任务上,BLOOMChat 优于其他开源模型, 但弱于 GPT-4 。
  • BLOOMChat 的局限性: 可能生成错误或无关信息, 切换语言, 重复内容, 对代码或数学问题生成效果一般, 可能产生不适当内容等。

BLOOMChat 是一个完全开源、超千亿参数、专门针对多语言的聊天 LLM 。

sambanova/bloomchat: This repo contains the data preparation, tokenization, training and inference code for BLOOMChat. BLOOMChat is a 176 billion parameter multilingual chat model based on BLOOM. (github.com)

《 BLOOMChat: 开源可商用支持多语言的大语言模型，性能逼近 GPT-4！》 有 5 条评论

  3. SambaNova 提供一体化的生成式人工智能平台，包括 SambaNova 顶尖的 RDU 加速器、软件和模型管理以及预训练的生成式人工智能检查点。

    回复

  4. SambaNova 提供一体化的生成式人工智能平台，包括 SambaNova 顶尖的 RDU 加速器、软件和模型管理以及预训练的生成式人工智能检查点。

    回复

回复 Halo Master 取消回复