悟道
工具介绍：悟道2.0是中国首个超大规模智能模型系统，由北京智源研究院开发。它通过4.9TB的中英文图文数据训练，采用MoE技术，在9个基准测试中超越SOTA水平，向AGI迈进。
收录时间：2024-06-09 12:34:56
打开网站悟道 工具信息
目录
悟道2.0：中国首个超大规模智能模型系统
2021年6月，北京智源研究院（BAAI）推出了悟道2.0，这是悟道1.0的升级版本，也是中国首个超大规模智能模型系统。作为一个语言模型，悟道2.0的目标是在人类层面的思维能力上超越OpenAI的GPT-3和谷歌的LaMDA。
悟道2.0的训练数据
悟道2.0接受了总计4.9TB的高质量中英文图像和文本训练：
- 1.2TB中文文本数据
- 2.5TB中文图形数据
- 1.2TB英文文本数据
技术特点与优势
悟道2.0基于开源的MoE（Mixture of Experts）系统FastMoE进行训练。这种机器学习技术的工作原理如下：
- 将预测任务分解为多个子任务
- 针对每个子任务训练专家模型
- 开发门控模型，根据输入选择合适的专家
- 组合预测结果
FastMoE使悟道2.0能够并行咨询不同的专家模型，并选择预测效果最佳的模型。例如，对于英文文本输入，悟道2.0会使用专门针对英文文本生成的预测模型。
性能表现
悟道2.0在9个基准测试中超越了最先进（SOTA）水平，被认为比同类模型更接近实现通用人工智能（AGI）和人类水平的思维能力。
悟道 替代品
评论 (0)
暂无评论