Pretrain数据集#
- LLM大模型数据集之谜 Pretrain数据集
- 大规模中文自然语言处理语料
- 开源的可用于LLM Pretrain数据集 Pretrain数据集
- 大规模语言模型训练必备数据集-The Pile：涵盖22类、800GB的多样性文本数据集概述
- 大模型再总结及ChatSQL实践案例分享：大模型训练数据及工具的5张脑图总结及ChatSQL开源项目实现解析
3、RLFH强化与预训练数据集 - 大模型研发必备：两大开源可用且清洗过的中文文本语料库及大模型FLOPS、参数量快速估计工具推荐 书生·万卷1.0 , wudao数据集
- 大规模中文开源文本训练数据集的几点启发：兼看两个知识图谱与大模型的练手竞赛
万卷数据集 wudao数据集 MVBNC数据集 OpenNewsArchive