(Survey)Dataset

论文#

• 论文地址
  《Datasets for Large Language Models: A Comprehensive Survey》

• 开源地址
  Awesome-LLMs-Datasets git

微调数据#

微调数据的构造方式#

• 人工生成的数据集(HG)
• 模型构建的数据集(MC)
  • Alpaca
  • BELLE
  • Self-Instruct
  • ShareGPT
  • Wizard
• 现有数据集的收集和改进(CI)
• 使用多种方法创建的数据集

参考#

1. 大模型训练数据集(从预训到强化)全面综述：兼看20240229大模型早报 ***