(Survey)Data Management

目录#

• 数据管理[3]
  • Pretraining of LLM
  • SFT
• 参考

数据管理[3]#

Pretraining of LLM#

• Data Quantity

  • Scaling Laws
  • Data Repetition

• Data Quality

  • Deduplication
    • N-gram和Hash技术
      MinHash算法
    • 神经网络方法
    • 语义去重
      SemDeDup
  • Quality Filtering
    • 分类器
    • 启发式规则
    • 阈值过滤
      例如基于困惑度（Perplexity）
  • Diversity & Age
    • 数据多样性（Diversity）
    • 数据时效性（Age）

SFT#

• Data Quantity

• Data Quality

  • Instruction Quality
    Instruction Mining, LIMA
  • Instruction Diversity
    Self-Instruct, #InsTag， Alpaca
  • Instruction Complexity
    WizardLM, #InsTag, Evol-Instruct
  • Prompt Design

参考#

3. 《Data Management For Large Language Models: A Survey》huawei
   大模型的数据管理——论文精读
   Data Management for LLM