目录#
数据处理 pipeline#
数据处理[通用] [1]#
质量过滤#
- 基于分类器的方法
- 基于启发 式的方法
冗余去除#
可以在句子级、文档级和数据集级等不同粒度上去重
在实践中应该 共同使用这三个级别的去重
词元切分#
- BPE
- WordPiece
- Unigram 词元分析
数据处理[2]#
数据标记#
- 包标签
- 半监督标签
- 主动学习
- 数据编程
- 远程监督
数据准备#
数据增强#
参考#
- 《大规模语言模型》
- 《Data-centric Artificial Intelligence: A Survey》 大学
Data-centric Artificial Intelligence: A Survey
机器学习数据工程的概述
1xx. 大模型时代下数据的重要性 综述
1xx. 大模型研发核心：数据工程、自动化评估及与知识图谱的结合
大模型研发核心：数据工程、自动化评估及与知识图谱的结合
1xx. 符尧：别卷大模型训练了，来卷数据吧！【干货十足】 看最后的5个结论
1xx. 合成数据(Synthetic data)微调大语言模型实战指南：背景、方案、案例、代码、评估
- Go to Page self