LLaMA 家族[1] #
| 项目 | 描述 | 数据集 |
|---|---|---|
| LLaMa | 基座模型 | 公开可用的数据集(1T token) |
| Stanford Alpaca | 结合英文语料通过Self Instruct方式微调LLaMA 7B | Self Instruct from davinci-003 API(52K) |
| Vicuna-13B | 通过ShareGPT.com的7万条对话数据微调LLaMA(Alpaca基础之上, 多轮对话和长序列, full fine-tune) | 用户共享对话(70K sample) |
| BELLE | 结合中文语料通过Self Instruct方式微调BLOOMZ-7B或LLaMA | |
| Chinese-LLaMA/Chinese-Alpaca | 通过中文数据预训练/指令微调LLaMA | |
| 姜子牙系列模型Ziya-LLaMA-13B-v1 | 基于LLaMA-13B的中英文模型 | |
| ChatLLaMA(英文版) | LLaMA的RLHF版 | |
| ColossalChat | 通过self-instruct技术指令微调LLaMA且加上RLHF |
{% asset_img ’llama2-famaly.jpg’ %}
参考 #
家族 #
1xx. 我想学大模型，应该从哪个模型开始？LLaMA生态家谱整理和分析
1xx. NLP（九）：LLaMA, Alpaca, ColossalChat 系列模型研究
1xx. «千帆增强版 Llama 2-提升大模型对话指令遵循能力» v
1xx. 近期大模型动态：LLaMA-2-7B-32K的训练数据组织情况及面向儿童心理健康领域的微调模型推介 llama-2-7b-32k - LLaMA-2的上下文长度为4Ktoken。要将其扩展到32K上下文，该工作分成了三个部分：建模、数据和系统优化。
实战 #
1xx. 从0到1复现斯坦福羊驼（Stanford Alpaca 7B） GPUs: 8 卡 A800 80GB GPUs