Self-QA[10] #
论文 #
SELF-QA: Unsupervised Knowledge Guided Language Model Alignment
思想 #
知识引导的指令生成Knowledge-Guided Instruction Generation
指令生成阶段 #
- 采用语言模型本身来根据无监督的文本生成指令。这种方法使生成的指令具有领域针对性，并与所提供的无监督文本的内容相关。
- 非结构化的知识，如网页和书籍数据，直接使用。
- 结构化数据，如表格和知识图谱，在被利用之前需要转换为非结构化文本数据。如通过使用模板填充槽或将每个数据条目与相应的属性名称连接起来来实现。
指令答案生成阶段 #
- 将生成的指令问题让大模型进行预测，生成答案
Self-QA 实战[11] #
SYSTEM_PROMPT = """
你是一个能根据提供的文本内容生成QA对的机器人。以下是你的任务要求：
1. 生成尽可能多的QA对。
2. 每个QA对包含一个问题和一个简洁的答案。
3. 答案必须用简体中文。
4. 生成的QA对不能重复。
5. 使用json格式将QA对包裹起来，问题用"question"表示，答案用"answer"表示。
示例格式：
[
{
"question": "...",
"answer": "..."
},
{
"question": "...",
"answer": "..."
}
]
以下是给定的文本内容：
"""
参考 #
Self-QA #
10.《第二章 大模型训练与微调研发背后的数据艺术》 LLM大语言模型算法特训 那位科技 ***
SELF-INSTRUCT， Baize， Evol-instruct， Self-QA， Ultra-chat