哈工大“风筝”航天知识大模型开放测试

2.1 航天领域高质量文档的获取

2.2 知识注入监督微调

2.2.1 自监督指令微调训练样本构造

2.2.2 基于模型特定文档困惑度排序的领域知识间隔训练

2.2.3 实验验证

2.3 形式对齐监督微调

1. 单知识点问答（Single-point）：在单知识点问答任务中，大模型需要使用单一的知识点回答问题。此类数据的原始问题来自卫星百科网站的真实用户提问，回答则来源于人工标注。我们使用EM、F1指标评价模型在此任务上的表现。
2. 事实性长回复问答（Factual-long）：在事实性长回复问答中，大模型需要整合多个知识点或事实性概念才能完整回答问题。我们使用卫星百科词条中的名词构造了事实性长回复问题，标准回答则来自于百科词条中的所有属性。我们使用字符串匹配大模型生成的回答在标准答案列表中的覆盖比例，对事实性长回复问答任务进行评价。

5.1 查询增强

1. 确定用户的查询是否与航空航天知识相关。
2. 评估用户的查询是否适合知识检索增强以生成响应。
3. 验证用户的查询是否符合要求，以避免包含色情、政治和其他敏感话题等限制性内容。

5.2 查询扩展与分解

5.3 回复生成

1. 目前模型的交互以及航天领域知识增强主要聚焦于中文，欠缺对包括英文在内的更多语言的优化，具备多语言能力的“风筝”大模型将于后续版本中发布。
2. 模型目前更多关注航天基础知识的运用，后续将着重强化“风筝”大模型在航天科学研究中的落地，探索大语言模型赋能航天研究的技术路径。