●●● 这一技术效果非常出色，是我在2024年最大的惊喜之一。

北京时间12月7日凌晨2点，“12 Days of OpenAI”的第二场直播准时到来，OpenAI研究高级副总裁Mark Chen、伯克利实验室环境基因组学与系统生物学研究员Justin Reese以及OpenAI团队的成员，共同展示了OpenAI的一项突破性技术——强化微调，通过O1和O1 mini模型为罕见疾病诊断提供了全新的解决方案。

通过采用强化学习，OpenAI 旨在帮助组织构建用复杂特定领域的专家级人工智能。这种新方法能够以最少的数据处理特定领域的任务，通过使用参考答案来评估和优化模型输出，提高了专家级任务的推理准确性。

直播期间，Sam Altman发推特称，这一技术效果非常出色，这是我在2024年最大的惊喜之一，期待看到大家用它创造的成果！

全球范围内约有3亿人患有罕见病，当前，疾病诊断过程普遍存在耗时长、准确性不足等痛点。研究团队意识到，当前评估罕见疾病尤其困难，需要同时具备两个关键能力：疾病医学专业领域知识和生物医学数据的系统性推理能力。希望通过强化微调研究项目，研究能开发更好的计算工具，帮助理解和治疗罕见疾病。

研究团队与德国夏利特医院、彼得·罗宾逊实验室以及Monarch Initiative紧密合作，从数百篇科学出版物中提取罕见疾病的病例报告信息。数据集包含患者症状、未出现症状以及所患疾病、致病基因信息，约有1100个样本。

研究的核心任务是根据患者症状列表训练模型，准确预测可能导致遗传疾病的基因，并按照可能性从高到低排序。具体流程包括：

1.准备训练数据集（JSONL格式）：每个数据点包含患者病例报告（患者描述）、症状列表（包括出现和未出现的症状）及具体指令

2.上传训练与验证数据集

3.设置微调参数

4.启动训练作业

5.评估模型性能

通过强化微调，O1 mini模型在基因预测任务上取得显著进步：

Top@1指标：从初始的17%提升到31%

Top@5指标：显著提升

Top@max指标：模型泛化能力显著增强

以一个具体病例为例，模型成功识别出可能的致病基因。对于表现出脑室下管膜下结节、癫痫发作、皮质块茎和眼球低黑色素症状的患者，模型推荐了TSC1、TSC2、NIPBL、NLRP3、LMNA、TBX1等基因，并给出详细的推理过程。

研究团队认为，模型学习了一般性知识，能够推理生物医学数据，尽管目前无法与传统生物信息学工具进行直接对比，但认为短期内最佳方案是现有工具与AI模型的混合解决方案。

OpenAI计划于明年年初公开发布强化微调产品。通过扩展强化微调研究计划，他们邀请专业组织申请参与，共同推进这一技术的边界探索。