近日，智慧芽宣布开放“生物医药大模型评测数据集”，旨在全面评估生物医药领域的大模型在药物研发、临床试验等专业场景中的问答能力，为生物医药大模型发展提供技术支撑和保障，助力通过AI大模型的可靠应用，加速新药研发和临床试验进程，打破医药研发的“三十魔咒”。此前，智慧芽也已推出自研的“生物医药大模型”。

智慧芽表示，当前，市场上已涌现出许多专注于生物医药领域的大模型。然而，现有的评测方法主要关注医药知识问答和对话生成任务的性能，忽视了关系提取、信息检索等关键能力的评估。这不仅影响了开发人员对大模型性能的准确评估，也限制了大模型在药物研发关键环节中的实际应用。

为此，智慧芽推出“生物医药大模型评测数据集”，不仅考察大模型对生物医药知识的掌握程度，更注重其在实际业务场景中的应用能力。

据介绍，该“生物医药大模型评测数据集”基于通用评估标准，并结合医药领域中生物医药研发、临床试验与循证医学、药政与准入、生物序列与化学结构等真实业务场景，以及综合能力考试，构建了3500个高质量问答对，全面考察大模型应对前沿知识和解决实际难题的能力。生物医药领域大模型的开发人员可借助该数据集，对其模型在专业场景中的问答能力进行综合评估，了解其在不同任务中的表现，并以此为依据不断改进模型，提升性能。

据悉，目前该数据集中的核心问答对已正式向业界开放。智慧芽表示，未来还将开放更多大模型评测数据集，与业界共享研究成果。