新研究：港大牵头多校发布牙科多模态大语言模型，基准测试超GPT-5三倍

图源：OralGPT-Omni: A Versatile Dental Multimodal Large Language Model

好的牙·讯｜近日，中国香港大学牙医学院研究团队联合深圳大学、中国香港科技大学（广州）等多所院校发表论文，介绍首个牙科专用多模态大语言模型 OralGPT-Omni。

该模型可处理口内照片、根尖片、头颅侧位片、病理切片、口内视频等8种牙科影像。覆盖病变诊断、CVM分期预测、治疗方案推荐、视频理解和牙位定位计数5类任务。

研究团队设计了TRACE-CoT（透明放射学分析与临床证据）推理模式，使AI模仿放射科医师的诊断思维过程。该推理模式包含5个步骤：影像检查、假设生成、医学专业知识参考、基于特征的验证、循证结论。两名牙医对300个TRACE-CoT数据样本进行质量评估，结果显示其具有较高的质量和可靠性。

图源：OralGPT-Omni: A Versatile Dental Multimodal Large Language Model

值得注意的是，研究团队从31个公开数据集和1家中国香港牙科医院收集数据，构建了包含约321万文本词汇、近6万张图像和90个视频的大型数据集。采用四阶段训练策略：牙科知识注入、牙科概念对齐、监督微调和强化学习调优。在强化学习阶段，团队还引入了难度感知数据选择策略和TRACE奖励机制。

此外，研究团队构建了MMOral-Uni基准测试，包含2809个经过专业牙医验证的开放式问答对，涵盖5种影像模态和5类任务。OralGPT-Omni在该基准测试中获得51.84分，在MMOral-OPG全景片基准测试中获得45.31分。而对比数据显示，GPT-5在MMOral-Uni基准测试中得分仅15.42分。

据悉，研究团队邀请了一位拥有超过10年经验的放射科医师对GPT-5、Lingshu-7B和OralGPT-Omni三个模型的输出进行了临床有效性评估。评估结果显示，OralGPT‑Omni在准确性和临床可用性方面获得较高评价。

研究团队指出，OralGPT-Omni在复杂治疗方案制定方面仍存在局限性。治疗方案需要考虑患者的整体健康状况、经济能力和治疗偏好等更多个体化因素。在训练数据中，治疗方案数据仅占0.006%。此外，研究团队表示，将公开所有代码、数据和模型。

*扫描下方二维码添加小助手，可获取《OralGPT-Omni: A Versatile Dental Multimodal Large Language Model》等文件。