大语言模型在病理AI领域的应用·1｜24-07-17·文献速递
小罗碎碎念
今日文献主题：大语言模型技术在病理组学中的应用
这次从厦门开会回来以后，一直在思考大语言模型在病理AI中的一个应用场景，为了辅助自己得出一个科学的结论，我搜集了最新发表的30篇与之相关的文献，用6期推文分别与大家探讨一下这个问题的答案，最后会有一篇汇总的推文，系统的总结这几十篇文献背后暗含的发展趋势。
一、Prov-GigaPath｜基于大规模真实世界数据预训练的全切片数字病理基础模型
一作&通讯
| 角色 | 姓名 | 单位名称（中文） |
|---|---|---|
| 第一作者 | Hanwen Xu | 微软研究院，华盛顿州雷德蒙德，美国 |
| 第一作者(共同) | Naoto Usuyama | 华盛顿大学保罗G.艾伦计算机科学与工程学院，华盛顿州西雅图，美国 |
| 通讯作者 | Carlo Bifulco | Providence基因组学，俄勒冈州波特兰，美国 |
| 通讯作者(共同) | Sheng Wang | 华盛顿大学保罗G.艾伦计算机科学与工程学院，华盛顿州西雅图，美国 |
| 通讯作者(共同) | Hoifung Poon | 微软研究院，华盛顿州雷德蒙德，美国 |
文献概述
这篇文章介绍了Prov-GigaPath，一个基于大规模真实世界数据预训练的全切片数字病理基础模型，它通过创新的GigaPath架构在多种病理学任务上实现了最先进的性能。
-
背景与挑战：
- 数字病理学在处理标准千兆像素切片时面临独特的计算挑战，这些切片可能包含数万个图像瓦片。
- 现有的模型通常通过对每个切片的一小部分瓦片进行抽样，从而错过了重要的切片级上下文。
-
Prov-GigaPath模型：
- 作者介绍了Prov-GigaPath，这是一个在1.3亿个256×256病理图像瓦片上预训练的全切片病理基础模型，这些图像瓦片来自美国大型健康网络Providence的171,189个全切片。
- Prov-GigaPath利用了一种新的视图变换器架构GigaPath进行预训练，该架构适用于千兆像素病理切片的预训练。
-
预训练方法：
- 为了在切片级别进行学习，GigaPath采用了新开发的LongNet方法，以适应数字病理学。
- Prov-GigaPath在预训练中使用了DINOv2和带掩码的自编码器，结合LongNet进行图像级和切片级的自监督学习。
-
评估与性能：
- 作者构建了一个包含9个癌症亚型任务和17个病理组学任务的数字病理基准，使用Providence和TCGA数据进行评估。
- Prov-GigaPath在26个任务中的25个上达到了最先进的性能，并且在18个任务上显著优于第二好的方法。
-
多模态预训练：
- 作者还展示了Prov-GigaPath在病理报告的视觉-语言预训练中的潜力，通过结合病理报告继续预训练Prov-GigaPath。
-
模型架构与应用：
- Prov-GigaPath由瓦片编码器和切片编码器组成，瓦片编码器捕获局部特征，切片编码器捕获全局特征。
- 该模型在多种临床应用中表现出色，包括癌症亚型预测和突变预测。
-
开放资源：
- Prov-GigaPath是一个开放权重的基础模型，包括源代码和预训练模型权重，以加速数字病理学的研究进展。
-
未来展望：
- 作者讨论了Prov-GigaPath在临床诊断和决策支持中的潜力，并提出了未来研究的方向，包括探索更大的模型和数据集，以及优化预训练过程。
文章强调了大规模预训练和超大型上下文建模的重要性，并展示了Prov-GigaPath在各种数字病理任务中的卓越性能。
重点关注
图1提供了对Prov-GigaPath模型架构的清晰概览，该模型是一个用于数字病理学应用的深度学习系统。
以下是对模型架构的分析：
a. Prov-GigaPath架构流程：
- 瓦片化（Tiling）：模型首先将每个输入的全切片图像（Whole Slide Image, WSI）序列化为按行主序排列的256×256像素的图像瓦片序列。
- 瓦片级编码（Tile-level Encoding）：接着，使用图像瓦片级编码器将每个图像瓦片转换成视觉嵌入（visual embedding）。这是模型的初级阶段，目的是从单个瓦片中提取局部特征。
- 切片级编码（Slide-level Encoding）：然后，Prov-GigaPath应用基于LongNet架构的切片级编码器来生成上下文化的嵌入（contextualized embeddings）。这一步骤考虑了整个瓦片序列，用以捕获全局特征和切片整体的上下文信息。
- 下游应用（Downstream Applications）：生成的上下文化嵌入可以作为多种下游应用的基础，如癌症亚型分类、突变预测等。
b. 使用DINOv2进行瓦片级预训练：
- 在瓦片级预训练中，模型使用DINOv2，这是一个先进的自监督学习框架，用于训练图像瓦片级编码器。DINOv2通过自监督学习帮助模型从未标记的数据中学习特征表示。
c. 使用带掩码的自编码器和LongNet进行切片级预训练：
- 在切片级预训练中，模型结合了带掩码的自编码器和LongNet架构。自编码器通过重构被部分掩盖或扰动的输入来学习数据的有效表示。LongNet是一个特别设计用于处理长序列的神经网络架构，它使得模型能够处理包含数千个图像瓦片的全切片图像。
- [CLS]分类标记（Classification Token）：在Transformer模型中，[CLS]标记用于聚合序列信息并进行分类任务。在Prov-GigaPath中，它可能用于聚合瓦片级别的特征以进行切片级别的分类。
整个Prov-GigaPath模型的设计允许它有效地从局部和全局角度捕获病理切片的复杂特征，这些特征对于精确的病理诊断和分析至关重要。
通过这种多尺度的预训练和特征提取方法，Prov-GigaPath能够为各种病理学任务提供强大的基础模型。
二、前列腺癌治疗的未来：人工智能驱动的护理创新
一作&通讯
作者角色 作者姓名 单位（英文） 单位（中文） 第一作者 Irbaz Bin Riaz, MD, MS, MBI, PhD Division of Hematology and Oncology, Department of Internal Medicine, Mayo Clinic, Phoenix, AZ 亚利桑那州梅奥诊所内科血液学和肿瘤学系 通讯作者 Liang Cheng, MD, MS Department of Pathology and Laboratory Medicine, Department of Surgery (Urology), Brown University Warren Alpert Medical School, Lifespan Health, and the Legorreta Cancer Center at Brown University, Providence, RI 布朗大学沃伦·阿尔珀特医学院病理学和实验室医学系，外科（泌尿外科），布朗大学生命健康系统，布朗大学莱戈雷塔癌症中心，罗德岛州普罗维登斯 文献概述
文章探讨了人工智能（AI）在前列腺癌护理中的应用，旨在提高护理效率和患者预后。
概述
- 前列腺癌护理领域迅速发展，从传统的影像学、根治性手术和单一荷尔蒙剥夺疗法，过渡到先进的影像学、精准诊断、基因组学和靶向治疗。
- 大型语言模型（LLMs）的出现极大地改变了AI的应用范式。
- 文章回顾了AI在前列腺癌护理中的应用，包括早期干预、生存护理、药物发现、临床试验和临床实践指南。
引言
- 前列腺癌是美国仅次于肺癌的癌症死亡主要原因。
- 预计到2040年，前列腺癌的新发病例将从2020年的140万增加到290万。
- 先进的影像学和靶向治疗选项，以及基因组学指导的治疗方法，正在改变前列腺癌的管理。
前列腺癌筛查
- 美国预防服务工作组（USPSTF）建议对55-69岁的男性进行个体化的前列腺特异性抗原（PSA）筛查。
- AI模型可以通过长期电子健康记录（EHRs）数据来识别高风险前列腺癌患者。
局部前列腺癌
- 通过超声引导的前列腺活检和MRI成像来诊断前列腺癌。
- AI在早期诊断和风险分层中的作用包括提高诊断的准确性和风险分层的初始阶段。
实际应用
- AI在前列腺癌护理中的整合可以增强临床决策、降低文档负担、加速证据生成和综合以及药物开发。
- 在局部前列腺癌中，AI已经取得了显著进展，包括早期检测、靶向活检、分级、疾病预后和结果预测。
转移性前列腺癌
- AI在转移性前列腺癌中的作用包括量化转移负担、准确识别去势抵抗和预测治疗敏感性和抵抗性。
- 多模态数据整合，包括影像学、基因组学和临床信息，有望为精细化预后和个性化治疗选择提供帮助。
大型语言模型
- LLMs有望通过从患者电子健康记录中提取信息，降低维护临床-基因组注册表的努力，并促进临床试验生命周期内的信息收集和报告。
临床试验
- AI可以促进临床试验的设计和操作，包括药物开发、证据综合和临床实践指南。
- AI模型可以帮助匹配患者与临床试验，并通过深度学习技术进行预测分析和生物标志物发现。
结论
- AI技术有望从早期干预到临终治疗，从证据生成到临床实践指南和患者特定治疗效果，推进前列腺癌护理。
- 人类与AI的合作将变得越来越共生，AI通过提供准确的风险分层、个性化治疗建议和实时决策支持来增强和增强人类决策。
文章强调了AI在前列腺癌护理中的潜力，并讨论了实现这一潜力所需的挑战和未来方向。
重点关注
FIG 1 描述了在前列腺癌治疗过程中，转化型人工智能（AI）算法的主要应用领域。
-
局部疾病阶段（Localized Disease Setting）:
- 在局部前列腺癌的诊断中，算法开发主要集中在提高诊断的准确性，包括：
- 前列腺MRI上的可疑区域检测：使用AI算法在磁共振成像（MRI）上识别可能的癌症区域。
- 诊断活检中的癌症区域检测和分级：AI技术帮助在活检样本中检测癌细胞并进行Gleason分级，这是评估肿瘤侵袭性和制定治疗计划的重要步骤。
-
治疗选择和决策优化:
- 除了诊断之外，AI算法也被用于优化治疗选择和决策过程，可能包括个性化治疗计划和风险评估。
-
复发疾病阶段（Recurrent Disease）:
- 对于复发的前列腺癌，研究工作已经转向使用多模态基础模型来进行预后评估和提高诊断能力，包括：
- 预后评估：利用多模态数据（如影像学、基因组学和临床数据）来预测疾病的发展和患者的预后。
- 诊断增强：改进现有诊断工具和方法，以更准确地识别复发的癌症。
-
复发和晚期疾病阶段（Recurrent and Late-Stage Disease）:
- 在复发和晚期前列腺癌中，需要进一步开发的算法包括：
- 疾病监测：开发工具以持续监测疾病状态，可能包括定期检查和实时数据分析。
- 疾病进展评估：评估疾病进展的速度和范围，帮助调整治疗策略。
- 患者中心结果的总体预测：预测治疗效果、生活质量和总体生存率等以患者为中心的结果。
-
技术应用:
- MRI（磁共振成像）：一种无创的医学影像技术，用于获取身体内部结构的详细图像，特别适用于前列腺癌的检测。
- PSA（前列腺特异性抗原）：一种血液中的蛋白质，其水平的升高可能表明前列腺存在问题，是前列腺癌筛查的常用生物标志物。
- 在复发和晚期前列腺癌中，需要进一步开发的算法包括：
- 对于复发的前列腺癌，研究工作已经转向使用多模态基础模型来进行预后评估和提高诊断能力，包括：
- 在局部前列腺癌的诊断中，算法开发主要集中在提高诊断的准确性，包括：
总之，FIG 1 强调了AI在前列腺癌治疗不同阶段的多样化应用，从早期诊断到疾病监测和预后评估，AI技术有潜力提高治疗的精确性和个性化水平。
三、从辅助诊断到教育支持：大语言模型在病理学领域的多维角色
一作&通讯
角色 姓名 单位（英文） 单位（中文） 第一作者 Jerome Cheng Department of Pathology, University of Michigan 密歇根大学病理学系 文献概述
这篇文章综述了大型语言模型（LLMs）在病理学实践和教育中的多种应用，并讨论了它们的优势、局限性和未来发展方向。
-
引言：
- LLMs基于2017年提出的transformer神经网络架构，最初用于自然语言处理任务。
- 随着技术进步，LLMs在多语言能力、上下文理解和推理技能方面显著提升。
-
教育：
- LLMs在医学教育中具有潜力，可以帮助开发课程、编写演示文稿、制定学习计划等。
- 但LLMs生成的信息可能不准确，需要与其他可靠来源进行验证。
-
信息提取：
- LLMs可以自动从病理报告中提取结构化信息，节省时间和成本。
- 例如，GPT 3.5在提取病理和超声报告中的信息时表现出较高的准确性。
-
文本分类：
- LLMs可以用于科学文档分类，BERT等模型通过学习词之间的上下文信息进行文本分类。
-
报告和内容生成：
- LLMs可以帮助生成病理报告和演示文稿，提高效率。
- 但使用LLMs生成的研究手稿存在争议，需谨慎处理引用和内容的准确性。
-
提示工程：
- 设计合适的问题和指令以获得LLMs的最佳响应是关键。
- 例如，使用“让我们一步步思考”可以显著提高LLMs在零样本推理中的表现。
-
编程：
- LLMs可以帮助设计和创建程序，提高软件开发的效率。
- 但生成的代码需要人工验证以确保正确性。
-
临床病理学：
- LLMs可以辅助解释实验室测试，但不能完全替代专业人员的判断。
- 例如，ChatGPT在血液涂片图像识别中的表现有待提高。
-
多模态大型语言模型：
- 这些模型可以提供显微图像的文本描述，并用于对象检测和计数。
- 例如，PathAsst结合了视觉变换器和BERT模型，表现出色。
-
挑战和限制：
- LLMs可能存在偏见和知识剽窃问题，且可能犯错。
- 需要手动监督以确保LLMs生成的内容没有不当内容。
-
结论：
- LLMs的能力在快速增长，但需要谨慎使用，避免过度依赖。
- 未来的LLMs将继续改进，增加更多的防护措施和训练以减少错误。
-
未来方向：
- 预计LLMs和多模态LLMs将继续改进，增加更多的防护措施和训练以减少错误。
- 将开发更多的开源模型，并制定关于LLMs在科学写作和其他日常实践中的应用的指导方针。
文章强调了LLMs在病理学中的潜力，同时也指出了其局限性和需要改进的地方。
重点关注
文章中的Figure 1展示了一个例子，其中ChatGPT-4 Turbo按照给定的提示适当地执行了任务。
具体的提示是：“你是一位经验丰富的病理学家。请以表格格式给我列出12种伴有相关免疫组化染色和分子检测的癌。” 这意味着ChatGPT-4 Turbo接收到了一个明确的指令，要求它生成一个包含特定信息的表格。
-
遵循指令：ChatGPT-4 Turbo能够理解并遵循具体的任务指令，这表明LLMs具备理解和执行复杂任务的能力。
-
专业领域知识：提示要求模型以病理学家的身份提供信息，这暗示了LLMs能够模拟具有特定专业知识的角色。
-
数据组织能力：要求以表格格式提供信息，显示了LLMs能够组织和展示数据，使其易于阅读和理解。
-
信息的准确性和可靠性：尽管LLMs可以生成看似专业的列表，但文章也强调了验证LLMs生成的信息的重要性，以确保其准确性和可靠性。
-
教育和实践中的应用：这个例子可能用于教育目的，展示如何使用LLMs来辅助学习和实践，同时也可能用于临床实践，作为快速获取信息的工具。
-
技术集成：这个例子还表明了LLMs可以如何被集成到工作流程中，以提高效率和生产力。
-
潜在的局限性：尽管这个例子显示了LLMs的能力，但文章也提到了LLMs可能产生的错误，包括“幻觉”（即生成不准确或不存在的信息）。
总的来说，Figure 1中的例子展示了LLMs在特定任务中的能力，同时也提醒我们在使用这些工具时需要谨慎，确保生成的信息经过适当的验证。
四、ChatGPT在病理学知识评估中的表现
一作&通讯
角色 姓名 单位（英文） 单位（中文） 第一作者 Andrew Y. Wang Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada 西安大略大学舒利克医学和牙科学院，伦敦，安大略，加拿大 第一作者 Sherman Lin Department of Pathology and Laboratory Medicine, Western University and London Health Sciences Centre, London, Ontario, Canada 西安大略大学病理学和实验室医学系，伦敦健康科学中心，伦敦，安大略，加拿大 通讯作者 Matthew J. Cecchini London Health Sciences Centre, Laboratory Medicine and Pathology, London, ON, Canada 伦敦健康科学中心，实验室医学和病理学，伦敦，安大略，加拿大 文献概述
这篇文章研究了ChatGPT在病理学范畴内特定知识的表现，并与人类病理学家的表现进行了比较，发现其具有辅助病理学诊断和教育的潜力。
-
背景：
- 人工智能（AI）算法，特别是大型语言模型（LLMs），如ChatGPT，展示了在医学等多个领域的特定领域知识。
- 这些工具在处理大量数据、自动化常规任务和提高诊断准确性方面具有潜力，尤其是在数字病理学领域。
-
研究目的：
- 通过不同的大型语言模型（GPT-3.5和GPT-4），了解ChatGPT在病理学领域的知识水平。
- 比较ChatGPT与人类病理学家的表现。
-
研究设计：
- 招募了15名国际病理学家，生成了类似于执照考试中可能出现的病理学问题。
- 这些问题由GPT-3.5、GPT-4和一个最近通过加拿大病理学执照考试的病理学家回答。
- 参与者被要求在5分制上评分，并预测哪个答案是ChatGPT写的。
-
结果：
- GPT-3.5的表现与病理学家相似，而GPT-4的表现超过了两者。
- GPT-3.5和GPT-4的总体评分在满足执照考试训练生预期的范围内。
- 除了一个问题外，评审者能够正确识别出GPT-3.5生成的答案。
-
结论：
- 研究表明，ChatGPT能够以与训练有素的病理学家相似（GPT-3.5）或更高（GPT-4）的水平回答病理学特定问题。
- 这突显了大型语言模型在这一领域变革的潜力。
- 未来，这些算法的更高级迭代可能会协助病理学家并增强病理学住院医师培训。
-
讨论：
- 研究使用新的病理学问题评估了GPT-3.5和GPT-4的表现，并与新执业的病理学家进行了比较。
- GPT-4在回答病理学领域特定问题方面的表现显著优于GPT-3.5。
- 研究还评估了参与者识别AI生成文本的能力，发现ChatGPT生成的答案可以通过比较可靠地被识别。
- 尽管ChatGPT和GPT-4在参与者中总体上留下了良好的印象，但GPT-4在表现上有明显改进。
- 研究还讨论了AI工具在学术测试中的滥用问题，以及在临床实践中实施AI工具时可能出现的误诊问题。
-
方法和材料：
- 研究通过X（前称Twitter）邀请病理学家参与，生成并评分问题。
- 使用Google Forms收集数据，并使用GraphPad Prism 7软件进行数据分析。
-
限制和未来工作：
- 研究指出了一些限制，例如问题措辞的微小变化可能导致不同的解释和回答。
- 未来的工作将评估ChatGPT在评估选择题和视觉输入方面的能力，这在最新的迭代中被添加。
文章强调了大型语言模型在医学教育和病理学领域的潜力，并指出了其在准确性和教育应用方面的未来机会。
知识点补充
Google Forms
https://www.google.cn/intl/zh_cn/forms/about/
Google Forms 是 Google 提供的一种在线表单工具，它允许用户创建和分享电子表单，以收集数据、进行调查或管理任务。
-
创建表单：用户可以通过选择不同的问题类型（如文本框、复选框、下拉菜单、评分表等）来设计表单。
-
数据收集：表单可以通过电子邮件或共享链接发送给参与者，参与者在线填写后，数据会自动收集到 Google Sheets 中，便于管理和分析。
-
协作：Google Forms 支持多人协作，团队成员可以共同编辑和查看表单。
-
个性化：可以根据需要定制表单的外观和样式，包括主题、颜色和字体。
-
响应验证：可以设置问题的回答规则，确保收集到的数据符合预期格式。
-
逻辑分支：表单可以包含逻辑分支，根据参与者的回答自动跳转到不同的问题，提高表单的灵活性和针对性。
-
隐私保护：Google Forms 提供了隐私设置，允许控制谁可以查看和编辑表单。
-
集成：Google Forms 可以与其他 Google 应用（如 Google Sheets、Google Drive）集成，方便数据的存储和共享。
-
移动支持：Google Forms 支持移动设备，用户可以通过手机或平板电脑填写和查看表单。
-
免费使用：基本的 Google Forms 功能是免费的，对于大多数用户来说已经足够使用。
Google Forms 是一个非常实用的工具，适用于教育、商业、非营利组织等多种场景。
GraphPad Prism 7
GraphPad Prism 是一款科学绘图和统计分析软件，广泛应用于生物科学、医学研究、化学和其他科学领域。
-
数据组织：Prism 提供了灵活的数据表，可以方便地输入、编辑和组织数据。
-
图表绘制：支持多种图表类型，包括条形图、散点图、折线图、柱状图、面积图、饼图等。用户可以根据需要选择图表类型，并自定义图表的样式和颜色。
-
统计分析：内置多种统计分析工具，包括 t 检验、方差分析（ANOVA）、回归分析、非参数检验等，帮助用户进行科学的数据比较和分析。
-
图形导出：可以轻松将图表导出为多种格式，如 TIFF、JPEG、PNG 等，适用于发表在期刊、演示文稿或报告中。
-
数据导入：支持从 Excel、CSV 文件和其他数据源导入数据，简化数据准备过程。
-
图形编辑：提供了丰富的图形编辑工具，用户可以调整图表的标题、图例、坐标轴标签等，使图表更加清晰和专业。
-
数据拟合：支持多种曲线拟合模型，如线性、多项式、指数、对数等，帮助用户分析数据之间的关系。
-
科学计算：内置科学计算器，可以进行复杂的数学运算和转换。
-
数据管理：可以创建和管理多个数据集和项目，方便用户在不同研究项目中切换和比较数据。
-
用户界面：界面直观易用，适合初学者和专业人士使用。
-
支持多平台：GraphPad Prism 支持 Windows 和 macOS 系统，提供跨平台的一致体验。
GraphPad Prism 7 是科研人员和数据分析师的重要工具，帮助他们更高效、更准确地处理和展示科学数据。
五、数字病理学中的人工智能：LLMs的潜力与限制
一作&通讯
作者角色 作者姓名 单位（英文） 单位（中文） 第一作者 Ehsan Ullah Anatomical Pathology, Department of Pathology and Laboratory Medicine, Te Toka Tumai Auckland, Te Whatu Ora (Health New Zealand) 解剖病理学，病理学和实验室医学系，奥克兰 Te Toka Tumai，Te Whatu Ora（新西兰健康） 通讯作者 Rajendra Singh Director of Dermatopathology and Digital Pathology, Summit Health, Woodland Park, NJ, USA 皮肤科病理学和数字病理学主任，Summit Health，新泽西州伍德兰公园，美国 文献概述
这篇文章综述了在诊断医学中使用大型语言模型（LLMs）所面临的挑战和机遇，并强调了进一步研究和合作的必要性。
-
背景：
- 大型语言模型（如ChatGPT）在诊断医学中的整合引起了广泛关注，尤其是在数字病理学领域。
- 尽管ChatGPT没有在医学数据上进行训练，但医疗专业人员和研究人员已经尝试使用它来分析和解释医学数据。
-
方法：
- 进行了范围审查，以探索在诊断医学中使用LLMs的挑战和障碍，重点是数字病理学。
- 通过电子数据库（如PubMed和Google Scholar）进行了全面搜索，筛选了过去四年内的相关文章。
-
结果：
- 审查发现LLMs在诊断医学中使用的几个挑战和障碍，包括：
- 上下文理解和可解释性的限制。
- 训练数据中的偏见。
- 伦理考虑。
- 对医疗专业人员的影响。
- 监管问题。
-
讨论：
- LLMs在诊断医学中的应用提供了改进临床决策支持、增强患者教育和疾病监测能力的潜力。
- 需要考虑LLMs的优缺点，并在临床实践中整合LLMs时考虑伦理问题。
- 文章还讨论了LLMs在图像诊断和实验室诊断中的应用，包括图像分析、特征提取、图像分类、疾病风险预测和新生物标志物的识别。
-
结论：
- LLMs在诊断医学中的使用具有显著的前景，但需要解决关键问题以确保其负责任和有效的整合。
- 需要进一步的研究、验证和AI开发者、医疗专业人员以及监管机构之间的合作。
-
未来考虑：
- 提出了未来研究和实施中应考虑的几个关键点，包括增强LLMs的上下文理解和解释能力、协作模型开发、偏见检测和缓解、与临床决策支持系统的整合、长期研究和现实世界评估、监管和伦理指南以及用户反馈和迭代改进。
- 审查发现LLMs在诊断医学中使用的几个挑战和障碍，包括：
文章强调了在诊断医学中整合LLMs的重要性，并指出了实现这一目标所需的关键步骤和考虑因素。
重点关注
Fig. 1展示了大型语言模型（LLMs）在诊断病理学中的作用。
在诊断病理学中，LLMs可能在以下几个方面发挥作用：
-
数据收集与预处理：LLMs需要大量的数据来训练和学习，这可能包括医学图像、临床记录和实验室结果。预处理步骤可能涉及将这些数据转换成适合LLMs输入的格式。
-
模型选择与训练：选择适合的LLM架构或预训练模型，并在特定的诊断任务上进行训练。这可能包括针对医学应用进行微调的模型。
-
特征提取与图像分析：LLMs可以被训练来自动识别和提取医学图像中的相关特征，比如肿瘤、骨折或其他解剖标志。
-
图像分类与诊断：LLMs可以被训练来根据图像中特定疾病或状况的存在与否对医学图像进行分类，提供初步的诊断。
-
图像分割与病变特征描述：LLMs可以用来将医学图像分割成不同的组织类型，或者识别和描述病变，为治疗规划和预后提供信息。
-
实验室测试结果分析：LLMs可以被训练来解释实验室测试结果，并将其与患者的医疗历史和其他临床数据结合起来，帮助临床医生识别模式并做出准确诊断。
-
疾病风险预测：使用LLMs开发预测模型，根据遗传和生活方式因素估计患者发展某些疾病的风险。
-
新生物标志物的识别：LLMs可以用来分析大量实验室测试结果数据集，以识别可能与特定疾病相关的新生物标志物。
-
临床验证：与医疗专业人员合作，验证基于LLM的诊断工具的临床相关性和实用性。
-
伦理考虑：在部署LLMs时，需要考虑与患者数据隐私、偏见和公平性相关的伦理问题。
-
- LLMs有望通过从患者电子健康记录中提取信息，降低维护临床-基因组注册表的努力，并促进临床试验生命周期内的信息收集和报告。
- 在瓦片级预训练中，模型使用DINOv2，这是一个先进的自监督学习框架，用于训练图像瓦片级编码器。DINOv2通过自监督学习帮助模型从未标记的数据中学习特征表示。
