前言：

1、医疗AI平台整体框架：迈入大模型时代，多模态AI通用化成为未来趋势

医疗人工智能平台包括数据资源层、人工智能平台和医疗应用层 。开源框架和算法占有重要地位，如选择工程化能力较强的TensorFlow或在图像方面表现良好的Caffe等开源框架，选择在图像识别方面常用的卷积神经网络（CNN），循环神经网络（RNN）算法模型等。GPT开启多模态通用AI大模型时代，NLP、CV、科学计算多模态大模型AI通用时代来临。
2、AI大模型将在医疗信息化、互联网医疗、医卫和医保信息化等领域产生生产力变革性推动
AI大模型+插件模式推进AI应用领域进入全新发展阶段。OpenAI大模型推出插件可以对接下游应用程序，为开发者提供接入平台，极大助力了AI大模型下游应用的落地。OpenAI与微软Azure合作助力ChatGPT、GPT-3.5、GPT-4对接企业，提供toB服务，推动了AI应用端发展浪潮。GPT-4已实现医疗领域商用合作。微软旗下Nuance Communications 发布与 OpenAI 的 GPT-4 集成的支持语音的医疗病历
生成应用程序DAX（ Dragon Ambient eXperience ）。GPT-4对于事实的阐述精度对比GPT-3.5高出40%，在医学知识自测评论考试表现更优秀，支持多模态输入，预测会对医疗信息化、互联网医疗、公卫、医保信息化细分领域产生效率的变革性推动。百度文心一言前期有很多互联网医疗、医疗信息化、创新药械、医保等接入进行内测和工具开发，预计随着百度千帆的企业服务大模型发布，将会进一步推动医疗AI的发展。
3、 我国积极推动信息技术在医疗行业应用， 建议关注医疗信息化、互联网医疗、医保信息化龙头厂商
我国积极推动发挥信息技术对于医疗行业的支撑作用。发展“互联网+医疗健康”，建设面向医疗领域的工业互联网平台，加快推进互联网、区块链、物联网、人工智能、云计算、大数据等在医疗卫生领域中的应用，加强健康医疗大数据共享交换与保障体系建设。提升服务便捷性。积极运用互联网、人工

1、医疗AI平台框架

1.1医疗AI平台整体框架：迈入大模型时代，多模态AI通用化成为未来趋势

智能等技术，持续优化服务流程。建设智慧医院

1.2开源框架-以 MRI为例：

1.2.1 MRI介绍：在独立测试图像上获得了99.2%的分类准确率。

MRI是一种3D成像技术，允临床医生无创地可视化体内的结构，而无需电离辐射。MRI 是一种广泛使用且功能强大的成像方式，因为它在“软”组织（例如灰质、白质和脑脊液）之间具有出色的对比度，并且不仅能够可视化解剖结构，还可以描绘生理和功能，例如血流、灌注和弥散。

1.2.2解决方案:在高性能 CPU 上，整个过程需要 ~3.5 秒。
1)图像质量检查：检查给定的定位器图像是否适合识别所需解剖结构的平面。这是通过使用五层二元还原常规CNN分类网络模型（ LocalizerIQ-Net）来识别实现的。
2)识别解剖覆盖：通过结合基于形状的语义图像分割U-Net DL模型（称为“覆盖-网络”）在定位器图像中定位所需解剖学（大脑）的空间范围。
3)识别精确的平面方向和位置：对于每个所需的解剖结构（例如，视神经），使用定向网络对该结构进行成像的扫描平面。

1.2.3框架优势

1）支持 2D 和 3D 级联神经网络 CNN
3）广泛的开源用户和开发人员社区
4）图形计算的稳定性使其对产品部署具有吸引力
5）Keras 接口可用，显著缩短了开发时间
6）部署是使用基于 TensorFlow Serve CPU 的 docker 容器和RestAPI 调用完成的，以便在获取本地化器后对其进行处理。

1.2.4人工劣势:使用深度学习进行MRI的智能扫描

切片定位和方向的质量和一致性在很大程度上取决于扫描操作员的技能和经验。这个过程可能既耗时又困难，特别是对于复杂的解剖结构。因此，扫描操作员之间可能存在不一致的情况。这种缺乏一致性会使放射科医生在解释这些图像方面的工作更加困难，特别是当患者被扫描作为先前MRI检查的后续行动并且他们试图识别解剖结构或疾病进展随时间推移的细微变化时。在最坏的情况下，无法获得正确的图像，患者必须返回进行另一次手术。

1.3算法模型应用生态

1.4AI大模型+插件模式推进AI应用领域进入全新发展阶段

1.5ChatGPT等大模型在医疗端的应用：

1）生成个性化的医疗报告：

通过文本生成技术，ChatGPT 可以用于生成个性化的医疗报告、制定个性化的治疗方案、提供个性化的医疗建议等。

2)实现在线医疗咨询

通过对话机器人技术，ChatGPT可以用于实现在线医疗咨询、远程医疗诊断、自动医疗指导等。

3)实现自动医疗指导

ChatGPT 可以利用患者的健康状况，包括生活习惯、运动情况、饮食习惯等，实现自动医疗指导。这些指导可以为患者提供个性化的健康指导与提醒，提高患者用药治疗的依从性，从而保障患者的健康状况。

4)审查医疗记录

OpenAI大模型与Kepro合作，AI大模型助力医疗记录审查，提高医疗记录审查准确性，预计将缩短多达30%的临床审查时间.

5) 提供个性化的医疗建议
通过自我理解和自我修正技术，ChatGPT 可以用于实现医疗数据挖掘、疾病预测、诊断推理等。

1.5.1ChatGPT的七大医疗场景

1) 信息抽取

2) 医学实体识别+属性抽取

3) 智能分诊

4) 医学术语标准化

5) 医学对话临床发现阴阳性判别

6) 医疗文本关系抽取

7) 医疗报告生成

1.5.2GPT4阐述更准确:可实现多模态输入推动了其在医疗领域的应用
GPT 3.5到GPT 4
1)事实结论阐述精确度+40%，据OpenAI的内部评估，它在产生事实回复时，其性能比GPT-3.5好40％。
2)医学知识自测评论考试表现更好：
据OpenAI，GPT-4做更详细的阐述并提供更可靠和创造性的输出，更有能力。 GPT4在参加为人类设计的考试中表现比之前版本更好（例如医学知识自我评估计划（75％vs 53％））
3）文本输入可实现多模态输入
GPT-3和GPT-3.5仅接受基于文本的输入，GPT-4接受多模态输入，可以同时接受文本和图像等输入并提供文本输出。可实现转录手写纸质处方，语音录入电子病历等。

1.5.3GPT4应用于医疗信息化场景——电子病历的生产力解放

当前由医生手动录入医疗信息化系统患者电子病历：当前医生一边问诊一边手写或在电脑上输入电子病历。虽然一些病历医生可以根据信息化系统里面的模板去更改患者信息，但是有一些病历较复杂病程较长，医生需要很详细地记录追踪患者的情况，病历可能达上万字，当前在传统医疗信息化系统中还是由医生手动记录输入这部分信息。未来接入GPT4以后医生解放了文书工作：GPT4可以多模态输入数据并理解梳理信息，这也就意味着GPT4大模型可以输入患者和医生的对话并摘取关键信息，医生不用边问诊边记录，可以快速耐心询问患者情况，只需要几秒钟，就能自动生成电子病历，然后自动导入当前的医疗信息化系统。即可以提升医生工作效率提高行政文书的生产力，增强体验，为医疗行业降本增效。又可以减轻医生倦怠感自动化流程和任务以帮助减轻医生倦怠感，解放医生的文书工作。还可以改善医患关系加强和扩展医生影响力。让更多的患者受到医生的服务，以改变工作和护理的未来。

1.5.4微软子公司Nuance：将GPT-4用于病历生成程序

微软旗下Nuance Communications 发布与 OpenAI 的GPT-4 集成的支持语音的医疗病历生成应用程序DAX（ Dragon Ambient eXperience ）。环境AI与GPT-4技术相结合：Dragon AmbienteXperience (DAX) Express 是第一个将会话和环境 AI与 OpenAI 的 GPT-4 的高级推理和自然语言功能相结合的全自动临床文档应用程序。Nuance 的环境 AI 技术旨在通过“倾听”医患就诊并做笔记来自动化临床文档。几秒钟形成可接入电子病历系统的临床笔记：通过添加 GPT-4，DAX Express 可在患者就诊后几秒钟内自动创建草稿临床笔记，以便立即进行临床审查。 该解决方案还与电子病历软件紧密集成。该产品将服务超55万医生和数百医疗系统：超过550,000 名医生使用 Nuance 的 Dragon Medical One语音识别解决方案。 DAX Express 建立在 2020 年推出的 Dragon Ambient eXperience 解决方案 Nuance的基础上。该解决方案目前部署在数百个医疗系统中。夏季推出：Nuance 医疗保健业务执行副总裁兼总经理戴安娜·诺尔 (Diana Nole) 表示DAX Express 将从今年夏天开始以私人预览的形式提供给特定客户。 一旦该测试完成，将普遍提供给所有 Dragon Medical One 和DAX 用户。

1.5.5GPT4应用于医疗信息化场景——为医生提供诊断决策备选

当前CDSS临床辅助决策系统会根据患者症状提供给非常多相关疾病和治疗手段，需要医生靠经验判断：当前的CDSS系统可以提供给医生一些相关疾病科普参考，比如患者头痛，
CDSS系统就会列出所有引起头痛的常见原因及相关诊疗方法，具体下一步做什么检查进行确诊还是需要靠医生的经验和判断。在时间有限的门诊问诊时间里，医生大部分会根据自己的经验去判断患者下一步需要进一步做CT明确病因或是由于疲劳等产生的头痛。CDSS系统提供的更多是科普和参考的作用。
p GPT4可以根据自己整理的患者症状将可能的疾病及相关的诊疗方法排序，成为医生做决策的强力助手，甚至可能提升基层医院的医疗水平：根据微软研发和孵化中心副总PeterLee，GPT4经过专业医疗数据训练以后可以根据自己整理的患者病历去根据可能的临床病历情况匹配病人的实际情况，将所有可能出现的场景按照概率大小排序，给予医生一个强有力的决策支撑。如果医疗信息化厂商能够提供以往数据去对GPT4进行专项训练，随着它准确性的提高，可以提供每个专病相对准确的患者病因和诊疗方法，降低医生的误诊率，提升基层医院的医疗水平。

当前互联网医疗具有智能助手进行分诊提升问诊效率，但是分诊不是很准确，信息获取很粗浅：如进入在线问诊界面，可以根据关键词选择病症，如“咽炎”等，然后小助手会问病程之类设定好的问题，患者可以选择患病时间，接下来实名制进行分诊至值班在线医生。但是问题设置的比较粗糙，虽然可以语音输入和发送照片，但是智能助手对此没有什么反应，这些信息需要医生去处理。分诊也可能出现一些失误，比如咽炎可能更适合到五官科里面去而不是中医科。
p GPT4可以极大提升在线问诊效率，改善患者体验，可能取代在线值班医生的工作：GPT4可以更机动灵活地跟患者对话，并从患者的描述中提取详细的信息，可以完全取代智能助手的工作，在获取和整理患者的症状、患者基本信息、过往用药史等方面可以完全胜任，甚至可以在线提取患者过往拍片中的信息，取代值班医生的部分工作。这样极大缓解了医生线上沟通的压力，降低了线上沟通成本。以往很多症状线上沟通不畅还需要线上转线下，GPT4的应用更有利于在线医疗的发展，带来效率提升的颠覆性转变。

1.5.6公卫信息化领域——对重大传染病实现实时监测预警

当前我国公卫信息化领域具有监测突发公共卫生事件需求，数据分析多由各领域专家组完成。通过各地区信息互联、各级机构数据填报、网络抓取监测等渠道监测重大传染病情况，并成立专家组定期进行数据分析，研判疫情趋势，给予风险评估，提出建议。
p GPT大模型可以在获取数据和数据分析上助力公卫信息化效率提升。GPT大模型可以通过插件自动获取社交媒体和网络上的传染病数据及前沿公共卫生报告等，减轻当前做网络监测互联网的程序员的工作压力，并自动形成可视化展示分析，提出建议，减轻专家工作量，提升监测效率，不同于当前定期请专家组做分析，GPT可以实现实时监测分析并生成预警报告。

1.5.7医保信息化领域

当前开展数据治理试点，成立专项工作组，每日跟进计划进度，梳理总结工作经验。加快推进各地历史数据上传，做好数据质量监控，持续提升医保数据质量。截至1H22已累计处理数据库表结构和数据字典变更申请4200多次，更新发布质控标准6200余条，累计归集医保数据超5300亿条，月脏数据率由初期的25%下降到目前的15%。医保大数据逐步应用，形成系列数据分析研究报告，为医保宏观分析和政策制定提供数据支撑。
当前数据归集需求强烈 GPT极大提升医保数据归集效率GPT大模型可以抽取医保数据里面的医学实体、属性等关键信息，还可以把不标准的医学术语标准化，能够非常高效地处理脏数据，极大降低医保数据的月脏数据率，并且可以根据数据生成可视化分析表，为医保宏观分析提供实时分析，为医保宏观政策制定提供具有时效性的数据支撑

1.58药物研发——GPT助力新蛋白质合成
数据质量不高：
1.数据波动性大
2.负样本数据缺失
3.数据碎片化
基于区块链和联邦学习搭建技术框架，在TOP制药企业之间共享药物数据进行研发
优势：
1.算法模型不会留存数据，药企不用担心数据泄露
2.模型可以被所有参加联邦学习的企业共享
劣势：
联邦学习为分布式算法，存在搭便车情况，药企提供数据积极性有待提高引入GPT大模型
数据有限：
1.生物学数据偏少
2.药企不愿共享已有数据
 2023年1月23日，加州伯克利一家创业公司利用类似ChatGPT的LLM模型“Progen”合成了自然界不存在的新鸡蛋白，为GPT未来在药物研发应用方向提供方向，即读取不同氨基酸序列，合成新型蛋白质。 ProGen是一个具有1亿参数的条件蛋白语言模型。 基于Transformer架构的ProGen通过自注意力机制模拟残基的相互作用，可以根据输入控制标签生成跨蛋白质家族的不同人工蛋白质序列。为了创建该模型，研究人员输入了280.56亿种不同蛋白质的氨基酸序列，模型在几周内“消化”。 过去，在自然界中挖掘蛋白质或将蛋白质调整到所需的功能是非常费力的。 如果能够定向将氨基酸序列数据输入GPT进行训练，参数量更为庞大的GPT大模型理论上可以取得更加精准的效果。

1.5.8文心大模型在医疗领域未来应用趋势

1）为病人提供健康监测

慢病管理方面，接入智能手表等可穿戴健康检测设备。通过处理病人心率等数据为病人提供健康建议。将病人情况同时提供给医生便于医生诊疗。

2成为医生的数字助理

提升医生工作效率，医生通过使用文心一言可以节省资料搜集、病历整理和文献翻译的时间。在标准化写作方面，语音实时转写医生和患者的对话，自动生成标准化的初步病例。

1）通过图像识别帮助医生初步诊断

分析CT、MRI等影像为医生提供辅助诊断建议。分割和重建CT影像，为医生提供三维模型，更直观地展现病灶的位置和程度
4) 疾病自测助力医生诊断
比如在面对阿尔兹海默症患者，文心一言通过识别认知能力受损人群和认知健康人群在对话时的细微差异，帮助医生更准确、更高效、更早期地诊断阿尔茨海默病

2、国内医疗IT企业AI应用

2.1中国医疗AI产业图谱

2.2重要医疗信息化公司财务数据横向对比

2021年营业总收入规模排名前三的公司为东软集团(86.6亿元)、平安好医生(73.3亿元)和万达信息(35.0亿元):净利润规模排名前三的为东软集团(11.7亿元)创业慧康(4.1亿元)和卫宁健康(3.8亿元);营收增速排名前三的为医渡科技(42.5%) 山大地纬(28.2%)和嘉和美康(22.9%);净利润增速排名前三的为东软集团(794.4%)、嘉和美康(133.4%)和万达信息(105.4%)。