Transformer结合CRF，一种电子病历后结构化处置的技术索求

2020-09-07 09:35 程鹏

在信息时期，各行业的数据量都在爆炸式增长，临床医疗数据也出现出体量大、增快快、大局多样、潜在价值高的特点。在医疗卫生信息化的发展过程中，数据利用问题一向是困扰行业发展的一大难题。电子病历是推进卫生信息化的沉点，也是实现区域医疗资源共享的基石。为实现新医改提出的区域卫生协同指标，若何充分利用电子病历中的信息，是首先要解决的问题。

电子病历中非结构化信息提取面对的难题

作为医疗活动的重要载体，电子病历不只是一个海量的语料库，也是病历大数据分析的基础。电子病历文档不仅蕴含天然说话文本描述的、齐全非结构化的内容，也蕴含半结构化信息等。在电子病历中，病案主体及蕴含在病案中的各类诊断有关描述、检验查抄了局、查房纪录、医嘱等，都能够被以为是蕴含丰硕语义信息的半结构化（或非结构化）内容。在临床医学钻研中，以天然说话文本描述的非结构化数据是电子病历数据利用方面的一大阻碍。由于天然说话没有相对统一的结构，文档体式没有固定的限度，并且写作自由，所以对电子病历中的非结构化数据提取极度难题。

在天然说话处置（Natural Language Processing，NLP）领域，常用的文本信息提取步骤有两种：基于统计提取与基于规定提取�；谕臣频奶崛〔街�，其特点是提守信息的正确度较高，但是对于概率模型来说，训练过程比力复杂，并且必要较长的功夫；基于规定的提取步骤，拥有抽取过程单一的特点，但其抽取结构过于依赖规定的天生和进建。并且，这两种步骤都是针对文本信息的通用提取步骤，没有思考到医学数据的行业属性与特点，因而很难急剧、正确地提取出最优解。

深度进建算法诞生后，当即被使用到医学实体鉴别和关键信息提取的工作中来。早期实体鉴别领域通用的深度进建步骤是选取蕴含LSTM单元（Long Short Term Memory，长短期影象单元）的RNN模型（Recurrent Neural Network，递归神经网络），对于输入的每一个字，暗藏层输出，通过全衔接层与Softmax层获得最终的标签概率。但这种步骤有两个显著缺点：一是单向的LSTM只能利用上文的信息，无法捉拿到下文的信息；二是LSTM偏差于忽略标签序列的互有关系作用，体现不出标签之间的逻辑关系。

一种全新的模型索求

BiLSTM（双向循环神经网络）的引入，解决了同时思考高低文信息的问题，而CRF（Conditional Random Fields，前提随机�。┑囊朐蚨员昵┑脑げ獬闪⒘嗽际疤�，从而能够体现出标签之间相互影响的关系。

实际中，CRF利用在BiLSTM的顶层，即把BiLSTM的输出作为CRF的输入。这样就得到了当前最盛行的步骤：BiLSTM结合CRF算法。其中，BiLSTM的作用是感知；而CRF能进建高低文信息，结合输出层了局和标签序列的全局概率，预测出最或许率的标签序列。如图1所示。

%E5%9B%BE1-BiLSTM%E7%BB%93%E5%90%88CRF%E7%AE%97%E6%B3%95%E6%A8%A1%E5%9E%8B — 图1 BiLSTM结合CRF算法模型

我们在此基础上进行了进一步的刷新。Transformer模型是最近一年多来NLP领域最沉要的进展。与BiLSTM一样，Transformer模型能够对输入序列每个字之间的特点关系进行提取与捉拿。通过自把稳力机造和对多个根基的编码器（Encoder）与解码器（Decoder）单元进行陆续堆叠，Transformer模型能够发现单字在分歧语境下的分歧语义，从而实现了一词多义的分辨，比BiLSTM具备更强的特点提取机能。如图2所示。

%E5%9B%BE2-Transformer%E6%A8%A1%E5%9E%8B%E5%85%B7%E5%A4%87%E6%9B%B4%E5%BC%BA%E7%9A%84%E7%89%B9%E5%BE%81%E6%8F%90%E5%8F%96%E6%80%A7%E8%83%BD — 图2 Transformer模型具备很强的特点提取机能

在实际中，我们只使用了Transformer的编码器部门（某种意思上说，更像是Bert，即双向Transformer的Encoder），通过多层的自把稳力推算结合残差的推算，将最顶层的Encoder单元的输出作为CRF的输入，就得到定名实体的标签分类。

我们将电子病历中通过天然说话描述的人体部位、疾病名称、症状、化验项目、查抄项目、手术、医治等术语，界定为医学定名实体，通过上述Transformer结合CRF的算法，进行了实体鉴别及提取的试验。由于我们标注的词汇相对比力主题，即未蕴含各类建饰类的形容词，因而鉴别成效比之前的一些钻研成就要逾越好多，如图3所示。

%E5%9B%BE3-Transformer%E7%BB%93%E5%90%88CRF%E7%9A%84%E7%AE%97%E6%B3%95%E7%9A%84%E5%AE%9E%E4%BD%93%E8%AF%86%E5%88%AB%E6%95%88%E6%9E%9C — 图3 Transformer结合CRF的算法的实体鉴别成效

Transformer结合CRF的算法，既克服了CRF算法难以鉴别高低文语义的弊端，又克服了BiLSTM结合CRF算法容易梯度隐没和难以并行化推算的不及。有了这一算法的精准鉴别和提取，我们就能够在“电子病历结构化分拆系统”中进一步机关后结构化模板：即key或value蕴含一个或多个实体，再组合建饰词共同组成，从而实现电子病历的正确拆分，如图4所示。

%E5%9B%BE4-%E5%9F%BA%E4%BA%8ETransformer%E7%BB%93%E5%90%88CRF%E7%9A%84%E7%AE%97%E6%B3%95%E6%9E%84%E9%80%A0%E7%9A%84%E7%94%B5%E5%AD%90%E7%97%85%E5%8E%86%E5%90%8E%E7%BB%93%E6%9E%84%E5%8C%96%E6%A8%A1%E6%9D%BF-1024x583 — 图4 基于Transformer结合CRF的算法机关的电子病历后结构化模板

要实现医疗信息资源的共享和互联互通，必须从电子病历中提取出结构化数据。选取最新的基于深度进建的实体鉴别和提取步骤，能够急剧、正确地提取各类诊断、症状、医嘱、检验、查抄、手术等信息，提高电子病历的利用水平，间接提升电子病历书写质量，以达成更高的电子病历评级尺度，为将来人为智能辅助诊断系统奠定基础，是将来医院的沉要发展方向。

【作者简介】
程鹏，高级工程师，曾任大型卫生行业企业的技术总监，参加多个省、市级医院的卫生信息化项主张建设。现任上海资智网络科技有限公司技术掌管人，重要钻研方向为人为智能在医疗行业的利用。

起源：HIT专家网

微信

新浪微博

QQ空间

豆瓣网

百度贴吧

行业新闻

上一篇世卫组织颁布获取医疗卫生数据新步骤

下一篇延缓衰老的“硬核”科技指南

武汉俄罗斯专享会信息技术有限公司（总部）

地址：湖北省武汉市东湖新技术开发区关南科技工业园第7号研发楼13层

电话：400-915-8858

第一研发中心

俄罗斯专享会

地址：资阳市高新区火炬五路899号国度级大学生双创基地8-10层

电话：0791-88105112 0791-88160851

第二研发中心

漯河宁医信息科技有限公司

地址：漯河市玄武区领智路56号星河WORLD

电话：025-85264136 025-85264137 025-85264139

分公司及处事处

北京世传俄罗斯专享会信息技术有限公司

地址：北京市向阳区北苑路office C座5楼1002室电话：010-52086783

广西嘉峪关处事处

地址：广西壮族自治区嘉峪关市青秀区金洲路33号广西人才大厦11楼电话：18679851086 0771-5532515

云南昆明处事处

地址：云南省昆明市呈贡区祥和街吾悦景寓2806 电话：13114348671

长沙世传俄罗斯专享会信息技术有限公司

地址：长沙市岳麓区钰龙全国佳园二期综合楼2栋电话：13975109750

贵州贵阳处事处

地址：贵州省贵阳市高新区大学生创业园电话：13114348671

俄罗斯专享会

Transformer结合CRF ，一种电子病历后结构化处置的技术索求

Transformer结合CRF，一种电子病历后结构化处置的技术索求