论文阅读_ICD编码_MSATT-KG
介绍
英文题目:EHR Coding with Multi-scale Feature Attention and
Structured Knowledge Graph Propagation
中文题目:基于多尺度特征关注和结构化知识图传播的 EHR 编码
论文地址:https://sci-hubtw.hkvisa.net/10.1145/3357384.3357897
领域:自然语言处理,生物医疗,ICD 编码
发表时间:2019
作者:Xiancheng Xie 等,复旦大学
出处:ACM CIKM
被引量:25
阅读时间:2022.06.16
读后感
很好地结合了现有的资源和方法:利用编码的内在关系,结合了注意力机制,知识图谱,密连接网络等方法。
泛读
针对问题:ICD 自动编码
核心方法:
通过对每个词上下文邻居的
n-gram,选择多尺度特征
利用 ICD
标签的语义:编码越相近,含义越相近,利用图卷积网络捕捉 ICD
编码的层次关系和语义
基于 ICD
标签的注意力;结合多尺度特征,用注意力选择信息量最大的 n-gram
特征
理解程度:
一个半小时精读,又花了约两 ...
论文阅读_ICD编码_MSMN
介绍
英文题目:Code Synonyms Do Matter: Multiple Synonyms Matching Network
for Automatic ICD Coding
中文题目:自动 ICD 编码的同义词匹配网络
论文地址:https://export.arxiv.org/pdf/2203.01515.pdf
领域:自然语言处理、生物医疗
发表时间:2022
作者:Zheng Yuan 等,清华大学,阿里巴巴
出处:ACL
代码和数据:https://github.com/GanjinZero/ICD-MSMN
阅读时间:2022.06.14
读后感
通过代入外部资源
UMLS,论文收集了每个编码的同义词,从而弥补了电子病历与
ICD 编码描述中同义不同词的问题。
其算法并没有像之前一些模型那么精巧,但引入外部资源后,效果的确提升不少。
泛读
针对问题:ICD 编码中一义多词问题
核心方法:
提出了多同义词匹配网络 (MSMN)
使用LSTM+ 多头注意力
将编码的同义词作为 query
以关注描述中的不同短语,从而生成与 ICD 编码相关的表示。
使用双仿射的 ...
论文阅读_中文NLP精减模型ELECTRA
介绍:ELECTRA 由 Manning
联合谷歌发布,后来哈工大讯飞联合实验室训练了相应的中文模型。精减后的模型效果和
BERT 差不太多,而模型大小只有 BERT 的 1/10,ELECTRA-small 只有
46M。
代码&模型下载&详细说明:https://github.com/ymcui/Chinese-ELECTRA
使用:LTP 使用它为基础模型。
原理:使用生成对抗网络训练自然语言模型,时间短,参数少。模型分为两部分:生成器和判别器,生成实现
MLM,判别器用于识别每一个单词是否为模型生成。
效果:以中文阅读理解为例,其效果对比如下,其它实验详见 github
Pasted image
20220620181324.png
论文阅读_BEVSegFormer
介绍
英文题目:BEVSegFormer: Bird’s Eye View Semantic Segmentation From
Arbitrary Camera Rigs
中文题目:BEVSegFormer: 基于任意相机的鸟瞰图语义分割
论文地址:https://arxiv.org/abs/2203.04050
领域:机器视觉,自动驾驶
发表时间:2022 年 3 月
作者:来自上海的自动驾驶创业公司 Nullmax
阅读时间:2022.05.28
其它相关网文:https://blog.csdn.net/Yong_Qi2015/article/details/124311369
介绍
之前从摄像机视图转成 BEV 的方法多以 IPM
为主,该方法需要知道摄像机的内外参数以及位置信息。在有遮挡及距离比较远的情况下,都无法达到很好的效果。近年来更多应用了深度学习方法。
优点
不需要摄像机的参数
有效聚合多摄像头数据
优化了图像分割效果
核心算法
(论文正文第 3 页)
三个步骤:
从一个共享 Backbone 处理各摄像机,输出 Feature map。
基于 Transfor ...
论文阅读_一对多的手术名称规范化
介绍
英文题目:A Knowledge-driven Generative Model for Multi-implication
Chinese Medical Procedure Entity Normalization
中文题目:知识驱动的多含义中文医疗实体规范化生成模型
论文地址:https://www.aclweb.org/anthology/2020.emnlp-main.116.pdf
领域:自然语言处理,实体规范化,医疗
发表时间:2020
作者:Jinghui Yan 等,北京交通大学,中国科学院,繁宇科技有限公司
出处:EMNLP
被引量:4
阅读时间:22.06.04
针对问题:中文 ICD9 手术名称的规范化
结果:支持手术名称一对多规范化
核心方法:使用生成模型;利用知识约束;用子类数据精调模型
读后感
如果单纯依赖数据和模型,极可能产生一些完全不靠谱的匹配,文本规范化优化方法,多是针对这一问题的改进,比如代入知识。论文使用生成模型解决文本规范化问题,想法比较有意思,另外,使用约束的方式把知识代入了深度学习模型。
介绍
命名实体规范化(Named entity ...
论文阅读_图神经网络GIN
介绍
英文题目:How Powerful are Graph Neural Networks?
中文题目:图神经网络有多强大?
论文地址:https://arxiv.org/pdf/1810.00826.pdf
领域:图神经网络,知识表示
发表时间:2018
作者:Keyulu Xu 等,MIT,斯坦福大学
出处:ICLR
被引量:1506
阅读时间:22.06.11
读后感
这也是一篇引用量很大的图神经网络精典论文。之前研究方法着重于表示节点,引文着眼于表征图的结构。作者认为之前方法难以区分不同的图结构,并提出了一种基于
GNN 的方法 GIN,它的区分效果与 WL-Test 效果相当。
介绍
一般情况下一个节点的表式通过聚合它 k
跳之内的邻近节点计算,而全图的表示则通过对所有节点的池化计算。
近年来新型 GNN
的设计主要基于经验直觉、启发式和实验试错法,而对神经网络的性质和局限性的理论较少。文中提出理论框架来分析
GNN 的能力,这里主要是评价模型是否能够区分网络结构。
文中使用了 WL-test
方法,即图同构测试,它是一个区分网络结构的强效方法,也是通过迭代聚合邻居的方法来 ...
论文阅读_BEVFormer
介绍
英文题目:BEVFormer: Learning Bird's-Eye-View Representation from
Multi-Camera Images via Spatiotemporal Transformers
中文题目:BEVFormer: 通过时空 Transformers
从多摄像头图像学习鸟瞰图表示
论文地址:https://arxiv.org/pdf/2203.17270v1.pdf
领域:机器视觉,自动驾驶
发表时间:2022 年 3 月
作者:Zhiqi Li 等
出处:南京大学,上海人工智能实验室,香港大学
代码和数据:https://github.com/zhiqi-li/BEVFormer
阅读时间:2022.05.22
读后感
文中方法和特斯拉视频(特斯拉2021人工智能日AI
Day完整视频)架构相似。比较有意思的地方是在BEV
层面结合了时间和空间信息。
介绍
在 3D
感知领域,雷达已取得了很好效果,机器视觉近几年也受到关注,除了成本低,相对雷达,它还能感知远距离物体,以及识别道路标识。
BEV
鸟瞰图从多个摄像头信息计算表征,用于描述周 ...
论文阅读_中文生物医学语言理解评价CBLUE
介绍
英文题目:CBLUE: A Chinese Biomedical Language Understanding
Evaluation
中文题目:CBLUE:中文生物医学语言理解评价基准
论文地址:https://arxiv.org/pdf/2106.08087.pdf
领域:自然语言处理,知识图谱
发表时间:2021 年
作者:Ningyu
Zhang,医渡云、平安医疗科技、阿里夸克、鹏城实验室、北京大学、哈尔滨工业大学
(深圳)、同济大学、郑州大学等共同协办
出处:ACL(自然语言处理顶级会议)
被引量:3
数据:https://tianchi.aliyun.com/dataset/dataDetail?dataId=95414
(需要提交申请)
代码:https://github.com/CBLUEbenchmark/CBLUE
阅读时间:2022.05.09
读后感
训练和评测数据非常全面,还可以在天池打榜。
介绍
之前生物医学方面数据以英文为主,本文收集了真实世界的生物医学数据,提出了第一个中文生物医学语言理解评估标准
CBLUE。其内容覆盖命名实体识别,知识抽取,诊断标 ...
论文阅读_多类型实体的图对齐_CGMuAlign
读后感
文中的一个重要思想是:认为被对齐的图中的知识都是不完备的,所以在图间对齐时,主要对齐对些能齐上的,忽略那些对不上的;同时结构了自注意力模型,对不同关系分配不同权重。
多类型实体的图对齐
_CGMuAlign
英文题目:Collective Multi-type Entity Alignment Between Knowledge
Graphs
中文题目:基于知识图的集合多类型实体对齐
论文地址:https://assets.amazon.science/ff/7a/b96282984a0fbe5e31a8fcf68d17/scipub-1202.pdf
领域:知识图谱,实体对齐
发表时间:2020 年
作者:Qi Zhu,伊利诺伊大学,亚马逊
出处:the web conference
被引量:17
代码和数据:https://github.com/GentleZhu/CG-MuAlign
阅读时间:2022.04.25
介绍
实体对齐的目标是识别不同图中的同一实体。不同的图在建构的时候由于目标不同,各有偏重。比如图
-1 中的左右两张图:
Pasted image
202 ...
论文阅读_BERT-wwm
1 介绍
英文题目:Pre-Training with Whole Word Masking for Chinese BERT
中文题目:中文 BERT 的全词掩码预训练
论文地址:https://arxiv.org/pdf/1906.08101.pdf
领域:自然语言处理
发表时间:2019
作者:Yiming Cui,社会计算和信息检索研究中心,哈工大,讯飞
出处:第二届“讯飞杯”中文机器阅读理解评测,CMRC 2018
被引量:255
代码和数据:https://github.com/ymcui/Chinese-BERT-wwm
阅读时间:2022.05.10
2 读后感
中文和英文不同,一般通过词而非字来表意,而分词也有难度,BERT
以字单位建模,这样损失了词义。文中将之前用于英文的全词 MASK
方法应用于中文,文中没什么公式,原理也简单,但对中文确实是一个重要的方法,该模型也被广泛使用。
3 介绍
BERT(2019) 利用
Transformer,未标注的数据,综合上下文信息,使模型达到很好效果,之后,BERT
的作者又提出升级版 WWM,它利用全词 MASK 进一步提 ...