论文阅读_中文NLP精减模型ELECTRA
介绍:ELECTRA 由 Manning
联合谷歌发布,后来哈工大讯飞联合实验室训练了相应的中文模型。精减后的模型效果和
BERT 差不太多,而模型大小只有 BERT 的 1/10,ELECTRA-small 只有
46M。
代码&模型下载&详细说明:https://github.com/ymcui/Chinese-ELECTRA
使用:LTP 使用它为基础模型。
原理:使用生成对抗网络训练自然语言模型,时间短,参数少。模型分为两部分:生成器和判别器,生成实现
MLM,判别器用于识别每一个单词是否为模型生成。
效果:以中文阅读理解为例,其效果对比如下,其它实验详见 github
Pasted image
20220620181324.png
论文阅读_BEVSegFormer
介绍
英文题目:BEVSegFormer: Bird’s Eye View Semantic Segmentation From
Arbitrary Camera Rigs
中文题目:BEVSegFormer: 基于任意相机的鸟瞰图语义分割
论文地址:https://arxiv.org/abs/2203.04050
领域:机器视觉,自动驾驶
发表时间:2022 年 3 月
作者:来自上海的自动驾驶创业公司 Nullmax
阅读时间:2022.05.28
其它相关网文:https://blog.csdn.net/Yong_Qi2015/article/details/124311369
介绍
之前从摄像机视图转成 BEV 的方法多以 IPM
为主,该方法需要知道摄像机的内外参数以及位置信息。在有遮挡及距离比较远的情况下,都无法达到很好的效果。近年来更多应用了深度学习方法。
优点
不需要摄像机的参数
有效聚合多摄像头数据
优化了图像分割效果
核心算法
(论文正文第 3 页)
三个步骤:
从一个共享 Backbone 处理各摄像机,输出 Feature map。
基于 Transfor ...
论文阅读_一对多的手术名称规范化
介绍
英文题目:A Knowledge-driven Generative Model for Multi-implication
Chinese Medical Procedure Entity Normalization
中文题目:知识驱动的多含义中文医疗实体规范化生成模型
论文地址:https://www.aclweb.org/anthology/2020.emnlp-main.116.pdf
领域:自然语言处理,实体规范化,医疗
发表时间:2020
作者:Jinghui Yan 等,北京交通大学,中国科学院,繁宇科技有限公司
出处:EMNLP
被引量:4
阅读时间:22.06.04
针对问题:中文 ICD9 手术名称的规范化
结果:支持手术名称一对多规范化
核心方法:使用生成模型;利用知识约束;用子类数据精调模型
读后感
如果单纯依赖数据和模型,极可能产生一些完全不靠谱的匹配,文本规范化优化方法,多是针对这一问题的改进,比如代入知识。论文使用生成模型解决文本规范化问题,想法比较有意思,另外,使用约束的方式把知识代入了深度学习模型。
介绍
命名实体规范化(Named entity ...
论文阅读_图神经网络GIN
介绍
英文题目:How Powerful are Graph Neural Networks?
中文题目:图神经网络有多强大?
论文地址:https://arxiv.org/pdf/1810.00826.pdf
领域:图神经网络,知识表示
发表时间:2018
作者:Keyulu Xu 等,MIT,斯坦福大学
出处:ICLR
被引量:1506
阅读时间:22.06.11
读后感
这也是一篇引用量很大的图神经网络精典论文。之前研究方法着重于表示节点,引文着眼于表征图的结构。作者认为之前方法难以区分不同的图结构,并提出了一种基于
GNN 的方法 GIN,它的区分效果与 WL-Test 效果相当。
介绍
一般情况下一个节点的表式通过聚合它 k
跳之内的邻近节点计算,而全图的表示则通过对所有节点的池化计算。
近年来新型 GNN
的设计主要基于经验直觉、启发式和实验试错法,而对神经网络的性质和局限性的理论较少。文中提出理论框架来分析
GNN 的能力,这里主要是评价模型是否能够区分网络结构。
文中使用了 WL-test
方法,即图同构测试,它是一个区分网络结构的强效方法,也是通过迭代聚合邻居的方法来 ...
论文阅读_BEVFormer
介绍
英文题目:BEVFormer: Learning Bird's-Eye-View Representation from
Multi-Camera Images via Spatiotemporal Transformers
中文题目:BEVFormer: 通过时空 Transformers
从多摄像头图像学习鸟瞰图表示
论文地址:https://arxiv.org/pdf/2203.17270v1.pdf
领域:机器视觉,自动驾驶
发表时间:2022 年 3 月
作者:Zhiqi Li 等
出处:南京大学,上海人工智能实验室,香港大学
代码和数据:https://github.com/zhiqi-li/BEVFormer
阅读时间:2022.05.22
读后感
文中方法和特斯拉视频(特斯拉2021人工智能日AI
Day完整视频)架构相似。比较有意思的地方是在BEV
层面结合了时间和空间信息。
介绍
在 3D
感知领域,雷达已取得了很好效果,机器视觉近几年也受到关注,除了成本低,相对雷达,它还能感知远距离物体,以及识别道路标识。
BEV
鸟瞰图从多个摄像头信息计算表征,用于描述周 ...
论文阅读_中文生物医学语言理解评价CBLUE
介绍
英文题目:CBLUE: A Chinese Biomedical Language Understanding
Evaluation
中文题目:CBLUE:中文生物医学语言理解评价基准
论文地址:https://arxiv.org/pdf/2106.08087.pdf
领域:自然语言处理,知识图谱
发表时间:2021 年
作者:Ningyu
Zhang,医渡云、平安医疗科技、阿里夸克、鹏城实验室、北京大学、哈尔滨工业大学
(深圳)、同济大学、郑州大学等共同协办
出处:ACL(自然语言处理顶级会议)
被引量:3
数据:https://tianchi.aliyun.com/dataset/dataDetail?dataId=95414
(需要提交申请)
代码:https://github.com/CBLUEbenchmark/CBLUE
阅读时间:2022.05.09
读后感
训练和评测数据非常全面,还可以在天池打榜。
介绍
之前生物医学方面数据以英文为主,本文收集了真实世界的生物医学数据,提出了第一个中文生物医学语言理解评估标准
CBLUE。其内容覆盖命名实体识别,知识抽取,诊断标 ...
论文阅读_多类型实体的图对齐_CGMuAlign
读后感
文中的一个重要思想是:认为被对齐的图中的知识都是不完备的,所以在图间对齐时,主要对齐对些能齐上的,忽略那些对不上的;同时结构了自注意力模型,对不同关系分配不同权重。
多类型实体的图对齐
_CGMuAlign
英文题目:Collective Multi-type Entity Alignment Between Knowledge
Graphs
中文题目:基于知识图的集合多类型实体对齐
论文地址:https://assets.amazon.science/ff/7a/b96282984a0fbe5e31a8fcf68d17/scipub-1202.pdf
领域:知识图谱,实体对齐
发表时间:2020 年
作者:Qi Zhu,伊利诺伊大学,亚马逊
出处:the web conference
被引量:17
代码和数据:https://github.com/GentleZhu/CG-MuAlign
阅读时间:2022.04.25
介绍
实体对齐的目标是识别不同图中的同一实体。不同的图在建构的时候由于目标不同,各有偏重。比如图
-1 中的左右两张图:
Pasted image
202 ...
实战_用TFIDF算法对比相似度
实战 _ 用 TF/IDF
算法对比相似度
原理
TF/IDF 方法于 1983
年题出,它先计算每个单词出现的频率,然后适当归一化。利用 TF-IDF
方法将任意长度的文档缩减为固定长度的数字列表,然后对比文本相似度,gensim
工具包提供该方法。
简单复习一下具体算法:
词频 TF
\[
tf_{i,j}=\frac{n_{i,j}}{\sum_kn_{k,j}}
\]
其中 n 是句中词,i 是词的索引号,j 是文章索引号,k
是文章中所有词,上式计算的是词 i
在本篇出现的比率。请注意:在短文本的情况下,绝大多数词只出现一次,tf
就只和文章长短有关了。
逆向文档频率 IDF
\[
idf_{i}=log \frac{|D|}{|j:t_i\in d_j|}
\]
其中分母是文章总数,分子是包含词 i 的文章数。
TF/IDF
\[
tfidf_{i,j}=tf_{i,j} \times idf_{i}
\]
tfidf
值反映的是每个词在文档中的重要程度。请注意:这是一种基于计数的方法,不直接使用词义。
该算法的优点在于算法简单,计算量小;而缺点在于无法处理对同一概念的不同 ...
论文阅读_BERT-wwm
1 介绍
英文题目:Pre-Training with Whole Word Masking for Chinese BERT
中文题目:中文 BERT 的全词掩码预训练
论文地址:https://arxiv.org/pdf/1906.08101.pdf
领域:自然语言处理
发表时间:2019
作者:Yiming Cui,社会计算和信息检索研究中心,哈工大,讯飞
出处:第二届“讯飞杯”中文机器阅读理解评测,CMRC 2018
被引量:255
代码和数据:https://github.com/ymcui/Chinese-BERT-wwm
阅读时间:2022.05.10
2 读后感
中文和英文不同,一般通过词而非字来表意,而分词也有难度,BERT
以字单位建模,这样损失了词义。文中将之前用于英文的全词 MASK
方法应用于中文,文中没什么公式,原理也简单,但对中文确实是一个重要的方法,该模型也被广泛使用。
3 介绍
BERT(2019) 利用
Transformer,未标注的数据,综合上下文信息,使模型达到很好效果,之后,BERT
的作者又提出升级版 WWM,它利用全词 MASK 进一步提 ...
论文阅读_中文医学预测训练模型_MC-BERT
论文阅读 _
中文医学预训练模型 _MC-BERT
介绍
英文题目:Conceptualized Representation Learning for Chinese
Biomedical Text Mining
中文题目:中文生物医学文本挖掘中的概念化表征学习
论文地址:https://arxiv.org/pdf/2008.10813.pdf
领域:自然语言处理,知识抽取
发表时间:2020
作者:Ningyu Zhang,阿里巴巴
被引量:14
代码和数据:https://github.com/alibaba-research/ChineseBLUE
模型下载:https://drive.google.com/open?id=1ccXRvaeox5XCNP_aSk_ttLBY695Erlok
阅读时间:2022.05.07
我的收获
获得了现成可用的医学 BERT 模型,以及大量带标注的数据集。
针对问题
医疗数据集与普通数据集分布不同,医疗词汇的长尾分布也很难从普通语料中学习,中文的词和短语更复杂一些。需要训练一个类似
BERT 的针对医疗的中文预训练模型。
本文贡献
提出了 ...