美滋滋的生活
深度文本匹配前沿进展survey2021 深度文本匹配前沿进展survey2021
1 深度文本匹配1.1 任务概述文本匹配是一项非常基础且重要的自然语言处理任务。 文本匹配大多是判断句对是否具有语义相似的关系,例如paraphrase检测,语义文本相似度、问答系统中的问题对匹配、信息检索(query和doc)。 另外,一
2021-06-09
实体链接survey 实体链接survey
1 实体链接1.1 任务定义实体链接,即 命名实体识别+命名实体歧义消除(到知识库)。 例子: 形式化定义: Entity Recognition (ER) and Entity Disambiguation (ED) 1.2 相关数
2021-04-21
实体对齐survey 实体对齐survey
1 实体对齐1.1 任务定义实体对齐(Entity alignment) ,也称为实体匹配(Entity Matching),就是找到两个知识图谱中相同的等价实体。0 实体对齐任务进行定义: 用 $G=(E,R,A,T_R,T_A)$表示
2021-04-21
预训练模型Fine-Tuning微调优化 预训练模型Fine-Tuning微调优化
1 Fine-Tuning预训练语言模型的微调,本质上是迁移学习的一种应用。 将先进的语言模型在大规模语料上进行预训练后,在下游任务上进行微调,使得预训练语言模型迁移并充分适应下游任务。 针对微调技巧本身 or 从不同角度对微调做优化 根
2021-03-11
对比学习 对比学习
对比学习核心思想 - 优化目标: 典型的比较函数: 研究的方面: 如何定义目标函数? 如何构建正负样本、比例等 相关工作Arxiv - 2018 - CPCRepresentation Learning with Contrast
2020-12-22
灾难性遗忘问题 灾难性遗忘问题
1 灾难性遗忘1.1 简介连续学习:根据任务A训练模型后,再根据任务B训练模型,此时对任务A进行测试,还可以维持其重要内容 人工神经网络的连续学习出现问题:由于当前的神经网络对于任务A的参数与任务B的参数基本无关,使得当任务B训练完成后,该
2020-11-03
深度文本匹配survey2020 深度文本匹配survey2020
1 深度文本匹配1.1 方法概述传统文本匹配方法 传统的文本匹配技术有BoW、VSM、TF-IDF、 BM25、Jaccord、SimHash等算法,如BM25算法通过网络字段对查询字段的覆盖程度来计算两者间的匹配得分,得分越高的网页与查询
2020-10-22
NLP中的对偶学习 NLP中的对偶学习
1 介绍1.1 2016-NIPS-Dual Learning for Machine Translation神经机器翻译(NMT)的训练需要数以千万计的双语句子对。为了解决此培训数据瓶颈,开发了一种双重学习机制,该机制可使NMT系统通过双
2020-07-07
预训练模型具体工作survey 预训练模型具体工作survey
1 预训练模型综述1.1 历史进展 第一代自然语言预训练模型:词向量模型I 典型代表:CBOW, Skip-gram, Glove, FasttextI 词向量表示是固定,不会随着上下文的改变而变化 第二代自然语言预训练模型:预训练语言
2020-05-23
文本生成特异性 文本生成特异性
[TOC] 1 问题背景文本生成的安全响应问题,例如在对话领域,容易生成无意义的安全回答,例如”我不知道“。 倾向于返回高频但毫无意义响应的原因,一部分在于以往的方法针对一对一关系进行建模,忽略了可能的一对多的关系。 目前的方法汇总: 找
2020-05-23
1 / 2