自然语言处理概述(前沿、数据集、下游任务)

自然语言处理

First at all

 因为本人换系统 之前都在用oneNote,在ubuntu上部署不便,所以将一些常用的信息写成博客
  本文主要引用Ruder大神的 NLP-proress 做了一下翻译和提取

原文地址:传送门

1.前沿技术 State of the Art

  机器学习和自然语言处理(NLP)的研究近来发展如此之快,很难跟上。这对于该领域的人来说是一个问题,但对于想要进入NLP的人和那些寻求从教程到复制论文和进行自己研究的人来说,这是一个更大的障碍。如果没有专家指导和先验知识,确定最常见的数据集以及您感兴趣的任务的当前最新技术可能是一个艰苦的过程。
 以下是几个本人常用的看state of the art的网站和论文实现以及数据集的网站

  1. Association of Computation Linguistics(ACL)
  2. The Electronic Frontier Foundation
  3. LRE Map
  4. Semantic Evaluation (SemEval)
  5. Paper With Code

2.自然语言处理下游任务

2.1 任务列表

  1. 自动语音识别 ASR
  1. CCG 组合范畴语法
  2. Common sense
  3. 区域解析
  4. Coreference resolution
  5. 依赖解析
  6. 对话
  1. Domain Sentiment analysis
  1. 实体链接 EL Entity linking
  2. 语法纠错
  3. 信息抽取
  4. 语言建模
  5. 词汇规范
  6. 机器翻译
  7. 多任务学习
  8. 多模态
  9. 命名实体识别
  10. 自然语言推理
  11. 词性标注
  12. QA问答
  13. 关系预测
  14. 关系抽取
  15. 语义文本相似度
  16. 语义角色标记
  17. 情感分析
  18. Shallow syntax
  19. Simplification
  20. 姿态检测
  21. 概要
  22. 分类学习
  23. 时间处理
  24. 文本分类
  25. 词义消歧WSD
  26. 中文分词

2.2 个别任务前沿和数据集

  1. 自动语音识别 ASR
    state of the art

  2. 对话 dialog(chatbot)
    state of the art

  3. Domain Sentiment analysis
    Multi-Domain Sentiment Dataset

  4. Machine translation
      WMT 2014
      BPEmb

  5. 多任务学习 Multi-task learning
    decaNLP
    GLUE

  6. 命名实体识别(NER)
    CoNLL

  7. 关系提取
    dataset and state of art

 关系提取是从文本中提取语义关系的任务。提取的关系通常发生在某种类型的两个或多个实体(例如,人,组织,位置)之间,并且属于许多语义类别(例如,与之结合,被其雇用)

  1. QA & Reading comprehension 问答和阅读理解
    overview
  2. 情感分析
     IMDb dataset
    Stanford Sentiment Treebank (SST)
    SemEval

3 thanks for all

State-of-the-art result for all Machine Learning Problems

NLP-pregress

原文地址:https://blog.csdn.net/xuan100e/article/details/89544956

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


python方向·数据分析   ·自然语言处理nlp   案例:中文分词·社交网络分析      案例:人物关系分析·人工智能·深度学习·计算机视觉案例:行人检测·网络爬虫·量化交易          案例:多因子策略模型 
原文地址http://blog.sina.com.cn/s/blog_574a437f01019poo.html昨天实验室一位刚进组的同学发邮件来问我如何查找学术论文,这让我想起自己刚读研究生时茫然四顾的情形:看着学长们高谈阔论领域动态,却不知如何入门。经过研究生几年的耳濡目染,现在终于能自信地知道去哪儿了解最新科研
ptb数据集是语言模型学习中应用最广泛的数据集,常用该数据集训练RNN神经网络作为语言预测,tensorflow对于ptb数据集的读取也定义了自己的函数库用于读取,在python1.0定义了models文件用于导入ptb库函数,然而当python升级后,导入models文件时就会出现:ModuleNotFountError错误,这时需
 Newtonsoft.JsonNewtonsoft.Json是.Net平台操作Json的工具,他的介绍就不多说了,笔者最近在弄接口,需要操作Json。以某个云计算平台的Token为例,边操作边讲解。Json转为Model将Model转为Json将LINQ转为JSONLinq操作命名空间、类型、方法大全 Json转为Model 
NLP(NaturalLanguageProcessing)自然语言处理是人工智能的一个子领域,它是能够让人类与智能机器进行沟通交流的重要技术手段,同时也是人工智能中最为困难的问题之一。因此,NLP的研究处处充满魅力和挑战,也因此被称为人工智能“皇冠上的明珠”。目前各家主流深度学习框架,都开放了相应
做一个中文文本分类任务,首先要做的是文本的预处理,对文本进行分词和去停用词操作,来把字符串分割成词与词组合而成的字符串集合并去掉其中的一些非关键词汇(像是:的、地、得等)。再就是对预处理过后的文本进行特征提取。最后将提取到的特征送进分类器进行训练。一、什么是自然语言处
NLP(NaturalLanguageProcessing)自然语言处理是人工智能的一个子领域,它是能够让人类与智能机器进行沟通交流的重要技术手段,同时也是人工智能中最为困难的问题之一。因此,NLP的研究处处充满魅力和挑战,也因此被称为人工智能“皇冠上的明珠”。目前各家主流深度学习框架,都开放了相应
编者注:文中超链接如果不能访问可以点击“阅读原文”访问本文原页面;可以参考2018年5月21-24日伦敦Strata数据会议上的教学辅导课《使用spaCy和SparkNLP进行自然语言理解》。本系列博客的目地是通过使用两个领先的生产级语言处理库(JohnSnowLabs的ApacheSparkNLP和Explosion
NLP文本相似度相似度相似度度量:计算个体间相似程度相似度值越小,距离越大,相似度值越大,距离越小最常用--余弦相似度:​一个向量空间中两个向量夹角的余弦值作为衡量两个个体之间差异的大小余弦值接近1,夹角趋于0,表明两个向量越相似如果向量a和b不是二维而是n维​
0.原文NLP系列(6)_从NLP反作弊技术看马蜂窝注水事件-寒小阳-CSDN博客https://blog.csdn.net/han_xiaoyang/article/details/842057011.马蜂窝是否有大量抄袭点评1.1先用词袋模型快速筛选一批相似点评词袋子模型是一种非常经典的文本表示。顾名思义,它就是将字符串视为
地址:https://gitbook.cn/books/5c7888e1a19247277cb5c313/index.html深度学习优势总结:手工特征耗时耗力,还不易拓展自动特征学习快,方便拓展深度学习提供了一种通用的学习框架,可用来表示世界、视觉和语言学信息深度学习既可以无监督学习,也可以监督学习在DeepNLP
本文将分享发表在2018年的NAACL上,outstandingpaper。论文链接ELMo。该论文旨在提出一种新的词表征方法,并且超越以往的方法,例如word2vec、glove等。论文贡献点能捕捉到更复杂的语法、语义信息。能更好的结合上下文内容,对多义词做更好的表征。(以往的词表征方法,例如word2ve
时间:2016年1月。出处:http://blog.csdn.net/longxinchen_ml/article/details/50597149http://blog.csdn.net/han_xiaoyang/article/details/50616559声明:版权所有,转载请联系作者并注明出处##1.引言贝叶斯方法是一个历史悠久,有着坚实的理论基础的方法,同时处理很多问题时
NLP的工程化,不是一个个算法的累积,也不是一个个任务的独立优化,而应该是系统工程,综合考虑语言、计算、场景等多种因素,不断演进融合,寻求效果满意解的过程。根据赫伯特.西蒙(图灵奖和诺贝尔奖双料得主)的有限理性模型,受到所处环境的高度复杂性和有限的信息加工能力限制,因此NLP应用
继NLP之后,我又开了ML这个大坑。这是因为NLP涉及到太多的ML模型,仅仅拿过来用的话,我实现的HanLP已经快到个人极限了。而模型背后的原理、如何优化、如何并行化等问题,都需要寻根求源才能解决。所以我找了个书单自学,电子书为主,顺便分享出来。 ML书单│  李航.统计学习方法.
少玩ai,人工智能,nlp,tensorflow之类的玄学,多学学基础,三大浪漫,C++,搞开发,千万不要变成调参侠
 0.introductionGAN模型最早由IanGoodfellowetal于2014年提出,之后主要用于signalprocessing和naturaldocumentprocessing两方面,包含图片、视频、诗歌、一些简单对话的生成等。由于文字在高维空间上不连续的问题(即任取一个wordembedding向量不一定能找到其所对应的文字),GA
自然语言处理Firstatall 因为本人换系统之前都在用oneNote,在ubuntu上部署不便,所以将一些常用的信息写成博客 本文主要引用Ruder大神的NLP-proress做了一下翻译和提取原文地址:传送门1.前沿技术StateoftheArt 机器学习和自然语言处理(NLP)的研究近来发展
北风网-人工智能就业班培训链接:https://pan.baidu.com/s/128DJgMY9G-fjzRAxq1QO-w  提取码:ngwi课程体系阶段一、人工智能基础-高等数学必知必会本阶段主要从数据分析、概率论和线性代数及矩阵和凸优化这四大块讲解基础,旨在训练大家逻辑能力,分析能力。拥有良好的数学基础,有利