编者按：时隔一段时间杭州英文，雷锋网独家呈现的《深度学习零基础进阶》第四期又来了！ 经过前面三篇文章的研究和学习，相信大家对深度学习方法以及深度学习在不同领域的应用有了一定的了解。 雷锋网此次推荐的论文主要集中在自然语言处理层面。 相比之前枯燥的理论阶段，相信接下来的内容会让初学者更有针对性。 原文首先发布在 GitHub 上。 作者是松罗泰克。 文章标题为“深度学习论文阅读路线图”。 雷锋网对每篇论文都添加了补充介绍，未经许可不得转载。

开放文本的语义解析主要涉及推断相应的含义（含义表示，MR）以理解自然语言中的任意语句。 不幸的是一对一学英语，由于缺乏直接的监督数据网上外教，当前的大规模系统无法实现深度学习。 在《Joint Learning of Words and Meaning Representations for Open-Text Semantic Parsing》一文中，作者 Antoine Bordes 使用包含 70,000 多个单词的字典，可以映射 40,000 多个实体作为文本样本。 通过知识库的建立，从未在处理过的文本中进行语义理解和学习。 在多任务训练模式中，实体和MR可以处理来自不同来源的数据。 因此，系统最终可以将开放文本中的单词与其含义联系起来。

[1]~bordesan/dokuwiki/lib/exe/fetch.php?id=en%3Apubli&cache=cache&media=en:bordes12aistats.pdf

《Distributedrepresentationsofwordsandphrasesandthecompositionality》一文是Google Research 2013年的语言分析结果，主要介绍了单词和短语的分布及其组合性。 该团队推出了一种名为“Skip-gram”的语言处理模型，可以有效捕获大量精确的语法和语义关系。 他们在研究中提高了向量和训练的速度和质量，并提出了一种称为“负采样”的研究模型。 词语受排列顺序和使用习惯的影响，它们之间的关系不能轻易关联。 例如，在“加拿大”和“航空”之间，您可能不会立即想到“加拿大航空”。 在文章的最后零基础学英语方法，团队提出了一种简单的方法，可以在文本中查找短语并呈现它们南昌英语外教如何，这对于学习数百万短语之间的向量关系非常有益。

[2]

虽然深度神经网络（DNN）是机器学习领域的强大模型，但是如何利用神经网络来把握词序之间的联系呢？ 《利用神经网络进行序列到序列学习》给我们提供了很好的参考。 作者采用多层长短期记忆（LSTM）将输入序列映射到固定维度的向量，并使用另一个深度LSTM从向量中解码目标序列。 通过英法翻译任务测试，LSTM的BLEU得分达到了34.8，翻译长句没有任何困难。 作为比较，同一数据集上基于短语的得分达到 33.3。 当研究人员使用 LSTM 系统重新测试时，BLEU 分数达到了 36.5，接近最佳分数。 研究人员颠倒了所有源句子的顺序，以提高 LSTM 的性能。 这样，短语的依赖性就会减少，使优化过程变得更加容易。

[3]

这篇标题有点可爱的文章《Ask Me Anything: Dynamic Memory Networks for Natural Language Processing》主要介绍了自然语言处理的动态记忆网络（DMN）。 自然语言处理的大多数任务都可以转换为 QA 问题。 作为一种神经网络架构，DMN 可以处理输入问题外教补习班，形成情景记忆并生成相关答案。 问题会触发迭代过程，使模型能够引用先前迭代的输入和结果。 然后在分层循环序列模型中推断这些结果以产生答案。 DMN 支持端到端训练，可以在多种类型的任务和数据集上获得最优结果：问答（Facebook 的 bAbl 数据集）、情感分析文本分类（Stanford Sentiment Treebank）以及基于语音注释的序列建模（WSJ-PTB） ）。 这三种基于不同任务的训练主要依靠训练好的词向量从零开始深度学习第四次更新！ ｜分享有用的信息，按照“输入-问题-答案”三部分流程进行。

[4]

2015年发布的《字符感知神经语言模型》主要从字符角度进行研究。 到目前为止所做的预测仍然基于单词级别。 该模型主要建立了卷积神经网络和基于词性的高速网络惠州外教，其输出基于LSTM和递归神经网络模型。 这项研究基于英国宾夕法尼亚大学数据库。 该模型使用的参数比当前最先进的技术少 60%，但该模型使用多种语言（阿拉伯语、捷克语、法语、德语、西班牙语、俄语）。 当使用较少参数时，效果优于词级/词素级 LSTM 基线。 结果表明，目前基于多语言的字符输入能够满足语言建模的需要。 通过分析字符青岛外教，进而判断词义，这个过程揭示了该模型只需要依靠字符就可以实现语义编码和规范化。 提交信息。

[5]

如果你对 bAbI 任务感兴趣，不妨阅读《迈向 AI-完整问答：一组先决玩具任务》。 机器学习研究的一个长期目标是建立适合推理和自然语言的方法儿童英语学英语幼儿，特别是在智能对话机制领域。 为了实现这一目标，通过评估团队阅读理解能力的问题在线少儿英语，对一组任务的有用性进行了测试。 主要考察点是：系统能否通过事实匹配、简单归纳、推理等步骤回答问题。 任务设计的标准主要集中在是否能够与人类进行交流。 因此零基础学英语方法，团队将这些任务按照技能进行了分类，以便研究人员可以判断系统是否真正掌握了这方面，并进行相应的优化。 该团队还对引入的内存网络模型进行了扩展和改进，结果表明它可以解决一些问题（不是所有问题）。

[6]

《教机器阅读和理解》 事实上，教机器阅读自然语言文档还是有点挑战的。 雷锋网此前也报道过不少相关研究成果。 机读系统可以测试机器阅读文档后回答问题的能力。 在本文中英文如何，该团队开发了一个神经网络来教机器阅读日常文档并使用最简单的语言结构回答复杂的问题。 这个测试实际上有点像 CNN 和 Dailymail 上的填空题。 然而，迄今为止该系统仍缺乏大规模的训练和测试数据集。 如果有时间零基础学英语方法，可以稍微阅读一下这篇论文，但不强烈推荐。

[7]

如果你想了解最先进的文本分类方法小学外教，那么你一定不能错过《用于自然语言处理的非常深的卷积网络》。 大多数NLP的主要实现方法是基于循环神经网络南京英语，以LSTM和卷积神经网络为代表。 然而，与深度卷积神经网络相比英文费用，这些架构显得苍白无力。 在这篇文章中，团队提出了一种新的文本处理架构，可以直接在字符级别操作外教托福，并且只需要小的卷积和池化操作。 研究表明北京外教外教，当达到 29 个卷积层时学校英语，该模型的性能可以在公共文本分类任务中实现出色的改进。 此外网课英文，这也是首次将非常深的卷积网络应用于NLP层面。

[8]

上一篇文章提到了一种高级文本分类方法，但相对而言，《Bag of Tricks for Efficient Text Classification》中提到的方法速度更快。 文章讨论了一种简单有效的文本分类器fastText，并与深度学习分类器进行了比较和评估其准确性。 结果表明外教网上，fastText在标准多核CPU上可以实现10分钟以上10亿个单词的训练广州英文，还可以在1分钟内对50万个句子进行分类。

[9]

以上是自然语言处理领域的一些必读研究论文。 有兴趣的朋友可以看看！

【招聘】雷锋网坚持第一时间提供人工智能、无人驾驶、VR/AR、金融科技、未来医疗等领域的海外技术动态和信息。 我们需要一批关注国际新闻、有一定科技新闻选题能力、具有优秀翻译和写作能力的外部编辑。 工作地点：深圳。 投简历至. 兼职和实习职位均可提供。

相关文章：

深度学习零基础进阶第 3 步 | 分享有用的信息

分享有用的信息 | 深度学习零基础进阶版2

分享有用的信息 | 如何从头开始推进深度学习！