深度学习必备手册

By admin in 科技中心 on 2019年10月5日

科学作者的工作,包括阅读充满专业技术术语的期刊论文,并弄清楚如何用没有科学背景的读者可以理解的语言解释他们的内容。

摘要:深度学习作为人工智能的前沿技术,虽然一方面推动者人工智能的发展;但是人类的终极目标四强人工智能。最近也有一些关于类似于笔者认为的广度学习的出现,但是宗其所属,还是应该在深度学习发展的历史上前进。

现在,麻省理工学院和其他地方的一个科学家团队开发了一种神经网络,一种人工智能,它可以做很多相同的事情,至少在有限的范围内:它可以阅读科学论文,并在一两句话中给出简单的英文摘要。

图片 1

图片 2

深度学习的概念源于人工神经网络的研究,如果追溯深度学习的概念还是要回到2006年Hinton那篇论文,基于深信度网提出非监督贪心逐层训练算法,未解决深层结构相关的优化难题出现的论文。

即使在这种有限的形式中,这样的神经网络也可以用来帮助编辑,作家和科学家扫描大量的论文,以初步了解他们的内容。但是团队开发的方法除了语言处理之外还可以在各种其他领域找到应用,包括机器翻译和语音识别。

其实,对于我们人类而言,很多事情都是经过大脑的深层处理模式的解决的,笔者认为,在未来广度学习一定是深度学习的一个沿伸,为什么?因为人类最显著的特征并不是深度学习,而是广度学习。所谓的广度学习是建立在一系列深度学习的基础上的,广度学习通俗的说法既是联想能力。

麻省理工学院的研究生鲁曼·丹戈夫斯基和李静在《计算语言学协会学报》上发表的一篇论文中描述了这项工作。

联想能力对于人类来说是非常重要的能力,一个领域的解决方法扩展到另外一个领域这种思维方式,在我们人类来说是非常普遍的。但是,对于技术来说,这些能力还需要很长的路来走,起码一点,就是深度学习必须达到非常高的程度。因为之后这样深度学习才能真正的应用于强人工智能,强人工智能要求的就是人工智能具有联想能力,一旦强人工智能具备了强人工智能的基础,那么强人工智能一定会从梦想成为现实。

从物理学的AI到自然语言

深度学习框架篇:

图片 3

1.机器学习的敲门砖:手把手教你TensorFlow初级入门

这项工作是由于一个不相关的项目而产生的,该项目涉及开发基于神经网络的新的人工智能方法,旨在解决物理学中的某些棘手问题。然而,研究人员很快意识到,同样的方法可以用于解决其他困难的计算问题,包括自然语言处理,其方式可能超过现有的神经网络系统。

摘要:在开始使用机器学习算法之前,我们应该首先熟悉如何使用它们。而本文就是通过对TensorFlow的一些基本特点的介绍,让你了解它是机器学习类库中的一个不错的选择。

“我们已经在AI工作了几年,”Soljačić说。“我们使用人工智能来帮助我们的研究,主要是为了更好地完成物理学。当我们对AI更加熟悉时,我们会注意到每隔一段时间就有机会增加AI领域,因为我们从物理学中知道某些东西

某种数学结构或物理学中的某种定律。我们注意到,嘿,如果我们使用它,它实际上可以帮助这个或那个特定的AI算法。“

他说,这种方法可用于各种特定类型的任务,但不是全部。“我们不能说这对所有AI都有用,但有些情况下我们可以利用物理学的洞察来改进给定的AI算法。”

一般来说,神经网络试图模仿人类学习某些新事物的方式:计算机检查许多不同的例子,“学习”关键的潜在模式是什么。这种系统广泛用于模式识别,例如学习识别照片中描绘的对象。

图片 4

但是神经网络通常难以将来自长串数据的信息关联起来,例如在解释研究论文时所需要的。研究人员表示,已经使用各种技巧来改善这种能力,包括称为长短时记忆和门控递归单元的技术,但这些技术仍然远远不能满足真正的自然语言处理所需。

该团队提出了一种替代系统,它不是基于矩阵的算法,而是像大多数传统神经网络一样,是基于在多维空间中旋转的矢量。关键概念是他们称之为旋转记忆单位。

本质上,系统通过多维空间中的向量表示文本中的每个单词 –
指向特定方向的特定长度的行。每个后续单词在某个方向上摆动该向量,在理论空间中表示,最终可以有数千个维度。在该过程结束时,最终的向量或向量集被转换回其对应的字符串。

“RUM帮助神经网络很好地完成两件事,”Nakov说。“这有助于他们更好地记住,并使他们能够更准确地回忆信息。”

在开发RUM系统以帮助处理某些棘手的物理问题(例如复杂工程材料中的光行为)之后,“我们意识到我们认为这种方法可能有用的地方之一就是自然语言处理,”Soljačić回忆说与Tatalović的对话,他指出,这样一个工具对于他作为一名编辑试图决定撰写哪些论文的工作很有用。Tatalović当时正在探索科学新闻中的人工智能作为他的骑士团契项目。

“所以我们尝试了一些自然语言处理任务,”Soljačić说。“我们尝试的一个是总结文章,这看起来效果很好。”

证据在于阅读

图片 5

例如,他们通过传统的基于LSTM的神经网络和基于RUM的系统提供相同的研究论文。得出的摘要有很大不同。

LSTM系统得出了这个高度重复且相当技术性的总结:“Baylisascariasis”杀死老鼠,危及阿勒格尼森林,并导致失明或严重后果等疾病。这种被称为“baylisascariasis”的感染导致老鼠死亡,危及阿勒格尼森林,并导致失明或严重后果等疾病。这种被称为“baylisascariasis”的感染杀死了老鼠,已经威胁到了阿勒格尼森林。

基于同一篇论文,RUM系统产生了一个更具可读性的摘要,并且不包括不必要的重复短语:城市浣熊可能比以前假设的更多地感染人。7%的受访个体检测出浣熊蛔虫抗体阳性。圣巴巴拉90%以上的浣熊都是这种寄生虫的寄主。

图片 6

​基于RUM的系统已经扩展,因此它可以“阅读”整篇研究论文,而不仅仅是摘要,以产生其内容的摘要。研究人员甚至尝试在他们自己的研究论文中使用该系统描述这些发现

  • 这篇新闻报道试图总结的论文。

以下是新神经网络的总结:研究人员在RUM的旋转单元上开发了一种新的表示过程,RUM是一种可用于解决自然语言处理中广泛神经革命的循环记忆。

这项研究得到了陆军研究办公室、国家科学基金会、麻省理工学院-
sensetime人工智能联盟和半导体研究公司的支持。该团队还得到了《科学日报》网站的帮助,该网站上的文章被用于训练本研究中的一些人工智能模型。

2.Windows下如何配置TensorFlow?这有个简单明了的教程

摘要:本文简单介绍如何在windows系统下配置TensorFlow并能使用GPU进行加速运算的过程,文章通俗易懂,更新及时。

3.实践指南!16位资深行业者教你如何学习使用TensorFlow

摘要:本文整理quora论坛的主题——如何开始学习TensorFlow,16位资深行业者给出了相关的建议以及对应的学习资料链接。读者可以根据自身情况参考合适的建议,是一份不可多得的学习TensorFlow的指南。

4.一步步带你探究如何高效使用TensorFlow

摘要:正在学习TensorFlow,利用效率不够高?不懂TensorFlow里面的奥秘?看大神如何一步步教你如何高效使用TensorFlow!

5.IOS平台TensorFlow实践:逻辑斯蒂回归

摘要:本文是《从零到一:IOS平台TensorFlow入门及应用》系列一,先介绍了逻辑斯蒂回归分类器和TensorFlow的相关知识,然后介绍了在IOS平台如何使用TensorFlow训练分类器,并附上源码。

6.IOS平台TensorFlow实践:实际应用教程

摘要:本文是《从零到一:IOS平台TensorFlow入门及应用》系列二,介绍IOS平台TensorFlow的安装,以及将系列一中开发的模型在IOS
app上的实际应用

7.一步一步带你用TensorFlow玩转LSTM

摘要:LSTM在解决很多实际问题上效果非常好,通过本文你可以了解到在TensorFlow中,如何实现基本的LSTM网络。

8.动手实验- TensorFlow和TensorBoard自然语言分析

摘要:动手实践是学习任何知识的有效途径之一。本文作者通过一个实际的例子让我们大家动手来用TensorFlow和TensorBoard两个强大的Python工具进行自然语言分析的应用。

9.一次神经网络的探索之旅-基于Tensorflow的路标识别

摘要:是否觉得理论的神经网络有点抽象呢?是否想知道神经网络具体是怎么应用呢?本文将一步一步引领你完成一个基于TensorFlow的交通路标识别项目。还等什么呢,快来看看吧。

10.TensorFlow的杀虫利器LibFuzzer

摘要:作者从自己的过往经历带领读者了解模糊测试在软件漏洞检测中的作用,并具体到最近火热的TensorFlow中的实际运用。给希望从事机器学习程序开发的人们,在相关的软件测试领域起到了很好的抛砖引玉的作用。

11.卷积神经网络应用:基于Tensorflow的CNN/CRF图像分割技术

摘要:本篇文章验证了卷积神经网络应用于图像分割领域时存在的一个问题——粗糙的分割结果。根据像素间交叉熵损失的定义,我们在简化的场景下进行了模型的训练,并使用后向传播来更新权重。我们使用条件随机场来解决分割结果粗糙的问题,并取得了很好的效果。本文中的代码注释详细、功能完善,也便于读者阅读。

12.手把手教你使用TensorFlow生成对抗样本|附源码

摘要:本文使用TensorFlow一步一步生成对抗样本,步骤明确清晰。首先生成的对抗样本不具有旋转鲁棒性,后面使用同样的方法生成具有鲁棒性的对抗样本,适合初学者对生成对抗样本的入门及动手实验。

13.用TensorFlow和TensorBoard从零开始构建ConvNet

摘要:Tensorflow作为当下最流行的深度学习框架,实现ConvNet自然是轻而易举,但是本文创造性的使用的TensorBoard来图形化展示CNN实现过程,极大的提高了研究者的对自己模型的管理能力。

14.一步一步学用Tensorflow构建卷积神经网络

摘要:本文主要和大家分享如何使用Tensorflow从头开始构建和训练卷积神经网络。这样就可以将这个知识作为一个构建块来创造有趣的深度学习应用程序了。

15.如何用Tensorflow实现RNN?本文将带你进一步研究

摘要:本文详细介绍了如何用Tensorflow实现RNN,有针对性地介绍了构建个性化的RNN时需要用什么。

16.看深度学习框架排名第一的TensorFlow如何进行时序预测——第一篇

摘要:2017年深度学习框架关注度排名tensorflow以绝对的优势占领榜首,本文通过一个小例子介绍了TensorFlow在时序预测上的应用。

17.如何使用最流行框架Tensorflow进行时间序列分析——第二篇

摘要:2017年深度学习框架关注度排名tensorflow以绝对的优势占领榜首,本文通过使用tensorflow优化过去一个使用特征提取方法的框架,证实了深度学习的优秀性能。

18.TensorFlow中的那些高级API

摘要:在这篇文章中,我们将看到一个使用了最新高级构件的例子,包括Estimator、Experiment和Dataset。值得注意的是,你可以独立地使用Experiment和Dataset。不妨进来看看作者是如何玩转这些高级API的。

19.PyTorch vs TensorFlow,哪个更适合你

摘要:本文将探讨PyTorch和TensorFlow这两种流行深度学习框架之间的关键相似点和不同点。为什么选择这两个框架,而不是其他的呢?

20.强大的PyTorch:10分钟让你了解深度学习领域新流行的框架

摘要:今年一月份开源的PyTorch,因为它强大的功能,它现在已经成为深度学习领域新流行框架,它的强大源于它内部有很多内置的库。本文就着重介绍了其中几种有特色的库,它们能够帮你在深度学习领域更上一层楼。

21.深度学习有很长的一段路要走!Keras作者谈机器学习的局限性

摘要:迄今为止,深度学习唯一真正的成功之处,是在给出了大量的人为标注数据之后,使用连续的几何变换将空间X映射到空间Y。做好这一切,是每个行业游戏制定者必备的能力,但对于人类级别的AI,仍然有很长的路要走。

22.用“Keras”11行代码构建CNN

摘要:还在苦恼如何写自己的CNN网络?看大神如何使用keras11行代码构建CNN网络,有源码提供。

23.解读Keras在ImageNet中的应用:详解5种主要的图像识别模型

摘要:自从2012年以来,CNN和其它深度学习技术就已经占据了图像识别的主流地位。本文以Keras为例,介绍了5种主要的图像识别模型,并通过实际案例进行详细介绍。

24.私人定制——使用深度学习Keras和TensorFlow打造一款音乐推荐系统

摘要:还在为虾米音乐等APP的精准推送感到惊奇嘛?快来瞅瞅,自己也可以私人定制一个音乐推荐系统啦。本文利用深度学习打造一个音乐推荐系统,处理起来不是很复杂,主要是先收集音乐制作成一个音乐库,然后对音乐进行处理转换成相关的频谱图,不同类型的音乐对应不同的频谱图,之后利用这些频谱图训练搭建的卷积神经网络模型,以此实现后续的音乐推荐。

RNN篇:

1.深度学习界冉冉升起的新星——循环神经网络

摘要:随着深度学习的流行,循环神经网络也随之受到了业内人士的广泛关注。目前该技术已经在自然语言处理中取得了巨大的成功,想了解么?快来看看吧。

2.简单入门循环神经网络RNN:时间序列数据的首选神经网络

摘要:本文简单介绍循环神经网络RNN的发展过程,分析了梯度下降算法、反向传播及LSTM过程。

3.深度学习零基础?没关系——面向艺术家的RNN教程

摘要:本文适用于没有任何机器学习背景的读者,目标是向艺术家和设计师展示如何使用一个预训练的神经网络并使用简单的Javascript和p5.js库生成交互式的数字作品。教程简单详细,没有任何的公式与推导。

4.通过SketchRNN、PCA和t-SNE从Google
QuickDraw数据集中显示矢量图的潜在空间|附源码

摘要:本文通过SketchRNN、PCA以及t-SNE这三种方式可视化并分析了谷歌QuickDraw涂鸦数据集的潜层空间,可以从可视化图中找到涂鸦的一些规律,并提炼出语义及更抽象的概念。

5.如何用Tensorflow实现RNN?本文将带你进一步研究

摘要:本文详细介绍了如何用Tensorflow实现RNN,有针对性地介绍了构建个性化的RNN时需要用什么。

6.看大牛如何复盘递归神经网络!

摘要:复盘递归神经网络,通过复盘,反思,让递归神经网络更完美!

CNN篇:

1.Top100论文导读:深入理解卷积神经网络CNN

摘要:作者从目前热门的top
100优秀深度学习论文中选取一组论文为大家进行纯干货总结,该组包含8篇经典论文,主要讲解卷积神经网络CNN的经典结构以及针对不同任务进行的结构上的改进。由浅入深的讲解,适合入门了解卷积神经网络的整体网络结构及发展过程——向着更深、复杂度更低的方向发展。

2.Top100论文导读:深入理解卷积神经网络CNN

摘要:作者从目前热门的top
100优秀深度学习论文中选取一组论文为大家进行纯干货总结,该组包含8篇经典论文,主要讲解卷积神经网络CNN的经典结构以及针对不同任务进行的结构上的改进。由浅入深的讲解,适合入门了解卷积神经网络的整体网络结构及发展过程——向着更深、复杂度更低的方向发展。

3.深度学习的效果为何如此惊人?看看全息理论怎么说

摘要:大家一定不会对近几年来日益热门的深度学习技术感到陌生。但是大家有没有想过,构成深度学习基础的深层卷积网络并不复杂,为什么这样的结构解决实际问题时能够取得如此神奇的效果?或许,我们可以从全息理论中找到答案。

4.卷积神经网络实战——使用keras识别猫咪

摘要:在近些年,深度学习领域的卷积神经网络(CNNs或ConvNets)在各行各业为我们解决了大量的实际问题。但是对于大多数人来说,CNN仿佛戴上了神秘的面纱。我经常会想,要是能将神经网络的过程分解,看一看每一个步骤是什么样的结果该有多好!这也就是这篇博客存在的意义。

5.基于图卷积网络的图深度学习

摘要:处理图结构数据的佼佼者!

6.用“Keras”11行代码构建CNN

摘要:还在苦恼如何写自己的CNN网络?看大神如何使用keras11行代码构建CNN网络,有源码提供。

7.一步一步学用Tensorflow构建卷积神经网络

摘要:本文主要和大家分享如何使用Tensorflow从头开始构建和训练卷积神经网络。这样就可以将这个知识作为一个构建块来创造有趣的深度学习应用程序了。

8.想改进你的卷积神经网络?看看这14种设计模式!

摘要:这14种原创设计模式可以帮助没有经验的研究者去尝试将深度学习与新应用结合,对于那些没有机器学习博士学位的人来说是一个很好的起点。

9.论文导读:面向卷积神经网络的卷积核冗余消除策略

摘要:本篇论文针对卷积神经网络在训练阶段所需的大量存储与计算资源,提出了一种改进的冗余卷积核消除策略,精简每个卷积层中冗余的卷积核,进而降低模型训练开销,使模型训练过程从云端转移至本地成为可能。

10.能帮你更好理解分析深度卷积神经网络,今天要解读的是一款新型可视化工具——CNNVis,看完就能用!

摘要:深度卷积神经网络在许多模式识别任务中取得了很大的性能突破,然而高质量深度模型的发展依赖于大量的尝试,这是由于没有很好的理解深度模型是怎么工作的,在本文中,提出了一个可视化分析系统CNNVis,帮助机器学习专家更好的理解、分析、设计深度卷积神经网络。

NLP篇:

1.一篇很好的参考文章:深度学习算法在自然语言处理中的一些心得

摘要:对于初涉深度学习的初学者,本文作者根据自己的学习经验,分享了自己的学习笔记,是一份很好的关于深度学习的学习参考。

2.深度学习和自然语言处理:诠释词向量的魅力

摘要:本次的主题是“word2vec”,主要是总结了Google公司的Mikolov等人关于词向量的工作(以及你可以用它做什么)。

3.哪种词向量模型更胜一筹?Word2Vec,WordRank or FastText?

摘要:本文在不同语料库下分析了FastText,Word2Vec和WordRank三种词嵌入模型的性能,发现没有单独的一种模型能够用于不同类型NLP任务。

4.国王-男人+女人=皇后,背后的词向量工作原理

摘要:本文对著名的词向量公式king-man+woman=queen背后的原理进行了解释。通过文章我们可以一窥词向量算法在机器学习领域中对拼音文字语言处理上的出色结果。

5.百度Deep Voice详解分析:快速理解语音合成流程

摘要:本文介绍一篇关于Deep Voice的论文,Deep
Voice是应用深度学习将文本转换语音的系统,详细分析了论文的创新点及其文本转语音的具体过程,对每一步骤的输入与输出解释得很清楚,相信对Deep
Voice入门了解会有所帮助。

6.零基础进行神经网络语言建模

摘要:本文从最简单的语言模型开始介绍,以优化模型性能为目标,由浅到深的介绍了神经网络模型在语言模型中的应用。

7.2017年ACL的四个NLP深度学习趋势:语言结构和词汇嵌入(Linguistic
Structure and Word Embeddings)

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图
Copyright @ 2010-2019 澳门金沙总站 版权所有