第 11 章 机器学习论文
11.1 如何高效读论文？
来源：量子位
第一遍：快速预览，把握概要。
拿到一篇新论文，第一遍阅读要花多长时间？5-10分钟足以。
不是每一篇论文都干货满满，所以初次见面，先打个印象分，再决定是否继续，是更为高效的方法。
具体操作如下：
1、仔细阅读标题、摘要和简介。
2、先忽略内容，读一读文章中的每个小标题。
3、如果有数学内容，先大致浏览，确定其理论基础。
4、读结论。
5、浏览参考文献，如果有你已经读过的，把它们勾选出来。
如此读完第一遍，你需要问问自己以下几个问题：
1、分类：这是什么类型的论文？
2、背景：与哪些其他论文相关？基于何种理论基础来分析问题？
3、正确性：论文的假设看起来正确吗？
4、贡献：论文的主要贡献是什么？
5、清晰度：这篇论文写得好吗？
当你心中有了这些答案，你也就知道自己该不该真正精读这篇论文了。
P.S. 这里也涉及到撰写论文的一个小技巧：结构尽量清晰，要点尽量突出，让审稿人第一遍就能get到。
第二遍：抓住重点，暂略细节
当你判定一篇论文值得一读，就可以把它加入第二遍阅读的队列。
第二遍阅读，就要好好看看论文内容了，投入的时间大概在1个小时左右。
不过，不要纠结于没见过的术语，也不要沉迷于证明推导的细节：把它们记下来，先略过。
这一遍阅读中，有两个小技巧：
1、仔细查看论文中的图表。关注一下细节：坐标轴是否正确标记？结论是否具有统计意义？往往细节之中，就能窥见真正出色的工作和水文之间的区别。
2、标记论文中涉及的、你并未读过的参考文献，之后进一步阅读。
读完第二遍，你应该能掌握论文内容，总结全文主旨了。
不过，有时候即使是这样读完一遍，也未必就能读懂论文：论文可能涉及你陌生的领域，有太多陌生术语；作者可能采用了你不了解的证明或实验技术；甚至，这篇论文可能写得不行。
那么，就进入最后一步吧。
第三遍：重构论文，注重细节
要想完全理解论文，就需要展开第三遍阅读：跟随作者的思路，在脑海中重现论文内容。
将重现的结果与实际论文进行比较，就可以轻松看出论文的创新点，找到文中隐含的假设，捕获隐藏在实验和技术分析中的潜在问题和引文缺失。
进入第三遍，最重要的事情强调三遍：细节！细节！细节！
找出作者陈述中的每一个假设，亲自挑战它，提出自己的思考。如此，对于论文的证明和其中的技术，你便会有更为深刻的理解。
One More Thing：文献调研怎么做？
说到读论文，是不是想起了被文献综述统治的恐惧？
Srinivasan Keshav教授同样有“三步法”要传授诸位。
首先，善用学术搜索引擎（如谷歌学术），找出3-5篇相关领域近期最高引用的论文。
了解这些论文的工作原理，阅读其中related work的部分。幸运的话，这些内容能直接帮你完成文献综述。
第二步，在这些论文的参考文献中找出其共同引用的论文，或重复出现的作者姓名。
访问这些关键人物的网站，查看他们近期发表的论文，也可以看看他们都参加了哪些顶级会议。
第三步，访问顶级会议的网站，浏览它们最近的会议记录。
通过“三遍论”的第一遍阅读快速识别高质量的相关工作。
汇总这一步中查找出的论文和第二步中的高引论文，基本上就能构成你文献综述的初版内容啦。
最后，三步法可以迭代进行。
11.2 机器学习、AI必读论文
11.3 深度学习必读论文
1 ImageNet Classification with Deep Convolutional Neural Networks
下载地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
2 Using Very Deep Autoencoders for Content Based Image Retrieval
下载地址：http://www.cs.toronto.edu/~hinton/absps/esann-deep-final.pdf
3 Learning Deep Architectures for AI
下载地址：http://www.iro.umontreal.ca/~lisa/pointeurs/TR1312.pdf
4 CMU’s list of papers
下载地址：http://deeplearning.cs.cmu.edu/
5 Neural Networks for Named Entity Recognition zip
下载地址：https://nlp.stanford.edu/~socherr/pa4_ner.pdf
6 Geoff Hinton’s reading list (all papers)
下载地址：http://www.cs.toronto.edu/~hinton/deeprefs.html
7 Supervised Sequence Labelling with Recurrent Neural Networks
下载地址：http://www.cs.toronto.edu/~graves/preprint.pdf
8 Statistical Language Models based on Neural Networks
下载地址：http://www.fit.vutbr.cz/~imikolov/rnnlm/thesis.pdf
9 Training Recurrent Neural Networks
下载地址：http://www.cs.utoronto.ca/~ilya/pubs/ilya_sutskever_phd_thesis.pdf
10 Recursive Deep Learning for Natural Language Processing and Computer
下载地址：Vision https://nlp.stanford.edu/~socherr/thesis.pdf
11 Bi-directional RNN
下载地址：https://www.di.ufpe.br/~fnj/RNA/bibliografia/BRNN.pdf
12 LSTM
下载地址：http://web.eecs.utk.edu/~ielhanan/courses/ECE-692/Bobby_paper1.pdf
13 GRU - Gated Recurrent Unit
下载地址：https://arxiv.org/pdf/1406.1078v3.pdf
14 GFRNN
下载地址：https://arxiv.org/pdf/1502.02367v3.pdf
15 LSTM: A Search Space Odyssey
下载地址：https://arxiv.org/pdf/1503.04069v1.pdf
16 A Critical Review of Recurrent Neural Networks for Sequence Learning
下载地址：https://arxiv.org/pdf/1506.00019v1.pdf
17 Visualizing and Understanding Recurrent Networks
下载地址：https://arxiv.org/pdf/1506.02078v1.pdf
18 Wojciech Zaremba, Ilya Sutskever, An Empirical Exploration of Recurrent Network Architectures
下载地址：http://proceedings.mlr.press/v37/jozefowicz15.pdf
19 Recurrent Neural Network based Language Model
下载地址: http://www.fit.vutbr.cz/research/groups/speech/publi/2010/mikolov_interspeech2010_IS100722.pdf
20 Extensions of Recurrent Neural Network Language Model
下载地址：http://www.fit.vutbr.cz/research/groups/speech/publi/2011/mikolov_icassp2011_5528.pdf
21 Recurrent Neural Network based Language Modeling in Meeting Recognition
下载地址：http://www.fit.vutbr.cz/~imikolov/rnnlm/ApplicationOfRNNinMeetingRecognition_IS2011.pdf
22 Deep Neural Networks for Acoustic Modeling in Speech Recognition Speech
下载地址：http://cs224d.stanford.edu/papers/maas_paper.pdf
23 Reinforcement Learning Neural Turing Machines
下载地址：https://arxiv.org/pdf/1505.00521v1.pdf
24 Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
下载地址：https://arxiv.org/pdf/1406.1078v3.pdf
25 Google - Sequence to Sequence Learning with Neural Networks
下载地址：http://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf
26 Memory Networks
下载地址：https://arxiv.org/pdf/1410.3916v10.pdf
27 Policy Learning with Continuous Memory States for Partially Observed Robotic Control
下载地址：https://arxiv.org/pdf/1507.01273v1.pdf
28 Microsoft - Jointly Modeling Embedding and Translation to Bridge Video and Language
下载地址：https://arxiv.org/pdf/1505.01861v1.pdf
29 Neural Turing Machines
下载地址：https://arxiv.org/pdf/1410.5401v2.pdf
30 Ask Me Anything: Dynamic Memory Networks for Natural Language Processing
下载地址：https://arxiv.org/pdf/1506.07285v1.pdf
31 Mastering the Game of Go with Deep Neural Networks and Tree Search
下载地址：https://www.nature.com/articles/nature16961
32 Batch Normalization
下载地址：https://arxiv.org/abs/1502.03167
33 Residual Learning
下载地址：https://arxiv.org/pdf/1512.03385v1.pdf
34 Image-to-Image Translation with Conditional Adversarial Networks
下载地址：https://arxiv.org/pdf/1611.07004v1.pdf
35 Berkeley AI Research (BAIR) Laboratory
下载地址：https://arxiv.org/pdf/1611.07004v1.pdf
36 MobileNets by Google
下载地址：https://arxiv.org/abs/1704.04861
37 Cross Audio-Visual Recognition in the Wild Using Deep Learning
下载地址：https://arxiv.org/abs/1706.05739
38 Dynamic Routing Between Capsules
下载地址：https://arxiv.org/abs/1710.09829
39 Matrix Capsules With Em Routing
下载地址：https://openreview.net/pdf?id=HJWLfGWRb
40 Efficient BackProp
下载地址：http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf
41 Recognition with Deep Recurrent Neural Networks