在机器学习和人工智能领域必须读的论文有哪些？
想必这个问题引起了许多人的共鸣。
近日，国外的一位博客作者联系到了吴恩达、Jeff Clune等一众业界大佬，请他们推荐了各自认为最值得阅读的论文。
关注本公众号（turingtopia），回复“必读论文”即可获取下载。
具体介绍如下：
1. Jeff Clune，OpenAI研究团队负责人
《Learning to Reinforcement Learn (2016)》 - Jane X Wang et al
本文提出了两个关键的观点，即稀疏训练数据的局限性，以及在完全监督的情况下，递归网络是否能够支持元学习。这些观点在七个概念验证实验中得到了阐述，每一个实验都考察了深层元- rl的一个关键方面。我们考虑了扩展和扩大该方法的前景，并指出了一些对神经科学的潜在重要意义。
《Gradient-based Hyperparameter Optimization through Reversible Learning (2015)》 - Dougal Maclaurin, David Duvenaud, and Ryan P. Adams.
Jeff推荐的第二篇论文通过在整个训练过程中反向链接导数，计算了与所有超参数相关的交叉验证性能的准确梯度。这些梯度允许数千个超参数的优化，包括步长和动量调度、权重初始化分布、丰富参数化正则化方案和神经网络架构。
2. 三星研究美国智能电视部门首席科学家（全球）和机器学习研究团队负责人Shalini Ghosh
《Long Short-Term Memory (1997)》 - Sepp Hochreiter and Jürgen Schmidhuber
这篇（论文）是1997年的开创性论文，其思想是超前的。直到最近（例如过去6年左右），硬件加速器才能够运行LSTM的训练/服务操作，从而导致LSTM成功用于许多应用（例如语言建模，手势预测，用户建模）。LSTM的基于内存的序列建模体系结构非常有影响力-它启发了最近许多的改进，例如Transformers。
《Efficient Incremental Learning for Mobile Object Detection (2019) 》- Dawei Li et al
本文讨论了流行的对象检测模型RetinaNet的新颖变体，并介绍了增量学习的范例，该范例对于多模式学习的此应用程序和其他应用程序很有用。本文使用的关键思想和增量学习公式对任何从事计算机视觉工作的人都是有用的，并且可以为将来在移动设备上使用的高效增量算法的创新铺平道路。
3. Kenneth Stanley，UCF教授、Uber高级研究经理
《Emergent Tool Use From Multi-Agent Autocurricula (2019)》 - Bowen Baker et al
Ken选择这篇论文是因为它给出了突发行为的独特示例，并暗示了开放端的开始。论文本身发现了在我们环境中代理战略中六个紧急阶段的明确证据，每个阶段都给对立团队施加新的压力。例如，代理学会使用可移动的盒子来建造多目标掩体，这反过来又导致代理发现他们可以使用坡道克服障碍。
《Open-endedness: The last grand challenge you’ve never heard of (2017)》 - Kenneth Stanley et al
他的建议是“对开放性挑战的非技术性介绍”。本文中的描述仅说明了该挑战是什么，如果解决了它将带来惊人的影响，以及如果我们激发了您的兴趣，该如何加入。
4. Gartner数据科学总监Andriy Burkov
《Attention Is All You Need (2017)》 - Ashish Vaswani et al
Andriy用他自己的话推荐了这份2017年的论文，“用BERT等经过预训练的Transformer模型将NLP提升到了一个全新的水平。本文提出了一种新的简单网络架构，即Transformer，它完全基于注意力机制，完全消除了递归和卷积。在两个机器翻译任务上进行的实验表明，这些模型在质量上具有优势，同时具有更高的可并行性，并且所需的训练时间明显更少。
5. Landing AI创始人兼首席执行官,deeplearning.ai的创始人吴恩达
《Modeling yield response to crop management using convolutional neural networks (2020) 》- Andre Barbosa et al.
在这项工作中，吴恩达等人提出了卷积神经网络（CNN），以捕获具有不同属性的相关空间结构，并将它们组合起来以模拟对养分和种子量管理的产量响应。通过9个玉米田的田间实验，构建合适的数据集，对CNN模型进行训练和测试。对网络中不同阶段的输入属性组合的四种体系结构进行了评估，并与最常用的预测模型进行了比较。
《A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis (2019) 》- Xiaoxuan Liu et al
本文评估了深度学习算法与医疗专业人员在使用医学成像对疾病进行分类方面的诊断准确性。采用统一的层次模型进行外部样本外验证的研究被纳入元分析。
6. 格雷格里（Gregory Piatetsky-Shapiro），KDnuggets总裁，数据科学家
当我们与Gregory接触时，他建议他的论文选择是基于试图理解AI和ML的主要趋势的，最近的两篇论文确实对他很重要。“我最近读过的两篇重要论文是Gary和Francois的文章。我还建议观看Yoshua Bengio和Gary Marcus在蒙特利尔为前者进行的辩论。”
《The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence (2020) 》- Gary Marcus
本文综述了近年来人工智能和机器学习领域的研究进展，着重介绍了通用学习和越来越大的训练集以及越来越多的计算。与此形成对比的是，Gary提出了一种混合的、知识驱动的、基于推理的方法，以认知模型为中心，可以为一个比目前可能的更丰富、更具鲁棒性的AI提供基础。
《On the Measure of Intelligence (2019)》 - François Chollet
Gregory的第二个推荐是FrançoisChollet的“关于智力的度量”。本文总结并批判性地评估了测量智力的定义和评估方法，同时使隐含指导它们的两个历史智力概念显而易见。François随后基于算法信息论阐明了一种新的形式化的智力定义，将智力描述为技能获取效率，并突出了范围，泛化难度，先验和经验的概念。
7. Myriam Cote，顾问
《Tackling climate change with Machine Learning (2019) 》- David Rolnick, Priya L Donti, Yoshua Bengio et al.
Myriam的建议涵盖了机器学习及其对环境的影响。气候变化是人类面临的最大挑战之一，因为机器学习专家想知道它们如何提供帮助。在本文中，作者描述了机器学习如何成为减少温室气体排放并帮助社会适应气候变化的有力工具。从智能电网到灾难管理，他们与其他领域合作，识别高影响力的问题，这些问题可以通过机器学习来填补现有的空白。
8. Kirk Borne，首席数据科学家和数据科学研究员，Booz Allen Hamilton的执行顾问
《The Netflix Recommender System: Algorithms, Business Value, and Innovation (2015) 》- Carlos Gomez-Uribe & Neil Hunt.
“这篇文章已有几年历史，并且不是专门技术性文章，但是它涵盖了许多基本问题，业务决策点，算法特征，度量和数据特征，您必须在思考之前，之中和之后进行思考，测试和验证在操作环境中部署AI算法。我也喜欢这篇文章，因为推荐引擎很受欢迎，在许多不同的行业中使用，并且得到了所有人（甚至是非专家）的认可-因此，本文可以很快为学生带来等）对算法及其乐趣和获利机会有更深入，更丰富的了解。”
原文链接：
https://blog.re-work.co/ai-papers-suggested-by-experts/
联系客服
