机器学习和深度学习有关的引人入胜的学科
来源：CPDA数据分析师网 / 时间：2021-02-19
为每个传入的示例选择不同的参数，结果是一个稀疏激活的模型（参数数量惊人），但是计算成本却是不变的，但是尽管取得了一些显著成功，但由于复杂性，通信成本和培训不稳定，阻碍了广泛采用路由算法，并设计了直观的改进模型，从而降低了通信和计算成本。所提出的训练技术有助于消除不稳定性，并且表明，大型稀疏模型可以用较低的精度格式进行首次训练，他们设计基于模型，以相同的计算资源将预训练速度提高多达7倍，这些改进扩展到多语言设置中，可以测量所有101种语言在mT5-Base版本上的收益，本文通过在“巨大的干净爬行语料库”上预先训练了多达数万亿个参数模型，从而提高了语言模型的当前规模，并实现了T5-XXL模型4倍的加速。
使VGG样式的ConvNets再次出色
VGG风格的ConvNets尽管现在被认为是经典的体系结构，但由于其简单性而颇具吸引力，相比之下因其高精度而广受欢迎，但更难以自定义和显示不希望的推理缺陷。为了解决这些问题，提出RepVGG – VGG的归来！ RepVGG是使用普通VGG样式的ConvNets的高效简单的体系结构，它通过结构性重新参数化技术将推理时间和训练时间架构分离。研究人员报告说，与诸如EfficientNet和RegNet的模型相比，速度精度的折衷是有利的。RepVGG在ImageNet上达到80％的top-1精度，并且基准测试结果比ResNet-50快83％。该研究是使用更简单的体系结构和操作来建立更有效的模型的更广泛努力的一部分。与本文相关的PyTorch代码可在此处找到。
先增强后进行卷积梯度增强遇到图神经网络
图神经网络是功能强大的模型，已在各种图表示学习任务中取得了成功。面对异构表格数据时，梯度增强决策树通常优于其他机器学习方法，但是具有表格节点特征的图应使用哪种方法？以前的GNN模型主要集中在具有同质稀疏特征的网络上，并且在异构环境中次优，一种新颖的体系结构，该体系结构可以联合训练GBDT和GNN以获得两者的选择：GBDT模型处理异构特征，而GNN负责图结构。该模型通过允许新树适合GNN的梯度更新而受益于端到端优化，通过与领先的GBDT和GNN模型进行广泛的实验比较，研究人员证明了各种具有表格特征的图形的性能都有显着提高，可以找到与本文相关的代码在这里。
不断发展的强化学习算法
搜索计算图的空间，提出了一种元学习强化学习算法，该计算图计算了基于值的无模型的损失函数以进行优化，学习的算法与领域无关，并且可以推广到训练期间未看到的新环境，该方法既可以从头开始学习，又可以引导已知的现有算法（例如DQN）启动，从而可以进行可解释的修改，从而提高性能，该方法从零开始学习简单的经典控制和任务，重新发现了时差（TD）算法，在DQN的引导下，突出显示了两种学习过的算法，它们比其他经典控制任务，类型任务和游戏具有良好的泛化性能。
介绍和评估可解释的AI（XAI）方法：SIDU
近年来，可解释的人工智能（XAI）已经成为生成人类可以理解的黑匣子模型解释的合适框架，一种新颖的XAI视觉解释算法，称为SIDU它可以有效地全面定位负责预测的整个对象区域，本文通过各种计算和人类实验对它的鲁棒性和有效性进行了分析，尤其是SIDU算法使用三种不同类型的评估（应用，人员评估和功能基础评估）进行了评估，以证明其卓越的性能。在对黑匣子模型进行对抗攻击的情况下，将进一步研究SIDU的鲁棒性，以更好地了解其性能。
机器学习数据处理框架
训练机器学习模型需要输入输入数据以供模型摄取，机器学习作业的输入管道通常难以有效实施，因为它们需要读取大量数据，应用复杂的转换并在将计算和通信重叠以达到性能的同时将数据传输到硬件加速器，这是一个用于构建和执行用于机器学习作业的有效输入管道的框架，tf.data API提供的运算符可以通过用户定义的计算进行参数化，组合并在不同的机器学习域中重用，这些抽象使用户可以专注于数据处理的应用程序逻辑，而tf.data的运行时可确保管道有效运行，本文证明了输入管道的性能对于先进的机器学习模型的端到端培训时间至关重要，tf.data提供了所需的高性能，同时避免了手动调整性能旋钮的需求。
场景分类的深度学习：一项调查
旨在通过理解整个图像将场景图像分类为预定义场景类别之一的场景分类是计算机视觉中长期存在的，基本的且具有挑战性的问题，大规模数据集的兴起，构成了各种现实世界场景的密集样本，深度学习技术的复兴，可以直接从大原始数据中学习强大的特征表示，这在场景表示领域已取得了显着进步和分类，为了帮助研究人员掌握该领域需要的进展，本文的目的是对使用深度学习进行场景分类的成果进行全面的调查，这项调查包含260多种主要出版物，涉及场景分类的不同方面，包括挑战，基准数据集，分类法和所审查方法的定量性能比较，回顾迄今为止所取得的成就，本文以一系列有希望的研究机会作为总结。
可解释的人工智能方法：一项调查
尽管基于人工智能（AI）的“黑匣子”系统/模型在许多现实应用中具有优势，但缺乏决策的可解释性是在不同领域或领域的许多高风险应用中采用AI的关键绊脚石行业，尽管有许多流行的可解释人工智能（XAI）方法或方法可以促进对人性化的决策解释，但每种方法都有其优缺点，也有很多公开挑战。本文演示了具有互助案例研究/任务（即信用违约预测）的流行XAI方法，从多个角度（例如，本地，全球）分析竞争优势，在量化可解释性方面提供了有意义的见解，并建议了对负责任或人为化的途径XAI作为媒介的以中心为中心的AI，从业人员可以将这项工作用作目录，以了解，比较和关联流行的XAI方法的竞争优势。此外，本调查还引出了对负责任或以人为中心的AI系统的未来研究方向，这对于在高风险应用中采用AI至关重要。