李承炫:PyTorch 1.7发布,支持CUDA 11、Windows分布式训练

时间:2020-11-15 03:35 来源:seo 作者:小可爱科技知识网 点击量:

李承炫:PyTorch 1.7发布,支持CUDA 11、Windows分布式训练

  10月29日12:37

  关注

  机器之心报道

  参与:魔王、小舟

  昨日,PyTorch 团队发布 PyTorch 1.7 版本。该版本增添了很多新特性,如支持 CUDA 11、Windows 分布式训练、增加了支持快速傅里叶变换(FFT)的新型 API 等。

  PyTorch 1.7 版本包含很多新的 API,如支持 NumPy 兼容的 FFT 操作、性能分析工具,以及对基于分布式数据并行(DDP)和基于远程过程调用(RPC)的分布式训练的重要更新。

  此外,一些特性也更新为稳定版,包括自定义 C++ 类、内存分析器、通过自定义类张量对象进行扩展、RPC 中的用户异步函数,以及 torch.distributed 中的许多其他特性(如 Per-RPC 超时、DDP dynamic bucketing、RRef helper)。

  本次更新的亮点包括:

  CUDA 11 得到 PyTorch 官方支持;

  对 autograd 分析器,更新和添加了 RPC、TorchScript 和堆栈跟踪(Stack trace)的分析和性能;

  (测试版)通过 torch.fft 支持 NumPy 兼容的 FFT 操作;

  (原型版)支持英伟达 A100 GPU 和原生 TF32 格式;

  (原型版)支持 Windows 系统上的分布式训练。

  torchvision

  (稳定版)transforms 支持张量输入、批处理计算、GPU 和 TorchScript

  (稳定版)JPEG 和 PNG 格式的原生图像 I/O

  (测试版)新型视频读取器 API

  torchaudio

  (稳定版)增加了对语音录制(wav2letter)、文本转语音(WaveRNN)和源分离(ConvTasNet)的支持

  (注:从 PyTorch 1.6 版本开始,PyTorch 特性分为 Stable(稳定版)、Beta(测试版)和 Prototype(原型版)。

  新特性

  PyTorch 1.7 相比之前版本,增加了很多新特性,包括 Python API、C++ API、Autograd、CUDA、量化等多个方面。

  例如 Python API 增添了多个新的 namespace、operator 以及 API 扩展,CUDA 增加了 TF32 支持等,量化方面增加了新的量化操作、支持 FP16 量化等。

  PyTorch 1.7 部分新特性,详情参见

  开发者对 PyTorch 1.7 的态度

  有开发者对 PyTorch 1.7「支持 Windows 上的分布式训练」这一新功能表示赞赏:

  以及乐见于「PyTorch对 CUDA 11 的支持」:

  依然有人趁机表白 PyTorch,并列出偏好 PyTorch 的原因,如报错易读、代码直观、易于实验。

  当然,版本更迭的路似乎永无止境。有开发者提出了自己的需求,例如 fp32 卷积、TensorFlow 有而 PyTorch 没有的 Semantic Versioning:

  此时距离 PyTorch 1.6 版本发布仅三个月,不知道 PyTorch 的下一个版本又将带给我们哪些惊喜。

  参考链接:

  

  

  

  Java深度学习框架—DJL综述以及推理应用

  DJL是亚马逊推出的开源的深度学习开发包,它是在现有深度学习框架基础上使用原生Java概念构建的开发库。DJL目前提供了MXNet,、PyTorch和TensorFlow的实现。Java开发者可以立即开始将深度学习的SOTA成果集成到Java应用当中。

  10月29日20:00,兰青(AWS算法工程师)将带来线上分享,介绍DJL以及推理应用,并通过在线demo帮助开发者更好了解DJL是如何将Java和深度学习有机结合起来的。

  添加机器之心小助手:syncedaai5,邀请加入DJL交流群。

当前位置:主页 > 技术知识 >

声明:本文小可爱科技知识网整理不代表个人观点,转载请注明原文,点击还能查看更多的文章;本文网址: http://www.kozbods.com/jishu/6710.html

围观: 次 | 责任编辑:小可爱科技知识网



回到顶部