正文

linux深度学习框架教程,深度linux使用入门教程

ptiyny
ptiyny V管理员 /1 阅读
1109

大家好，今天小编关注到一个比较有意思的话题，就是关于linux深度学习框架教程的问题，于是小编就整理了4个相关介绍Linux深度学习框架教程的解答，让我们一起看看吧。

  1. 没有GPU的我们如何利用亚马逊GPU服务器训练深度学习？
  2. 为什么绝大多数深度学习包都基于linux？
  3. 为什么有人偏好在Ubuntu下进行「深度学习」呢？
  4. 大数据的框架主要学习和使用什么呢？

没有GPU的我们如何利用亚马逊GPU服务器训练深度学习？

  1. 访问 aws.amzon*** 注册一个账号（注意：需要国际***，对新用户而言，AWS赠送了一点免费额度，不过必须验证***之后才能使用免费额度）。
  2. 在AWS市场搜索AWS Deep Learning AMI（基于Ubuntu或Amazon自家的Amazon Linux）
  3. 按照提示一步步创建并运行虚拟机。
  4. 然后ssh连上去就可以操作了。

除了AWS官方的AMI外，还可以在社区AMI中搜索DLAMI.V1.

DLAMI是新加坡国立大学的Ritchie Ng做的AMI镜像（Ritchie Ng也是NVIDIA深度学习机构讲师），里面包含了主流的深度学习框架（PyTorch、TensorFlow、Keras、MXNet、Torch、CNTK、Caffe等等），开箱即用。

linux深度学习框架教程,深度linux使用入门教程
（图片来源网络，侵删）

另外，AWS之外，主流的GPU云提供商还有：

  1. Google家的GCP（Google Cloud Platform，cloud.google***/gpu/）
  2. 微软家的Azure（N系列是GPU虚拟机，azure.microsoft***/en-us/pricing/details/virtual-machines/series/）。

国内的话，GPU云提供商有：

  1. 阿里云（***.aliyun***/product/ecs/gpu）
  2. 腾讯云（cloud.tencent***/product/gpu）
  3. 美团云（***.mtyun***/product/gpu）

为绝大多数深度学习包都基于linux？

因为linux有很多开源版本，而绝大多数深度学习包都是开源项目，本着分享至上的开源精神，选取linux作为操作系统更为合适，影响力传播力都会更强；而对使用程序员来说，在哪个操作系统环境下开发程序差别并不大，且开源系统免去很多侵权的风险。

linux深度学习框架教程,深度linux使用入门教程
（图片来源网络，侵删）

为什么有人偏好在Ubuntu下进行「深度学习」呢？

深度学习主要依靠显卡的计算能力。在windows下你用的显卡可能几千块钱。做一个简单的手写体识别，可能花几个小时就搞定了。但是你要做一些复杂的功能大图像的识别处理。需要的算力非常大。这时候就要用到高性能的显卡，和显卡集群。这些高端的显卡从几万到几百万之间。但是这些显卡并不支持windows系统。你在集群上需要一个小时跑完的东西在windows上可能需要几百年。所以你不用纠结，没有一个深度学习从业者会在windows下做研究。在linux下做深度学习，不是偏好而是必须，在win下做研究，连入门都入不了，仅限于了解知道这个东西。

所以当你提出来这个问题的时候，说明你并不适合做这个行业。


大数据的框架主要学习和使用什么呢？

你说的应该是大数据平台中的主流框架，我列举一下：

linux深度学习框架教程,深度linux使用入门教程
（图片来源网络，侵删）

（一）Hadoop生态圈

  • HDFS：分布式文件系统，解决大数据的存储
  • Yarn（MapReduce）：分布式计算框架，解决大数据的计算
  • Hive：Hadoop中的数据分析引擎，支持SQL
  • HBase：基于HDFS的NoSQL数据库
  • ZooKeeper：分布式协调服务，可以用于实现HA（高可用架构）
  • 其他
  • （二）Spark生态圈
  • Spark Core：Spark的核心，用于离线计算
  • Spark SQL：Spark的数据分析引擎，支持SQL语句
  • Spark Streaming：Spark的流式计算引擎，但本质依然是离线计算
  • MLlib：机器学习框架
  • （三）Flink生态圈
  • Flink DataSet：Flink批处理（离线计算）API
  • Flink DataStream：Flink流处理（实时计算）API
  • Flink Table&SQL：Flink的数据分析引擎，支持SQL语句
  • MLlib：机器学习框架

消息队列很多：

1、RabbitMQ

RabbitMQ 2007年发布，是一个在AMQP(高级消息队列协议)基础上完成的，可复用的企业消息系统，是当前最主流的消息中间件之一。

2、ActiveMQ

ActiveMQ是由Apache出品，ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现。它非常快速，支持多种语言的客户端和协议，而且可以非常容易的嵌入到企业的应用环境中，并有许多高级功能

3、RocketMQ

RocketMQ出自 阿里公司的开源，用 [_a***_] 语言实现，在设计时参考了 Kafka，并做出了自己的一些改进，消息可靠性上比 Kafka 更好。RocketMQ在阿里集团被广泛应用在订单，交易，充值，流计算，消息推送，日志流式处理等

4、Kafka

Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log)，，之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性，可复制和可容错都是其不错的特性。

到此，以上就是小编对于linux深度学习框架教程的问题就介绍到这了，希望介绍关于linux深度学习框架教程的4点解答对大家有用。