登录 / 注册
IT168大数据频道
IT168首页 > 大数据 > 大数据评论 > 正文

八步教你在笔记本电脑创建Hadoop本地实例!

2018-05-25 17:21    it168网站 原创  作者: 编译 | 钰莹 编辑: 赵钰莹

  【IT168 评论】要想进入大数据领域,Hadoop是一件非常重要的事情,它具有复杂的安装过程,大量的集群,数百台机器以及TB(或者PB)级别的数据等。但实际上,用户可以下载简单的JAR并在个人笔记本电脑上运行带HDFS的Hadoop以供练习,这对于想了解Hadoop的新手而言是个不错的方式。

  整个过程分为以下八个步骤:

  1、设置JAVA_HOME(Hadoop建立在Java上)。

  2、下载Hadoop tar.gz.

  3、提取Hadoop tar.gz.

  4、设置Hadoop配置。

  5、启动并格式化HDFS。

  6、上传文件到HDFS。

  7、在这些上传的文件上运行Hadoop作业。

  8、返回并打印结果!

  以下按照步骤执行:

  1、设置JAVA_HOME

  众所周知,Hadoop建立在Java之上,因此我们需要设置JAVA_HOME。

如何在个人PC上创建Hadoop本地实例以练习?

  2、下载Hadoop tar.gz

如何在个人PC上创建Hadoop本地实例以练习?

  3、提取Hadoop tar.gz

  现在,笔记本电脑上已经安装了tar.gz,我们需要解压缩。

如何在个人PC上创建Hadoop本地实例以练习?

  4、设置HDFS

  在笔记本电脑上配置HDFS:

如何在个人PC上创建Hadoop本地实例以练习?

  配置应该是:

如何在个人PC上创建Hadoop本地实例以练习?

  所以,配置HDFS端口——配置需要的副本数量。在笔记本电脑上,我们只需要一个副本即可:

如何在个人PC上创建Hadoop本地实例以练习?

  上述hdfs-site.xml是副本配置的网站,以下是应该有的配置:

如何在个人PC上创建Hadoop本地实例以练习?

  启用SSHD

  Hadoop使用SSH连接到节点,因此在笔记本电脑上启用它:

如何在个人PC上创建Hadoop本地实例以练习?

  如果上述做法行不通,你可以这样做:

如何在个人PC上创建Hadoop本地实例以练习?

  5、启动HDFS

  接下来开始在笔记本电脑上格式化HDFS:

如何在个人PC上创建Hadoop本地实例以练习?

  6、在HDFS上创建文件夹

  接下来,在笔记本电脑的HDFS上创建一个示例输入文件夹:

如何在个人PC上创建Hadoop本地实例以练习?

  将测试数据上传到HDFS

  现在已经在笔记本电脑上运行了HDFS,我们需要上传一些文件:

如何在个人PC上创建Hadoop本地实例以练习?

  7、运行Hadoop作业

如何在个人PC上创建Hadoop本地实例以练习?

  8、返回并打印结果

  整个过程就是这样,我们设法使用HDFS进行本地Hadoop安装以进行测试并运行测试工作! 这对于新手而言是个不错的方式,如果你感兴趣不妨试试!

标签: Hadoop , 程序员 , 大数据
  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫一扫关注

  • 推荐文章
  • 推荐产品
行车视线文章推荐

首页 评论 返回顶部