【IT168 评论】要想进入大数据领域,Hadoop是一件非常重要的事情,它具有复杂的安装过程,大量的集群,数百台机器以及TB(或者PB)级别的数据等。但实际上,用户可以下载简单的JAR并在个人笔记本电脑上运行带HDFS的Hadoop以供练习,这对于想了解Hadoop的新手而言是个不错的方式。
整个过程分为以下八个步骤:
1、设置JAVA_HOME(Hadoop建立在Java上)。
2、下载Hadoop tar.gz.
3、提取Hadoop tar.gz.
4、设置Hadoop配置。
5、启动并格式化HDFS。
6、上传文件到HDFS。
7、在这些上传的文件上运行Hadoop作业。
8、返回并打印结果!
以下按照步骤执行:
1、设置JAVA_HOME
众所周知,Hadoop建立在Java之上,因此我们需要设置JAVA_HOME。
2、下载Hadoop tar.gz
3、提取Hadoop tar.gz
现在,笔记本电脑上已经安装了tar.gz,我们需要解压缩。
4、设置HDFS
在笔记本电脑上配置HDFS:
配置应该是:
所以,配置HDFS端口——配置需要的副本数量。在笔记本电脑上,我们只需要一个副本即可:
上述hdfs-site.xml是副本配置的网站,以下是应该有的配置:
启用SSHD
Hadoop使用SSH连接到节点,因此在笔记本电脑上启用它:
如果上述做法行不通,你可以这样做:
5、启动HDFS
接下来开始在笔记本电脑上格式化HDFS:
6、在HDFS上创建文件夹
接下来,在笔记本电脑的HDFS上创建一个示例输入文件夹:
将测试数据上传到HDFS
现在已经在笔记本电脑上运行了HDFS,我们需要上传一些文件:
7、运行Hadoop作业
8、返回并打印结果
整个过程就是这样,我们设法使用HDFS进行本地Hadoop安装以进行测试并运行测试工作! 这对于新手而言是个不错的方式,如果你感兴趣不妨试试!