博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop实战之分布式模式
阅读量:6456 次
发布时间:2019-06-23

本文共 2307 字,大约阅读时间需要 7 分钟。

本文地址:

1. 首先为hadoop的集群准备几台机器,这里机器名如下:

fkongnix0 (master) fkongnix1 (slave1) fkongnix2 (slave2)2. 修改每个机器的/etc/hosts文件,确保每个机器都可以通过机器m名互相访问;

3. 在上面每个机器上的相同位置分别安装hadoop,这里安装的都是hadoop-0.20.203.0rc1.tar.gz包,并且假定安装路径都是/data/fkong/hadoop-0.20.203.0;

4. 修改所有机器上的${HADOOP_HOME}/conf/hadoop-env.sh文件,将JAVA_HOME指定到正确的jdk路径上;

5. 修改master机器上的${HADOOP_HOME}/conf/slaves文件,修改后文件内容如下:

fkongnix1 fkongnix26. 修改和部署配置文件

6.1 编辑${HADOOP_HOME}/conf/core-site.xml文件,内容修改如下:

<configuration> <property> <name>fs.default.name</name> <value>hdfs://fkongnix0:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/fkong/hadoop-0.20.203.0/hadoop-${user.name}</value> </property> </configuration>6.2 编辑${HADOOP_HOME}/conf/hdfs-site.xml文件,内如修改如下:

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>6.3 编辑${HADOOP_HOME}/conf/mapred-site.xml文件,内如修改如下:

<configuration> <property> <name>mapred.job.tracker</name> <value>fkongnix0:9001</value> </property> </configuration>6.4 将以上三个配置文件分别部署的每个slave节点上;

7. 格式化一个新的分布式文件系统:

$ bin/hadoop namenode -format8. 执行hadoop

8.1 启动hadoop后台daemon

$ bin/start-all.sh启动后可以通过以下网页方式查看NameNode和JobTracker状态,此时可以从NameNode状态网页上看到"Live Nodes"的数量变成了两个,此时表示已经部署成功

NameNode - http://localhost:50070/ JobTracker - http://localhost:50030/8.2 运行测试

在hadoop默认提供了一些可以运行的测试工具在安装包目录下,下面就用这些测试程序来验证分布式模式是否成功

8.2.1 测试一

运行下面的命令将从本地复制一个文件到hdfs文件系统的/test/目录下

$ bin/hadoop fs -copyFromLocal /data/fkong/hadoop-0.20.203.0/hadoop-examples-0.20.203.0.jar /test/hadoop-examples-0.20.203.0.jar运行下面的命令将显示hdfs文件系统上/test/目录下的文件

$ bin/hadoop fs -ls /test/输出结果如下:

Found 1 items -rw-r--r-- 1 fkong supergroup 142469 2011-10-20 21:01 /test/hadoop-examples-0.20.203.0.jar运行完上面的命令以后,可以通过http://localhost:50070/来查看hdfs上的文件,此时可以看到slave节点上已经有刚才命令上传的文件存在了。

8.2.2 测试二

运行下面的命令

$ bin/hadoop jar hadoop-examples-0.20.203.0.jar sleep 300然后访问http://localhost:50030/,可以看到会有job在cluster里运行

8.2.3 测试三

首先准数据,下面两个命令是在hdfs上创建一个/test/input目录,然后从本地复制一下文件到此目录下

$ bin/hadoop fs -mkdir /test/input $ bin/hadoop fs -copyFromLocal /data/fkong/hadoop-0.20.203.0/conf/*.xml /test/input运行测试来查找一些字符串

$ bin/hadoop jar hadoop-examples-*.jar grep /test/input /test/output 'dfs[a-z.]+'查看测试结果

$ bin/hadoop fs -ls /test/output/ $ bin/hadoop fs -cat /test/output/part-000008.3 停止hadoop后台daemon

$ bin/stop-all.sh

转载地址:http://sgnzo.baihongyu.com/

你可能感兴趣的文章
CentOS7.4安装mysql5.7
查看>>
U-BOOT之一:BootLoader 的概念与功能
查看>>
我的路上
查看>>
Velocity处理多余空白和多余空白行问题
查看>>
内容开发平台(PLATFORM)
查看>>
java值传递
查看>>
判断一个数是否为素数的一个讨论(一)
查看>>
DB2与oracle有什么区别
查看>>
创建一个多级文件目录
查看>>
RTS与CTS的含义【转】
查看>>
Selenium2+python自动化4-Pycharm使用
查看>>
Linux常用命令(1)
查看>>
Picasa生成图片幻灯片页面图文教程
查看>>
js获取当前时间的前一天/后一天
查看>>
[洛谷P3978][TJOI2015]概率论
查看>>
Python学习——编程语言介绍
查看>>
Python字符串的格式化
查看>>
C#反射---属性
查看>>
服务器常用的状态码及其对应的含义如下
查看>>
完美字符串
查看>>