qidao123.com ToB IT社区-企服评测·应用市场»论坛 › 数据库 › Oracle › 快速搭建hadoop,zk,hbase的底子集群

快速搭建hadoop,zk,hbase的底子集群

[复制链接]
发表于 2024-10-15 03:41:32 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

×
1. ZK集群，Hadoop集群，Hbase集群安装

Linux121Linux122Linux123Hadoop✔✔✔MySQL✔ZK✔✔✔HBASE✔✔✔1.1 安装Vmware，安装虚拟机集群

1.1.1 安装     (VMware-workstation-full-15.5.5-16285975)

许可证:
UY758-0RXEQ-M81WP-8ZM7Z-Y3HDA
1.1.2 安装 centos7






















  1. 123456
复制代码


1.1.3 配置静态IP



  1. vi /etc/sysconfig/network-scripts/ifcfg-ens33
复制代码
  1. :wq
  2. systemctl restart network
  3. ip addr
复制代码
  1. ping www.baidu.com
复制代码
  1. vim /etc/profile
  3. export HBASE_HOME=/opt/lagou/servers/hbase-1.3.1
  4. export PATH=$PATH:$HBASE_HOME/bin
复制代码
  1. 安装jdk
复制代码
  1. mkdir -p /opt/lagou/software    --软件安装包存放目录
  2. mkdir -p /opt/lagou/servers     --软件安装目录
复制代码
  1. rpm -qa | grep java
  2. 清理上面显示的包名
  3. sudo yum remove java-1.8.0-openjdk
  5. 上传文件jdk-8u421-linux-x64.tar.gz
  6. chmod 755 jdk-8u421-linux-x64.tar.gz
  7. 解压文件到/opt/lagou/servers目录下
  9. tar -zxvf jdk-8u421-linux-x64.tar.gz -C /opt/lagou/servers
  11. cd /opt/lagou/servers
  12. ll
复制代码
  1. 配置环境
复制代码
  1. vi /etc/profile
复制代码
  1. export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_421
  2. export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
  3. export PATH=$PATH:${JAVA_HOME}/bin
复制代码
  1. source /etc/profile
  2. java -version
复制代码
1.1.4 安装Xmanager
  1. 连接192.168.49.121:22
  3. 密码：123456
复制代码
1.1.5 克隆2台机器,并配置





  1. vi /etc/sysconfig/network-scripts/ifcfg-ens33
复制代码
  1. systemctl restart network
  2. ip addr
  3. hostnamectl
  4. hostnamectl set-hostname linux121
复制代码
  1. 关闭防火墙
复制代码
  1. systemctl status firewalld
  2. systemctl stop firewalld
  3. systemctl disable firewalld
复制代码
  1. 关闭selinux
复制代码
  1. vi /etc/selinux/config
复制代码
  1. 三台机器免密登录
复制代码
  1. vi /etc/hosts
复制代码
  1. 192.168.49.121 linux121
  2. 192.168.49.122 linux122
  3. 192.168.49.123 linux123
复制代码
  1. 第一步: ssh-keygen -t rsa 在centos7-1和centos7-2和centos7-3上面都要执行，产生公钥
  2. 和私钥
  3. ssh-keygen -t rsa
  5. 第二步：在centos7-1 ,centos7-2和centos7-3上执行:
  6. ssh-copy-id linux121 将公钥拷贝到centos7-1上面去
  7. ssh-copy-id linux122 将公钥拷贝到centos7-2上面去
  8. ssh-copy-id linux123 将公钥拷贝到centos7-3上面去
  9. ssh-copy-id linux121
  10. ssh-copy-id linux122
  11. ssh-copy-id linux123
  12. 第三步：
  13. centos7-1执行:
  14. scp /root/.ssh/authorized_keys linux121:$PWD
  15. scp /root/.ssh/authorized_keys linux122:$PWD
  16. scp /root/.ssh/authorized_keys linux123:$PWD
复制代码
  1. 三台机器时钟同步
复制代码
  1. sudo cp -a /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
  3. sudo curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
  5. sudo yum clean all
  6. sudo yum makecache
  8. sudo yum install ntpdate
  10. ntpdate us.pool.ntp.org
  12. crontab -e
  14. */1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;
复制代码
  1. vim /etc/profile
  3. export HBASE_HOME=/opt/lagou/servers/hbase-1.3.1
  4. export PATH=$PATH:$HBASE_HOME/bin
复制代码
1.2 安装ZK,Hadoop,Hbase集群，安装mysql

1.2.1 安装hadoop集群
  1. 在/opt目录下创建文件夹
复制代码
  1. mkdir -p /opt/lagou/software    --软件安装包存放目录
  2. mkdir -p /opt/lagou/servers     --软件安装目录
复制代码
  1. 上传hadoop安装文件到/opt/lagou/software
复制代码
  1. https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/
  3. hadoop-2.9.2.tar.gz
复制代码
  1. linux121节点
复制代码
  1. tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers
  2. ll /opt/lagou/servers/hadoop-2.9.2
复制代码
  1. yum install -y vim
  3. 添加环境变量
  4. vim /etc/profile
复制代码
  1. ##HADOOP_HOME
  2. export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
  3. export PATH=$PATH:$HADOOP_HOME/bin
  4. export PATH=$PATH:$HADOOP_HOME/sbin
复制代码
  1. source /etc/profile
  2. hadoop version
复制代码
  1. HDFS集群配置
复制代码
  1. cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop
复制代码
  1. vim hadoop-env.sh
  3. export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_421
复制代码
  1. vim core-site.xml
  4. <property>
  5. <name>fs.defaultFS</name>
  6. <value>hdfs://linux121:9000</value>
  7. </property>
  9. <property>
  10. <name>hadoop.tmp.dir</name>
  11. <value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
  12. </property>
复制代码
  1. vim slaves
  3. linux121
  4. linux122
  5. linux123
复制代码
  1. vim mapred-env.sh
  3. export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_421
复制代码
  1. mv mapred-site.xml.template mapred-site.xml
  2. vim mapred-site.xml
  4. <property>
  5. <name>mapreduce.framework.name</name>
  6. <value>yarn</value>
  7. </property>
复制代码
  1. vi mapred-site.xml
  2. 在该文件里面增加如下配置。
  4. <property>
  5. <name>mapreduce.jobhistory.address</name>
  6. <value>linux121:10020</value>
  7. </property>
  9. <property>
  10. <name>mapreduce.jobhistory.webapp.address</name>
  11. <value>linux121:19888</value>
  12. </property>
复制代码
  1. vim yarn-env.sh
  3. export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_421
复制代码
  1. vim yarn-site.xml
  3. <property>
  4. <name>yarn.resourcemanager.hostname</name>
  5. <value>linux123</value>
  6. </property>
  8. <property>
  9. <name>yarn.nodemanager.aux-services</name>
  10. <value>mapreduce_shuffle</value>
  11. </property>
复制代码
  1. vi yarn-site.xml
  2. 在该文件里面增加如下配置。
  4. <property>
  5. <name>yarn.log-aggregation-enable</name>
  6. <value>true</value>
  7. </property>
  9. <property>
  10. <name>yarn.log-aggregation.retain-seconds</name>
  11.      <value>604800</value>
  12. </property>
  13. <property>
  14.      <name>yarn.log.server.url</name>
  15.      <value>http://linux121:19888/jobhistory/logs</value>
  16. </property>
复制代码
  1. chown -R root:root /opt/lagou/servers/hadoop-2.9.2
复制代码
  1. 分发配置
复制代码
  1. 三台都要
  2. sudo yum install -y rsync
复制代码
  1. touch rsync-script
  2. vim rsync-script
  4. #!/bin/bash
  5. #1 获取命令输入参数的个数，如果个数为0，直接退出命令
  6. paramnum=$#
  7. if((paramnum==0)); then
  8. echo no params;
  9. exit;
  10. fi
  11. #2 根据传入参数获取文件名称
  12. p1=$1
  13. file_name=`basename $p1`
  14. echo fname=$file_name
  15. #3 获取输入参数的绝对路径
  16. pdir=`cd -P $(dirname $p1); pwd`
  17. echo pdir=$pdir
  18. #4 获取用户名称
  19. user=`whoami`
  20. #5 循环执行rsync
  21. for((host=121; host<124; host++)); do
  22. echo ------------------- linux$host --------------
  23. rsync -rvl $pdir/$file_name $user@linux$host:$pdir
  24. done
复制代码
1.2.3 安装Hbase集群(先启动Hadoop和zk才气启动Hbase)
  1. chmod 777 rsync-script
  2. ./rsync-script /home/root/bin
  3. ./rsync-script /opt/lagou/servers/hadoop-2.9.2
  4. ./rsync-script /opt/lagou/servers/jdk1.8.0_421
  5. ./rsync-script /etc/profile
复制代码
修改配置文件
把hadoop中的配置core-site.xml 、hdfs-site.xml拷贝到hbase安装目次下的conf文件夹中
  1. 在namenode，linux121上格式化节点
  3. hadoop namenode -format
  5. ssh localhost
  7. 集群群起
  8. stop-dfs.sh
  10. stop-yarn.sh
  11. sbin/start-dfs.sh
复制代码
修改conf目次下配置文件
  1. datanode可能起不来
  3. sudo rm -rf /opt/lagou/servers/hadoop-2.9.2/data/tmp/*
  5. hadoop namenode -format
  7. sbin/start-dfs.sh
复制代码
  1. 注意：NameNode和ResourceManger不是在同一台机器，不能在NameNode上启动 YARN，应该
  2. 在ResouceManager所在的机器上启动YARN
  4. sbin/start-yarn.sh
  6. linux121：
  7. sbin/mr-jobhistory-daemon.sh start historyserver
复制代码
  1. 地址:
  3. hdfs：
  5. http://linux121:50070/dfshealth.html#tab-overview
  7. 日志日志:
  9. http://linux121:19888/jobhistory
复制代码
  1. hdfs dfs -mkdir /wcinput
  3. cd /root/
  4. touch wc.txt
  6. vi wc.txt
  8. hadoop mapreduce yarn
  9. hdfs hadoop mapreduce
  10. mapreduce yarn lagou
  11. lagou
  12. lagou
  14. 保存退出
  15. : wq!
  17. hdfs dfs -put wc.txt /wcinput
  19. hadoop jar share/hadoop/mapreduce/hadoop mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput
复制代码
  1. 上传并解压zookeeper-3.4.14.tar.gz
  3. tar -zxvf zookeeper-3.4.14.tar.gz -C ../servers/
复制代码
  1. 修改配置⽂文件创建data与log⽬目录
复制代码
  1. #创建zk存储数据⽬目录
  2. mkdir -p /opt/lagou/servers/zookeeper-3.4.14/data
  4. #创建zk⽇日志日志⽂文件⽬目录
  5. mkdir -p /opt/lagou/servers/zookeeper-3.4.14/data/logs
  7. #修改zk配置⽂文件
  8. cd /opt/lagou/servers/zookeeper-3.4.14/conf
  10. #⽂文件改名
  11. mv zoo_sample.cfg zoo.cfg
  13. mkdir -p /opt/lagou/servers/zookeeper-3.4.14/data
  14. mkdir -p /opt/lagou/servers/zookeeper-3.4.14/data/logs
  15. cd /opt/lagou/servers/zookeeper-3.4.14/conf
  16. mv zoo_sample.cfg zoo.cfg
  18. vim zoo.cfg
  20. #更更新datadir
  21. dataDir=/opt/lagou/servers/zookeeper-3.4.14/data
  22. #增加logdir
  23. dataLogDir=/opt/lagou/servers/zookeeper-3.4.14/data/logs
  24. #增加集群配置
  25. ##server.服务器器ID=服务器器IP地址：服务器器之间通信端⼝口：服务器器之间投票选举端⼝口
  26. server.1=linux121:2888:3888
  27. server.2=linux122:2888:3888
  28. server.3=linux123:2888:3888
  29. #打开注释
  30. #ZK提供了了⾃自动清理理事务⽇日志日志和vim /etc/profile
  32. export HBASE_HOME=/opt/lagou/servers/hbase-1.3.1
  33. export PATH=$PATH:$HBASE_HOME/bin⽂文件的功能，这个参数指定了了清理理频率，单位是⼩小时
  34. autopurge.purgeInterval=1
复制代码
  1. cd /opt/lagou/servers/zookeeper-3.4.14/data
  2. echo 1 > myid
  4. 安装包分发并修改myid的值
  5. cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop
  7. ./rsync-script /opt/lagou/servers/zookeeper-3.4.14
  9. 修改myid值 linux122
  10. echo 2 >/opt/lagou/servers/zookeeper-3.4.14/data/myid
  12. 修改myid值 linux123
  13. echo 3 >/opt/lagou/servers/zookeeper-3.4.14/data/myid
  15. 依次启动三个zk实例例
  16. 启动命令（三个节点都要执⾏行行）
  18. /opt/lagou/servers/zookeeper-3.4.14/bin/zkServer.sh start
  20. 查看zk启动情况
  21. /opt/lagou/servers/zookeeper-3.4.14/bin/zkServer.sh status
  23. 集群启动停⽌止脚本
  25. vim zk.sh
  27. #!/bin/sh
  28. echo "start zookeeper server..."
  29. if(($#==0));then
  30. echo "no params";
  31. exit;
  32. fi
  33. hosts="linux121 linux122 linux123"
  34. for host in $hosts
  35. do
  36. ssh $host "source /etc/profile; /opt/lagou/servers/zookeeper-3.4.14/bin/zkServer.sh $1"
  37. done
  39. chmod 777 zk.sh
  41. ./zk.sh start
  42. ./zk.sh stop
  43. ./zk.sh status
复制代码
1.2.4 安装mysql
  1. 解压安装包到指定的规划目录 hbase-1.3.1-bin.tar.gz
  3. tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/lagou/servers
复制代码
  1. ln -s /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/core-site.xml /opt/lagou/servers/hbase-1.3.1/conf/core-site.xml
  2. ln -s /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml /opt/lagou/servers/hbase-1.3.1/conf/hdfs-site.xml
复制代码
  1. cd /opt/lagou/servers/hbase-1.3.1/conf
  3. vim hbase-env.sh
  5. #添加java环境变量
  6. export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_421
  7. #指定使用外部的zk集群
  8. export HBASE_MANAGES_ZK=FALSE
复制代码
  1. vim hbase-site.xml
  3. <configuration>
  4.          
  5.         <property>
  6.                 <name>hbase.rootdir</name>
  7.                 <value>hdfs://linux121:9000/hbase</value>
  8.         </property>
  9.                
  10.         <property>
  11.                 <name>hbase.cluster.distributed</name>
  12.                 <value>true</value>
  13.         </property>
  14.                
  15.         <property>
  16.                 <name>hbase.zookeeper.quorum</name>
  17.                 <value>linux121:2181,linux122:2181,linux123:2181</value>
  18.         </property>
  19. </configuration>      
复制代码
  1. vim regionservers
  3. linux121
  4. linux122
  5. linux123
  7. vim backup-masters
  9. linux122
复制代码
  1. vim /etc/profile
  3. export HBASE_HOME=/opt/lagou/servers/hbase-1.3.1
  4. export PATH=$PATH:$HBASE_HOME/bin
复制代码
图片不显示无伤大雅，就是示例，步骤都在。
回复

使用道具 举报

返回列表

祗疼妳一个
+ 我要发帖

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表