01-学习笔记尚硅谷数仓搭建-基础Linux环境搭建（使用3台主机模拟Hadoop集群）

资源：https://pan.baidu.com/s/1949KkbXC4xcuCpqEbpwC3Q?pwd=vfze 提取码: vfze，包含jdk、Hadoop、flume、zookeeper等等项目需要的工具或安装包

目录

一、基础环境

二、添加集群分发脚本（方便后续集群传输）

三、设置3台主机免密登录

四、JDK安装及环境配置

备注：没有特别说明的命令默认在hadoop102上执行，其中的“其它主机”是指hadoop103和hadoop104

一、基础环境

1.先利用宿主机克隆3台主机，宿主机下载地址：https://pan.baidu.com/s/1yGqD2zEKExp5VdULbgDHIQ?pwd=1dj2 提取码: 1dj2

3台主机名称如下

2.修改虚拟网络编辑器

在编辑中选择虚拟网络编辑器

选择vmnet8,点击更改设置，将子网改为192.168.10.0，下图是我已经改好的

点击DHCP设置，顺便把 DHCP 地址池的起始地址和结束地址改成下图一样的内容

点击NAT设置，将网关修改为192.168.10.2

3.分别使用root用户登录3台主机，密码为000000

进入后在终端输入下面的命令修改网络配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33

因为是宿主机克隆来的，只用修改IPADDR，每台都要修改，分别为

192.168.10.102

192.168.10.103

192.168.10.104

下面是一个示例，修改的是hadoop104,输入上面命令后，按i插入，修改后按esc，然后按wq保存

3台网络地址修改完成后输入下面命令，修改主机名

分别修改为

hadoop102

hadoop103

hadoop104

vim /etc/hostname

以hadoop104为例，将原来的hadoop100改为hadoop104,如图

3台主机名修改完成后，将3台主机重启

二、添加集群分发脚本（方便后续集群传输）

在hadoop102依次输入下面的命令

su atguigu
ll
mkdir bin
cd /home/atguigu/bin
vim xsync

如图示例

添加如下脚本后，wq保存退出

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@
do
#4 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done

然后修改脚本权限，输入下面命令

chmod 777 xsync

配置PATH环境，输入下面命令，编辑环境

vim ~/.bashrc

在文末插入下面的内容

export PATH=/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:$HOME/bin:$HOME/.local/bin:$PATH

如图示例

保存退出后，输入下面命令，刷新环境

source ~/.bashrc

最后输入下面命令，验证脚本是否成功

xsync xsync

成功截图如下

并且也能在其它两台主机的/home/atguigu/bin看到传输过去的脚本

三、设置3台主机免密登录

3台主机都要依次输入下面的命令，生成公钥和私钥，并拷贝到其它主机

ssh-keygen -t rsa
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

下面是以hadoop104为例，其它两台同理

输入第一条命令后，按3次回车，生成公钥和私钥

依次输入后面3条命令，每输入一条命令，要输入一次“yes”和密码：000000

这里以ssh-copy-id hadoop102演示，ssh-copy-id hadoop103、ssh-copy-id hadoop104同理。

3台主机生成公钥和私钥，并拷贝到其它主机后可以通过下面的命令验证，如果成功是可以不用密码直接登录其它主机。

以hadoop104为例，要通过ssh免密登录其它两台，输入下面的命令验证

ssh hadoop102
exit
ssh hadoop103
exit

如图：

其它两台主机验证同理，只用修改ssh后面的主机名就行，其中exit命令是登出操作。

四、JDK安装及环境配置

1.先通过finalshell或xshell将jdk传入宿主机事先准备好的目录下（已经有了不用重新创建）/opt/software（只用在hadoop102）如图：

查看是否成功

2.解压jdk到目录/opt/module/下，输入命令

tar -zxvf /opt/software/jdk-8u212-linux-x64.tar.gz -C /opt/module/

解压完成后重命名为java

mv /opt/woftware/jdk1.8.0_212/ java

3.配置jdk环境，新建环境脚本，输入下面命令

sudo vim /etc/profile.d/my_env.sh

添加如下内容：

#JAVA_HOME

export JAVA_HOME=/opt/module/java

export PATH=$PATH:$JAVA_HOME/bin

后保存退出

输入下面命令，使环境变量生效

source /etc/profile.d/my_env.sh

最后验证jdk是否安装成功

4.分发JDK及其环境到其它两台主机

1.输入下面两条命令

sudo /home/atguigu/bin/xsync /opt/module/java
sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh

传输完成后在hadoop103、hadoop104输入下面命令刷新环境并验证是否成功，如图：

备注如果只想搭建Hadoop集群，请跳过2，直接看3

03-学习笔记尚硅谷数仓搭建-Hadoop安装配置及集群启动脚本-CSDN博客