大数据处理平台Hadoop（二）

Hadoop节点的准备

通过上一章的学习和理解，相信读者朋友们和我一样已经理解了hadoop的发展和hadoop是个什么平台，hadoop的核心是hdfs分布式文件系统和mapreduce。但是，我们要使用分布式文件系统(HDFS)和mapreduce的时候必须进行环境的搭建，在进行hadoop的配置时，由于涉及的是分布式，因此我们需要多台机器的协助，虽然我们不能同时拥有多台电脑，但是，一些虚拟机技术带给我们学习Hadoop的方便。在准备学习hadoop平台时，希望读者朋友先准备4台虚拟机，当然要是读者朋友们有条件的话，可以得到节点也可以忽略虚拟机的安装。

linux系统及虚拟机安装

对于linux系统及虚拟机不熟悉的用户，可以先网上自行搜索学习，hadoop的使用是需要用到linux系统的，我这里使用的是centos7操作系统，在学习hadoop时请务必准备4台虚拟机，当然要是电脑配置不够高的朋友们，有条件的话可以准备4个节点。本人用的是Mac OS系统，所以安装过程和win10可能稍有不同，但是在centos7的安装也是一样的操作。win10用的是vmware，下面我仅仅介绍Mac用户的linux安装，mac用户和win10用户只是在虚拟机工具上稍有不同，但是在linux的安装上是一致的下面我们来介绍Linux系统centos7的安装。

centos7安装

win10和Mac用户安装centos7的时候大同小异，只不过是软件的不一样，Mac用户用虚拟软件是wmware fushion，下面我们进行安装

1.创建新的虚拟机

2.虚拟机的配置

选择准备好的镜像文件及进行虚拟机的配置，一直进行继续下去，操作系统选择centOS7 64位，网络方式为NAT模式，内存根据自己爱好进行分配，条件允许一般为1g-2g最好，硬盘根据需要自己来选择，还有其他设备的选择一般选择默认方式，最后结果如下图

对于使用win10的同学，可以网上搜索wmware workstation的使用教程进行镜像的加载。

3.下面是进行centos7的安装

这一步骤无论是win10用户还是mac用户都是一样的方法，在加载完镜像文件后，虚拟机会出现以下画面我们选择Install CentOS 7并进入等待的界面，具体的如下所示

选择Install CentOS 7后将进入以下的界面请读者朋友们进行耐心的等待

要是安装成功的情况下，将出现以下的界面，那么我们就可以正式的进行操作系统CentOS 7的安装了,在下面进行centos 7安装的环境时，一些选项是要进行必要的解析的，界面如下所示，当然在以下界面之前还有个语言的选择，我们可以选择简体中文

上面的选项中，一般我们都是选择默认的选项，但是这里我们在软件选择的是最小化界面，最小化界面是没有界面化，一般我们的虚拟机充当节点时一般都不需要界面化，安装位置这个选项中，我们选择的是自动分区，网络和主机名时，我们点进去，可以选择打开网络，主机名我这里更改为Hadoop201，然后就可以进行开始安装了。

在这里我们看见下面的蓝色条是安装的进度，在安装的期间，我们可以设置自己的ROOT密码，选择第一个按钮，进去设置ROOT的密码，这个密码是你待会安装完成进入centos 7的密码，请务必要记住，安装好了之后点击重启，如果重启之后出现以下界面就表示安装已经成功，输入用户名root，密码刚刚设置的密码，就可以登录进centos 7了。

4.Hadoop节点的工具配置

(1)完成了centos 7的安装后，我们还需要进行一系列的配置，这对于建立hadoop分布式集群来说意义相当重要，节点的一些工具我们需要准备一下，在配置后环境后，我们使用ifconfig命令是不可行的，说明节点缺少了net-tools工具，我们需要安装net-tools工具，具体的命令如下

$>yum install -y net-tools.x86_64

(2)安装完成后就可以通过ifconfig查看centos 7的IP地址了，下面还需要安装linux的编写工具，都是个人的喜好，个人喜欢linux的编写工具是nano，安装的代码如下

$>yum install -y nano

对于其他读者感兴趣或者对自己进行节点操作有用的工具，读者可自行上网搜索并下载。

5.静态IP配置

下面将进行节点的静态IP的配置，这一步比较重要，也是hadoop集群布置最基本的一个步骤，相信读者们在ping百度网站时能ping得通，我们在安装虚拟机时选择的是动态IP，但是对于hadoop集群来说，每一个节点都应该有其不可变的地址才能搭建hadoop集群，所以我们需要配置静态的IP地址。

(1)在进行静态IP的配置时，我们主要配置的是centos 7下的ifcfg-ens33网卡，这个网卡的配置，我们可以通过命令行进入，命令行如下

$>nano /etc/sysconfig/network-scripts/ifcfg-ens33

(2)进入ifcfg-ens33的编辑界面后，我们需要进行几个修改，在BOOTPROTO这一项中我们修改为static，ONBOOT这一项我们改为yes，并在最后面加上三行，IPADDR,NETMASK,GATEWAY,下面我将进行这3个参数的讲解，NETMASK我们可以用255.255.255.0，IPADDR是你要设置的静态IP地址，这个地址是根据你虚拟网卡的网关地址的桥段来设置的，怎么查看虚拟网卡的IP呢，这里我们回到MAC系统的终端，输入ifconfig，看见vmnet8，这个就是虚拟网卡，看见虚拟网卡的inet，如下图

这里的vmnet8的IP地址是192.168.38.1，因此我们的IPADDR可以设置为192.168.38.101，GATEWAY的配置比较需要注意的是要跟虚拟网卡在同一桥段，设置为192.168.38.2，同一桥段是指192.168.38.x，之前3个必须是一样的。最后ifcfg-ens33的信息如下

编写完成后保存退出即可。

(3)设置dns，打开/etc/resolv.conf，编辑里面的信息，在里面添加namesever，具体命令行和图如下

命令行

$>nano /etc/resolv.conf

配置如下图片

(4)重启网络，命令行如下

$>/etc/init.d/network restart

(5)ping百度网站，要是能ping通百度的网址，则说明我们的静态IP配置成功。

这一篇文章是进行hadoop集群搭建的基础篇，当我们第一个节点搭建成功时，我们还需要另外的3个节点，这3个节点的搭建跟第一个节点的搭建是一样的，要是读者朋友懂得使用vmware进行节点的克隆，可以克隆3个这样的节点，并更改IP地址，这里的IP最后是连续的，例如第一个节点的IP是192.168.38.101，主机名是hadoop101，第二个节点的IP是192.168.38.102，主机名是hadoop102，依次下去，当然不会虚拟机克隆的读者也可以使用重复操作配置另外的3台机器，这样出错的概率会更加小。