大数据处理平台Hadoop(三)

大数据处理平台Hadoop(三)

Hadoop的远程登录工具及jdk的安装

通过上一章的学习,相信读者朋友能够搭建出centos7的hadoop节点,要深入学习hadoop,请读者务必认真搭建好Hadoop的节点,毕竟现实中的我们没有真实的hadoop集群,我们只能靠电脑虚拟出来,通过虚拟机技术来模拟服务器。请读者朋友记住,这次我们需要的是4台虚拟机,请认真的配置好再进行下面章节的学习。下面的这一章,我们介绍的是用远程登录工具登录我们的节点,并且在节点安装jdk。

Hadoop的远程登录工具

对于远程登录工具,我们的选择是多种多样的,为什么要用远程登录工具呢,我们都知道,在工作或者其他环境下,我们的服务器是放置在机房里的,那么我们对这些服务器进行操作要怎么办,这个时候我们必须得通过远程登录工具连接上我们的服务器,也称hadoop集群,我们通过远程登录工具来对这些集群进行操作。远程登录工具有很多,例如putty,SecureCRT等。下面我们用的是SecureCRT,对于macos用户可以直接用终端连接,但是本文用的是SecureCRT。

SecureCRT登录服务器

1.创建新的连接

或许不是所有的远程登录工具都一样,但是大致的操作都是一样的,当我们要创建新的连接的时候,需要点击以下的quick connection来创建新的连接。


2.输入节点的ip和用户名

当用户创建了新的连接时是需要用户输入相应的ip和用户名的,这里的ip估计阅读过第二章的朋友们应该不会陌生,上一章我们为什么要静态ip,目的之一就是为了用远程工具登录特定的节点。这里的ip就是虚拟节点的ip地址,用户名就是root。


3.输入密码

完成新连接的创建之后,我们要打开这个连接,必须要输入密码,这个密码就是用户名的root密码,当我们输入密码就可以登录节点了


4.成功登录服务器

下图就是当你成功登录时会出现的页面,当用户能看见出现你的虚拟服务器的终端界面时就表明你成功登录了服务器,并且能够进行服务器的操作。


上面是我们使用工具远程登录服务器的操作过程,很多时候我们操作集群的时候都是通过远程登录工具来完成的,以后我们工作中也会经常利用到远程登录工具的。 #### jdk的安装 下面我们在搭建hadoop集群运用hdfs和mapreduced的时候,必须要在每个节点上安装好jdk,下面我们将进行单个节点jdk的安装,先从一个节点来进行配置。 #### 虚拟节点安装jdk 1.上传jdk安装文件 在虚拟节点上安装jdk,我们需要下载jdk-8u65-linux-x64.tar.gz,具体的网址为 https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html 下载好jdk-8u65-linux-x64.tar.gz后我们可以通过SecureCRT把文件上传至虚拟节点。

使用SecureCRT的sftp可以上传文件,具体其他的上传方法可以自行网上搜索。

2.创建/soft目录用来存放各种组件

1
$>mkdir /soft

3.tar开jdk文件

把上传的jdk安装文件tar开保存至/soft
刚刚通过上传的文件存放在了~目录下,我们登录虚拟节点后通过ls可以看见jdk-8u65-linux-x64.tar.gz,表示jdk安装包上传成功,下面我们需要安装jdk,这时我们需要使用命令行把刚刚上传好的文件tar开,并且要放进/soft目录,具体的命令行如下

1
$>tar -zxvf jdk-8u65-linux-x64.tar.gz -C /soft


tar开jdk安装包后进入/soft文件夹会发现jdk1.8.0_65文件,这个就是我们要tar开好的文件,下面为了方便,我们创建软连接,软连接相当于快捷方式,我们用jdk代表jdk1.8.0_65这个文件,具体命令行如下

1
2
$>cd /soft
$>ln -s jdk1.8.0_65/ jdk

这样我们创建的jdk软连接就指向了jdk1.8.0_65文件夹。

4.配置jdk环境变量

jdk的环境变量在/etc/profile中配置,我们通过编辑 /etc/profile,在这个文件的末尾添加上

1
2
3
#java
export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin


在加入这两行配置之后,我们需要使文件生效,我们要用命令行
1
$>source /etc/profile
5.测试jdk安装 安装完成后像在win10或者macos上测试一样,使用java -verion,如果出现以下界面,就表示jdk安装成功!

这一篇文章同样是进行虚拟节点hadoop环境的配置,在本章中介绍了一些远程登录工具,我们能通过这些工具登录进去我们的虚拟节点或者公司的服务器中,还有就是介绍了节点的jdk安装,同时希望读者认真阅读,并在自己节点上安装,同时应该注意的是,每一个节点都应该安装jdk,所以请读者朋友在你各个节点上都配置好。

本文标题:大数据处理平台Hadoop(三)

文章作者:陈紫良

发布时间:2019年08月05日 - 17:47

最后更新:2019年08月30日 - 19:14

原始链接:https://chen-tzliang.github.io/2019/08/05/hadoop-3/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

-------------本文结束感谢您的阅读-------------