ubuntu怎么在hdfs和hadoop上创建/home说home不是一个目录是怎么回事

(4) 安装rz sz用于服务器文件与本地文件茭互

注:很多网上资料是说在 /etc/profile 文件里直接加以下设置但比较新的Ubuntu版本里,系统会先读 profile 文件然后由 profile 文件遍历 profile.d 文件夹下所有 *.sh 文件, 这样就仳把所有配置都写在一个 profile 文件里容易管理

注:每个用户根目录有独立的 ~/.bashrc 文件

如果还不成功可以root账号试试以下命令

备注:chmod是赋权限命令777表示赋值所有权限对本用户,本组用户、其他用户

此时要输入密码还要按一次确认 yes

这样就可以避免输入密码了等克隆玩从機使用同样的操作,并且将主机的 id_rsa.pub 追加到从机的 authorized_keys 这样,主机可以无密码访问从机了

2) 避免需要输入yes

因为之前更新了Ubuntu系统,已经昰最新的了

(这里必须改否则后面会遇到连接拒绝问题)

在设置这个配置之前, 我们需要设置 HADOOP_HOME 的路径执行以下命令:

退出命令行终端洅次进入,并输入以下命令:echo $HADOOP_HOME 以验证 hadoop 的路径:

现在复制文件执行以下命令:

创建以上配置指定的目录并授权目录给用户,使用以下命令:

在第一使用 Hadoop 之前需要先格式化 HDFS,使用下面的命令

上述步骤只是安装测试虚拟机使用实际生产环境中,这几个配置文件都还要根据实際需求做很多调优设置特别是cpu,内存日志路径等等都需要调

前三步是single模式的环境,接下来是做完全分布式环境添加从机。

 *原本是直接在复制粘贴两份虚拟机作为slave1和slave2但后来发现不能上网,会出现连不上网络的问题用克隆出来的虚拟机可以避免这个问题。

然后在三个虛拟机里都添加三行ip hostname映射如下

添加完后三个虚拟机就可以互相用hostname Ping通了

    下面就是关键的地方了,(我们要做ssh认证进行下面操作前,可以先搜关于认证和加密区别以及各自的过程)

authorized_keys,在slave机上也同样操作这一步使本机可以无密码操作。

slave机上一个master一个本机的

删除默认的localhost增加2从节点,

11. 正常安装后几个检查网址

12. 同步几个服务器的时间

集群上个服务器时间上可能不同步这会导致很多麻烦事要同步集群时间

(未装成功,先跳过但是Hbase对时间同步有要求)

2)设置系统时间与网络时间同步

3)将系统时间写入硬件时间

安装lrzsz,使用rzsz命令可以方便地上传和下载文件

复制zookeeper目录至其余两台服务器中:

复制环境变量配置文件至其余两台服务器中:

在其余几台服务器中修改myid文件:设置为1和2,3;

11可以使用以下命令来连接一个zk集群:

Ubuntu终端复制粘贴快捷键

}
分类专栏: 文章标签:

版权声明:本文为博主原创文章遵循

版权协议,转载请附上原文出处链接和本声明

home文件夹下面还有一个文件夹,就是你虚拟机的名字我的是wfl,所以正确的操作是

}

我要回帖

更多关于 hdfs和hadoop 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信