科多大数据培训
全国24小时免费热线
15328019568
联系QQ
3048661160
开班时间
当前位置:首页 > 学习资讯 > 大数据内容 >

大数据架构Hadoop中HDFS的存储说明

众所周知,Hadoop中一个重要的组建就是HDFS,主要负责存储,可是很多小伙伴对该组建不太清楚,今天我们侧重介绍一下关于该组建实际存储的操作 1、在hdfs中会默认给我们提供一个,统

众所周知,Hadoop中一个重要的组建就是HDFS,主要负责存储,可是很多小伙伴对该组建不太清楚,今天我们侧重介绍一下关于该组建实际存储的操作
1、在hdfs中会默认给我们提供一个,统一的存储文件的位置。需要找到该文件存储在什么位置下?
   hdfs namenode -format
  执行以上内容之后,会生成存储目录。默认是在/tmp/hadoop-root/dfs
  root指的是当前操作用户名。
  /tmp 目录会在电脑重启或者空间不够时,会将tmp目录中的数据进行删除(linux自己会做)
  在安装好hdfs之后。会将数据目录,修改为非/tmp目录下(就可以保证数据的持久化)
  可以在core-site.xml文件中配置hadoop.tmp.dir目录。
   在配置的时候,最好把服务停止:stop-dfs.sh
 
   4yy   然后把光标移动到需要粘贴的位置,按一下p键

  当存储目录发生改变时,需要进行重新格式化。
2、如果hadoop集群一共有1千个节点(一台服务器)。如果在执行start-dfs.sh时。会让你输入1千+次密码!而且在停止的时候的,还得输入1千+。所以需要采用一种解决方案?
免密:在启动的时候不需要输入密码
加密方式一般分为两大类:对称加密和非对称加密
 

linux提供生成加密算法的命令
   ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
-t:采用什么加密方式  dsa/rsa
-P:错位符,防止用户得到密文之后,如果是统一的话,可以猜测出来。
-f:是生成之后会有公钥和私钥,存在什么目录下。
生成这个东西,是以用户为单位。并不是linux整个。不同的用户,如果需要做免密,需要执行多次。而且只能生存在~/.ssh目录下。
会在.ssh目录下,生成id_dsa(私钥)  id_dsa.pub(公钥)
生成之后,需要将公钥放在指定的位置处。
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

最新资讯更多+
内容推荐更多+
在线课堂
猜你喜欢