柴少的官方网站 技术在学习中进步,水平在分享中升华

大数据(六)Zookeeper分布式集群的搭建

一、Zookeeper介绍官网介绍文档:http://zookeeper.apache.org/doc/trunk/zookeeperOver.html1.1 Zookeerper简介        ZooKeeper本质上是一个分布式的小文件存储系统。原本是Apache Hadoop的一个组件,后来被拆分为一个Hadoop的独立子项目,现已经成为 Apache 的顶级项目。     &
作者:忙碌的柴少 分类:大数据 浏览:4437 评论:0

Hadoop(五)HA高可用

前面我们玩的都是单点namenode,如果namenode出问题了后者说元数据丢失了一部分,那就呵呵哒了,这也是以前存在的一个很大的安全隐患,但是现在已经不是啥问题了。再来吹一波。HDFS就是Hadoop加DFS,所以我们这里就用Hadoop HA来统称了。一、Hadoop HA的发展史1.1 hadoop 1.0的单点问题在hadoop 1.0时代,只有一个Namenode,这也是被人胆小的地方,用各种措施来保证元数据的安全。如果NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。
作者:忙碌的柴少 分类:大数据 浏览:6282 评论:0

Hadoop(四)增加/删除节点与安全模式

hadoop使用的是HDFS分布式文件系统,既然是存储就可能要面临存储节点磁盘使用达到预警值的情况,当出现这种情况的时候,要么你就清理一下,那么就要新增数据存储节点了,这两种方式我们都采取过.一、增加datanode节点1.1 静态添加静态新增的方式,就相当于一开始部署hdfs集群规划一样,停止NameNode服务,新增数据节点。下面是操作步骤:停止服务(namenode节点操作)$ /home/hadoop/hadoop/sbin/stop-all.sh 修改配置文件slaves文件(name
作者:忙碌的柴少 分类:大数据 浏览:5270 评论:0

Hadoop(三)hadoop支持lzo

一、集群测试前面已经记录了集群的搭建以及一些命令的操作。1.1 在主节点上面查看集群的状态$ hdfs dfsadmin -report  #打印集群的信息Configured Capacity: 8449759969280 (7.69 TB) Present Capacity: 8017074094080 (7.29 TB) DFS Remaining: 8012713713664
作者:忙碌的柴少 分类:大数据 浏览:11067 评论:2

Hadoop(二)操作命令与目录结构

上一章:https://www.51niux.com/?id=175   #已经对hadoop进行了介绍和hadoop的集群部署做了介绍,这里在深入的继续记录。官网文档:https://hadoop.apache.org/docs/   #这里有各个版本的一些文档一、操作命令1.1 Hadoop命令概述:官网文档:https://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-common/CommandsMan
作者:忙碌的柴少 分类:大数据 浏览:4825 评论:0

Hadoop(一)介绍与部署

       写博客被朋友喷,写个东西也不介绍下,谁知道你写的是个什么东西,干什么的。好的下面对hadoop好好介绍介绍。       Hadoop是Apache开源组织的一个分布式计算开源框架(http://hadoop.apache.org/),Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成
作者:忙碌的柴少 分类:大数据 浏览:17694 评论:0