柴少的官方网站 技术在学习中进步，水平在分享中升华

大数据(七)部署spark

Spark官网：http://spark.apache.org/一、Spark介绍1.1 Spark是什么？      Spark最初由美国加州伯克利大学（UCBerkeley）的AMP（Algorithms, Machines and People）实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark在诞生之初属于研究性项目，其诸多核心理念均源自学术研究论文。2013年，Spark加
作者:忙碌的柴少 分类:大数据 浏览:6309 评论:0

Docker(一)介绍与镜像介绍

一、Docker内容介绍1.1 云计算平台介绍       云计算是一种资源的服务模式，该模式可以实现随时随地、便捷按需地从可配置计算资源共享池中获取所需的资源（如网络、服务器、存储、应用及服务），资源能够快速供应并释，大大减少了资源管理工作开销。       经典云计算架构包括IaaS（Infrastructure as a Service,基础设施即服务）、PaaS(Platform-as-a-Service:平
作者:忙碌的柴少 分类:Docker 浏览:7582 评论:0

zabbix示例之监控Redis状态（九）

监控redis也是通过info信息来监控redis的状态：http://www.51niux.com/?id=130    #此链接里面有info信息各参数的意思一、 zabbix监控单实例redis（通过自动发现的方式）#这种方式呢也是不太推荐的一种方式，虽然比较省事，但是在出图上面就有点麻烦了，这里脚本格式就不写的那么严谨了。1.1 客户端的配置自动发现脚本编写：# cat /etc/zabbix/scripts/redis_parameter   #
作者:忙碌的柴少 分类:zabbix 浏览:5940 评论:0

zabbix示例之监控TCP状态（八）

前面已经对zabbix进行了系统的介绍，感觉例子还是少一点，这里呢再写一些监控示例完善一下。一、zabbix监控TCP状态1.1 Shell端的操作这个tcp的连接状态，一般在排查问题的时候会提高很好的参考依据，所以这个一般是要监控上的。#netstat -an |awk '/(^tcp)/{++state[$NF]}END{for(key in state)print key"\t"state[key]}' TIME_WAIT  
作者:忙碌的柴少 分类:zabbix 浏览:7826 评论:0

大数据（六）Zookeeper分布式集群的搭建

一、Zookeeper介绍官网介绍文档：http://zookeeper.apache.org/doc/trunk/zookeeperOver.html1.1 Zookeerper简介        ZooKeeper本质上是一个分布式的小文件存储系统。原本是Apache Hadoop的一个组件，后来被拆分为一个Hadoop的独立子项目，现已经成为 Apache 的顶级项目。     &
作者:忙碌的柴少 分类:大数据 浏览:4954 评论:0

修复rpmdb损坏故障

进行任何rpm操作时提示：#rpm -qa|grep openssl|grep openssl-1.0.1e|wc -lerror: db3 error(12) from dbenv->open: Cannot allocate memory error: db3 error(12) from dbenv->close: Cannot allocate&
作者:忙碌的柴少 分类:解决小问题 浏览:9553 评论:0

Hadoop（五）HA高可用

前面我们玩的都是单点namenode，如果namenode出问题了后者说元数据丢失了一部分，那就呵呵哒了，这也是以前存在的一个很大的安全隐患，但是现在已经不是啥问题了。再来吹一波。HDFS就是Hadoop加DFS，所以我们这里就用Hadoop HA来统称了。一、Hadoop HA的发展史1.1 hadoop 1.0的单点问题在hadoop 1.0时代，只有一个Namenode，这也是被人胆小的地方，用各种措施来保证元数据的安全。如果NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。
作者:忙碌的柴少 分类:大数据 浏览:7030 评论:0

Hadoop（四）增加/删除节点与安全模式

hadoop使用的是HDFS分布式文件系统，既然是存储就可能要面临存储节点磁盘使用达到预警值的情况，当出现这种情况的时候，要么你就清理一下，那么就要新增数据存储节点了，这两种方式我们都采取过.一、增加datanode节点1.1 静态添加静态新增的方式，就相当于一开始部署hdfs集群规划一样，停止NameNode服务，新增数据节点。下面是操作步骤：停止服务（namenode节点操作）$ /home/hadoop/hadoop/sbin/stop-all.sh 修改配置文件slaves文件（name
作者:忙碌的柴少 分类:大数据 浏览:5852 评论:0

Hadoop（三）hadoop支持lzo

一、集群测试前面已经记录了集群的搭建以及一些命令的操作。1.1 在主节点上面查看集群的状态$ hdfs dfsadmin -report  #打印集群的信息Configured Capacity: 8449759969280 (7.69 TB) Present Capacity: 8017074094080 (7.29 TB) DFS Remaining: 8012713713664
作者:忙碌的柴少 分类:大数据 浏览:11662 评论:2

检测硬盘故障

物理机群过多的话，硬盘故障是不可避免的问题，如何及时的监控物理硬盘的问题，然后出问题了应汇报出来方便硬盘及时的更换等，当着有很多种方式，定时任务脚本啊，监控工具啊等。普通硬盘故障的检测方式：我这里就先记录一种通过过滤/var/log/messages日志的方式来检测硬盘故障的方式。本来打算贴下两年前写的脚本加定时任务的方式，后来想了下每个人写脚本的习惯和方式可能不一样，就简单记录下当时是怎么想的了。egrep -i 'sd[a-z]*.*err|error*.*sd[a-z]|sd[a-
作者:忙碌的柴少 分类:解决小问题 浏览:3627 评论:0