柴少的官方网站 技术在学习中进步，水平在分享中升华

Hadoop（四）增加/删除节点与安全模式

hadoop使用的是HDFS分布式文件系统，既然是存储就可能要面临存储节点磁盘使用达到预警值的情况，当出现这种情况的时候，要么你就清理一下，那么就要新增数据存储节点了，这两种方式我们都采取过.一、增加datanode节点1.1 静态添加静态新增的方式，就相当于一开始部署hdfs集群规划一样，停止NameNode服务，新增数据节点。下面是操作步骤：停止服务（namenode节点操作）$ /home/hadoop/hadoop/sbin/stop-all.sh 修改配置文件slaves文件（name
作者:忙碌的柴少 分类:大数据 浏览:6264 评论:0

Hadoop（三）hadoop支持lzo

一、集群测试前面已经记录了集群的搭建以及一些命令的操作。1.1 在主节点上面查看集群的状态$ hdfs dfsadmin -report  #打印集群的信息Configured Capacity: 8449759969280 (7.69 TB) Present Capacity: 8017074094080 (7.29 TB) DFS Remaining: 8012713713664
作者:忙碌的柴少 分类:大数据 浏览:12114 评论:2

检测硬盘故障

物理机群过多的话，硬盘故障是不可避免的问题，如何及时的监控物理硬盘的问题，然后出问题了应汇报出来方便硬盘及时的更换等，当着有很多种方式，定时任务脚本啊，监控工具啊等。普通硬盘故障的检测方式：我这里就先记录一种通过过滤/var/log/messages日志的方式来检测硬盘故障的方式。本来打算贴下两年前写的脚本加定时任务的方式，后来想了下每个人写脚本的习惯和方式可能不一样，就简单记录下当时是怎么想的了。egrep -i 'sd[a-z]*.*err|error*.*sd[a-z]|sd[a-
作者:忙碌的柴少 分类:解决小问题 浏览:4563 评论:0

Hadoop（二）操作命令与目录结构

上一章：http://www.51niux.com/?id=175   #已经对hadoop进行了介绍和hadoop的集群部署做了介绍，这里在深入的继续记录。官网文档：https://hadoop.apache.org/docs/   #这里有各个版本的一些文档一、操作命令1.1 Hadoop命令概述：官网文档：https://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-common/CommandsMan
作者:忙碌的柴少 分类:大数据 浏览:5985 评论:0

Hadoop（一）介绍与部署

       写博客被朋友喷，写个东西也不介绍下，谁知道你写的是个什么东西，干什么的。好的下面对hadoop好好介绍介绍。       Hadoop是Apache开源组织的一个分布式计算开源框架(http://hadoop.apache.org/)，Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成
作者:忙碌的柴少 分类:大数据 浏览:19544 评论:0

JumpServer旧版本安装部署

堡垒机大家都已经不在陌生，堡垒机不仅仅是跳板机，还会有操作日志审计等一系列的功能，简而言之就是你对服务器的操作就是交给堡垒机，堡垒机会验证你的权限，有对应主机的权限才能做相应的操作。堡垒机分商业的也分开源的，当然开源大家印象比较深的就是jumpserver。这些概念性的东西百度一搜很多的，很详细。jumpserver官网：http://www.jumpserver.org/jumpserver源码下载：https://github.com/jumpserver/jumpserverjumpser
作者:忙碌的柴少 分类:Jumpserver 浏览:24425 评论:3

inotify+rsync实时同步慢的问题

     当然现在基本各种分布式的情况下，用到inotify+rsync进行目录的实时同步的形式场景已经不是很多了，但是还是有点的，比如机器规模少就两台机器间进行数据同步，可能就要简单的来搞一搞。这里就不说rsyncd服务器怎么搭建了，以前有一篇记录。      Inotify 是一个 Linux特性，它监控文件系统操作，比如读取、写入和创建。Inotify 反应灵敏，用法非常简单，并且比 cron 任务的
作者:忙碌的柴少 分类:解决小问题 浏览:5766 评论:0

Haproxy(二)详细记录

http://www.51niux.com/?id=155   #已经记录了haproxy的简单搭建部署和参数，这里记录集中场景 一、各种负载均衡1.1 tcp反向代理tcp 22端口反向代理：# vim /etc/haproxy/haproxy.cfg  #在最后添加一段配置，反向代理一个22端口再反向代理一个80端口listen test_ssh         bind 
作者:忙碌的柴少 分类:负载均衡 浏览:13392 评论:0

OpenStack(四)Cinder结合Ceph做多存储后端

http://www.51niux.com/?id=170  #已经介绍了cinder以及如何简单的使用LVM做后端存储，这里呢主要是针对与Ceph的结合来做介绍。http://www.51niux.com/?id=162   #已经记录了ceph的部署过程http://docs.ceph.com/docs/master/rbd/rbd-openstack/   #ceph官网记录了openstack如何跟ceph结合使用一、配置Ceph为Openstac
作者:忙碌的柴少 分类:OpenStack 浏览:17160 评论:2

OpenStack(三)Cinder结合LVM做云盘

一、OpenStack简介第一部分的文字及图片内容来自《Openstack实战指南》。1.1 OpenStack的结构OpenStack包含了许多组件。有些组件会首先出现在孵化项目中，待成熟以后进入下一个OpenStack发行版的核心服务中。OpenStack的核心服务包括：Nova  #计算服务（Compute as a Service） Neutron  #网络服务（Network as a 
作者:忙碌的柴少 分类:OpenStack 浏览:16490 评论:1