柴少的官方网站 技术在学习中进步，水平在分享中升华

Kibana展示简单部署（二）

一、部署Kibana官方文档：https://www.elastic.co/guide/en/kibana/current/index.html 1.1 安装Kibana#我们就专门搞了一台机器做kibana，所以这里也单独的搞一台机器192.168.14.66做kibana。先把Elasticsearch装一遍：http://www.51niux.com/?id=201 $ vim /home/elk/elasticsearch/config/elasticsearch.yml cl
作者:忙碌的柴少 分类:ELK 浏览:10392 评论:9

Elasticsearch集群部署（一）

前面已经对flume这种日志收集方式进行了记录http://www.51niux.com/?id=196，这里开始记录ELK的日志收集。ELK大家已经很熟悉了主要是用来日志收集分析展示。一、ELK介绍1.1 ELK简介            一个完整的集中式日志系统，是离不开以下几个主要特点的：收集－能够采集多种来源的日志数据 传输－能够稳定的把日志数据传输到中央系统 存储－如何存储日志数据 分析－可以支持 U
作者:忙碌的柴少 分类:ELK 浏览:19426 评论:13

网络测试工具

网络压缩测试工具多种多样，这里也不详细一一列举了，就简单记录一下。#首先有个Google的BBR优化算法非常牛逼，最新版本的Linux内核已经集成了该算法，该算法是一个优化网络堵塞的算法。开启BBR的机器首先在网络正常的情况下就比不开启的机器网络性能要高20%左右，随着丢包率和延时的增大，BBR算法的跟不开启BBR算法的Linux机器在响应速度上差距也越来越大，所以BBR算法挺厉害的，在这里记录一下。部署链接地址：https://segmentfault.com/a/11900000083958
作者:忙碌的柴少 分类:运维工具使用 浏览:7284 评论:5

大数据(十四)flume实例部署

#我擦前面又把官网翻译了一遍，现在写一些例子把前面的知识捋一下，虽然前面又好多的source、channel、sink，但是实际用到的也不多。一、简单本机示例1.1 使用memory做channel、exec做source、file_roll做sink设置一个测试.conf：$ vim /home/flume/flume/conf/exec_test1.conf a1.sources = source1      &
作者:忙碌的柴少 分类:大数据 浏览:5408 评论:0

大数据(十三)flume筛选器

一、Flume channel Selectors（筛选器）如果没有指定类型，则默认为replicating（“复制”）。1.1 Replicating Channel Selector (default)selector.type  #默认值是replicating  组件类型名称需要replicating  selector.optional   #将被标记为可选的通道集合agent名称为a1，source为r
作者:忙碌的柴少 分类:大数据 浏览:5534 评论:0

大数据(十二)flume的source、sink、channel详解

http://www.51niux.com/?id=196    #已经对flume进行了介绍，也参照官网搭建了简单的agent端，这里还是参照官网，将配置文件的各种参数记录一下。一、Flume Sources配置参数详解1.1 Avro Source       监听Avro端口并接收来自外部Avro客户端流的事件。 当与另一个（前一跳）Flume agent内置的Avro Sink配对时，它可以创建分层收集拓扑。
作者:忙碌的柴少 分类:大数据 浏览:13413 评论:0

大数据(十一)flume介绍

flume要好好总结一下，15年接触flume的时候真的是资料太少了，基本就是抱着官网啃然后就一个flume群人多点进去问问题，然后网上的博客很少，现在好多了。当时学习源于美团的一片文章：https://tech.meituan.com/mt-log-system-arch.html    #棒的飞起，也可以看看其他的技术分享。flume官网：http://flume.apache.org/一、flume介绍（还是照着官网来）1.1 什么是flume？  
作者:忙碌的柴少 分类:大数据 浏览:8456 评论:3

大数据(十)学习kafka集群部署

一、kafka介绍官网：http://kafka.apache.org/ 1.1 kafka是什么？          ApacheKafka是一个分布式流媒体平台。  Kafka是一种高吞吐量的分布式发布订阅的消息队列系统，原本开发自LinkedIn，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统
作者:忙碌的柴少 分类:大数据 浏览:7639 评论:0

Docker(七)Dockerfile

       Dockerfile是Docker用来构建镜像的文本文件，包含自定义的指令和格式。可以通过docker build命令从Dockerfile中构建镜像。这个过程与传统分布式集群的编排配置过程相似，且提供了一系列统一的资源配置语法。用户可以用这些统一的语法命令来根据需求进行配置，通过这份统一的配置文件，在不同的平台上进行分发，需要使用时就可以根据配置文件自动化构建同时，Dockerfile与镜像配合使用，使Docker在构建时可以充分利用镜像的
作者:忙碌的柴少 分类:Docker 浏览:3538 评论:0

Docker(四)网络管理

一、Docker网络基础配置官方文档：https://docs.docker.com/engine/userguide/networking/1.1 端口映射实现访问容指定端口不指定IP映射：在启动容器的时候，如果不指定对应参数，在容器外部是无法通过网络来访问容器内的网络应用和服务的。当容器中运行一些网络应用，要让外部访问这些应用时，可以通过-P或-p参数来指定端口映射。当使用-P标记时，Docker会随机映射一个49000~49900的端口至容器内部开放的网络端口。# docker run -
作者:忙碌的柴少 分类:Docker 浏览:5578 评论:0