#前面一篇博客已经接触过Filebeat这个轻量级客户端，这里跟着官网详细介绍一下。此篇就是翻译官网，可略过。一、Beats平台介绍1.1 Beats介绍 Beats是开源数据发送者，可以将其作为代理安装在您的服务器上，以将不同类型的运营数据发送到Elasticsearch。Beats可以直接发送数据到Elasticsearch或通过Logstash发送到Elasticsearch，可以使用它来分析和转换数据。 &
还是得先顺着官网了解一波：https://www.elastic.co/products/logstash 一、跟着官网学习下Logstash的基本概念(官网翻译可忽略) 集中，转换和隐藏。您的数据Logstash是一个开源的服务器端数据处理管道，可以同时从多个源中获取数据，并将其转换为您喜欢的“存储”（自然是Elasticsearch）。）1.1 Logstash 6.0.0新增功能用多条管道简化处理： Logstash 6.0引入了针对不同用例同时运行多个管道的
一、部署Kibana官方文档：https://www.elastic.co/guide/en/kibana/current/index.html 1.1 安装Kibana#我们就专门搞了一台机器做kibana，所以这里也单独的搞一台机器192.168.14.66做kibana。先把Elasticsearch装一遍：http://www.51niux.com/?id=201 $ vim /home/elk/elasticsearch/config/elasticsearch.yml cl
前面已经对flume这种日志收集方式进行了记录http://www.51niux.com/?id=196，这里开始记录ELK的日志收集。ELK大家已经很熟悉了主要是用来日志收集分析展示。一、ELK介绍1.1 ELK简介 一个完整的集中式日志系统，是离不开以下几个主要特点的：收集－能够采集多种来源的日志数据
传输－能够稳定的把日志数据传输到中央系统
存储－如何存储日志数据
分析－可以支持 U
网络压缩测试工具多种多样，这里也不详细一一列举了，就简单记录一下。#首先有个Google的BBR优化算法非常牛逼，最新版本的Linux内核已经集成了该算法，该算法是一个优化网络堵塞的算法。开启BBR的机器首先在网络正常的情况下就比不开启的机器网络性能要高20%左右，随着丢包率和延时的增大，BBR算法的跟不开启BBR算法的Linux机器在响应速度上差距也越来越大，所以BBR算法挺厉害的，在这里记录一下。部署链接地址：https://segmentfault.com/a/11900000083958
#我擦前面又把官网翻译了一遍，现在写一些例子把前面的知识捋一下，虽然前面又好多的source、channel、sink，但是实际用到的也不多。一、简单本机示例1.1 使用memory做channel、exec做source、file_roll做sink设置一个测试.conf：$ vim /home/flume/flume/conf/exec_test1.conf a1.sources = source1 &
一、Flume channel Selectors（筛选器）如果没有指定类型，则默认为replicating（“复制”）。1.1 Replicating Channel Selector (default)selector.type #默认值是replicating 组件类型名称需要replicating
selector.optional #将被标记为可选的通道集合agent名称为a1，source为r
http://www.51niux.com/?id=196 #已经对flume进行了介绍，也参照官网搭建了简单的agent端，这里还是参照官网，将配置文件的各种参数记录一下。一、Flume Sources配置参数详解1.1 Avro Source 监听Avro端口并接收来自外部Avro客户端流的事件。 当与另一个（前一跳）Flume agent内置的Avro Sink配对时，它可以创建分层收集拓扑。
flume要好好总结一下，15年接触flume的时候真的是资料太少了，基本就是抱着官网啃然后就一个flume群人多点进去问问题，然后网上的博客很少，现在好多了。当时学习源于美团的一片文章：https://tech.meituan.com/mt-log-system-arch.html #棒的飞起，也可以看看其他的技术分享。flume官网：http://flume.apache.org/一、flume介绍（还是照着官网来）1.1 什么是flume？
一、kafka介绍官网：http://kafka.apache.org/ 1.1 kafka是什么？ ApacheKafka是一个分布式流媒体平台。 Kafka是一种高吞吐量的分布式发布订阅的消息队列系统，原本开发自LinkedIn，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统