柴少的官方网站 技术在学习中进步,水平在分享中升华

ELK利用GeoIP映射用户地理位置(十二)

      IP地址位置用于确定IP地址的物理位置,因为ELK已经收集了web日志,如果通过ELK分析出来用户来源地址的比例,那么多网站机构的调整都是非常有帮助的。一、跟着官网了解一波Geoip       GeoIP过滤器根据来自Maxmind GeoLite2数据库的数据添加有关IP地址的地理位置的信息。1.1 支持的数据库       这个插件与开箱即用的GeoLite2(http
作者:忙碌的柴少 分类:ELK 浏览:24226 评论:7

ELK加入Redis队列(十一)

#如果消息量比较大的话怕ES顶不住,然后再其前端加了一层消息队列减轻压力,将logstash采集到的数据写入redis然后再通过logstash从redis把数据拿出来写入到ES中。当然redis是内存级缓存,而且是持久化存储,如果量比较大的话需要内存就打、太奢侈。我这里线上也没用这种方式,这里也就是简单的记录一下,主要是一种缓冲思路嘛。一、架构简单介绍1.1 架构介绍#此图来自于:http://blog.csdn.net/u010636606/article/details/71237248
作者:忙碌的柴少 分类:ELK 浏览:6706 评论:3

安装X-Pack(十)

#官网链接:https://www.elastic.co/guide/en/x-pack/current/index.html       #只是用官网文档做文字方面的介绍。      X-Pack是一个Elastic Stack扩展,它将安全性,警报,监视,报告和图形功能捆绑到一个易于安装的软件包中。 虽然X-Pack组件旨在无缝地一起工作,但可以轻松启用或禁用要使用的功能。      在Ela
作者:忙碌的柴少 分类:ELK 浏览:27650 评论:4

Kibana详细记录(九)

#基本全是翻译官网可略过。一、开始1.1 加载示例数据提取文件:$ wget https://download.elastic.co/demos/kibana/gettingstarted/accounts.zip$ wget https://download.elastic.co/demos/kibana/gettingstarted/logs.jsonl.gz$ wget https://download.elastic.co/demos/kibana/gettingstarted/shak
作者:忙碌的柴少 分类:ELK 浏览:20424 评论:2

ELK收集mysql慢查询日志(八)

#这个mysql日志也没有收集,我们就是收集web日志来着,正好大家一起来学习下。#http://www.51niux.com/?id=203  了解了可以在Logstash那里用在filter区域用各种插件将message转换。#http://www.51niux.com/?id=207   了解了可以在filebeat端直接对事件进行转换然后直接就是让logstash转发一下就可以了。一、正则表达式支持#前面已经有nginx log日志的例子了,所以我们知道过滤其实就是把
作者:忙碌的柴少 分类:ELK 浏览:7724 评论:4

ELK日志收集实例(七)

#前面记录了一大波,这里记录一些小例子捋一下。一、再以收集nginx为例#前面记录了在Logstash端通过grok将日志转换成json形式,这里记录一种直接在客户端就将nginx转换成json形式。1.1 Filebeat客户端的操作nginx端的配置# cat /usr/local/nginx/conf/nginx.conf    log_format  main  '$remote_addr 
作者:忙碌的柴少 分类:ELK 浏览:6243 评论:13

Elasticsearch集群监控和版本升级(六)

#Elasticsearch集群已经部署起来了,那么平时就需要了解一下集群的整体健康情况,当然开篇说的Cerebro插件就是一种查看集群状态的工具。一、集群监控指标学习Elasticsearch集群监控状态指标分三个级别:集群级别:集群级别的监控主要是针对整个Elasticsearch集群来说,包括集群的健康状况、集群的状态等。节点级别:节点级别的监控主要是针对每个Elasticsearch实例的监控,其中包括每个实例的查询索引指标和物理资源使用指标。索引级别:索引级别的监控主要是针对每个索引来
作者:忙碌的柴少 分类:ELK 浏览:6380 评论:0

Logstash多配置文件启动(五)

一、配置Logstash(跟着官网学习一下可直接忽略)1.1 配置文件结构Logstash配置文件为要添加到事件处理管道的每种类型的插件都有一个单独的部分。 例如:# This is a comment. You should use comments to describe # parts of your configuration. input&nb
作者:忙碌的柴少 分类:ELK 浏览:19285 评论:6

Beats详解(四)

#前面一篇博客已经接触过Filebeat这个轻量级客户端,这里跟着官网详细介绍一下。此篇就是翻译官网,可略过。一、Beats平台介绍1.1 Beats介绍       Beats是开源数据发送者,可以将其作为代理安装在您的服务器上,以将不同类型的运营数据发送到Elasticsearch。Beats可以直接发送数据到Elasticsearch或通过Logstash发送到Elasticsearch,可以使用它来分析和转换数据。 &
作者:忙碌的柴少 分类:ELK 浏览:20970 评论:10

Logstash日志收集(三)

还是得先顺着官网了解一波:https://www.elastic.co/products/logstash 一、跟着官网学习下Logstash的基本概念(官网翻译可忽略) 集中,转换和隐藏。您的数据Logstash是一个开源的服务器端数据处理管道,可以同时从多个源中获取数据,并将其转换为您喜欢的“存储”(自然是Elasticsearch)。)1.1 Logstash 6.0.0新增功能用多条管道简化处理: Logstash 6.0引入了针对不同用例同时运行多个管道的
作者:忙碌的柴少 分类:ELK 浏览:27070 评论:18