ELK日志收集ELK原理与介绍为什么用到ELK：一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统……继续阅读 » 1年前 (2021-03-02) 151浏览 0评论0个赞
（一）简述： filebeat：具有日志收集功能，是下一代的Logstash收集器，但是filebeat更轻量，占用资源更少，适合客户端使用。 redis：Redis 服务器通常都是用作 NoSQL 数据库，不过 logstash 只是用来做消息队列。 logstash：主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方……继续阅读 » 1年前 (2021-03-01) 183浏览 0评论0个赞
相信很多探索ELK的朋友和我一样，总是想把nginx访问日志的索引名称修改为自己想要的名称模式，例如：nginx-access-YY.MM.DD，不相信使用默认的必须以logstash-开头的，但是就这一个更改却可能带来很多的问题，比较常见的是自定义的映射模板导入失败，参数不生效，geoip的定位信息无法在kibana中调用，笔者也是吃尽了苦头，查阅了……继续阅读 » 1年前 (2021-02-27) 156浏览 0评论0个赞
ELK的基础架构搭建相对来说还是比较容易的，架构搭建完成后一个重要任务就是如何把生产中的服务器日志给解析好后存进Elasticsearch了，这个过程中间最关键的一步就是如何使用filter插件格式化日志数据的问题。笔者在此过程中也是被grok的正规表达式磨到想哭的地步，所以大家也不要遇到一点困难就选择放弃了！logstash格式化日志的插件比较多，……继续阅读 » 1年前 (2021-02-26) 151浏览 0评论0个赞
#nginx访问日志的格式，方便使用filebeat通过json的格式收集和推送到logstash解析；log_format elk ‘{"@timestamp": "$time_iso8601", ‘‘"request_id": "$request_……继续阅读 » 1年前 (2021-02-25) 151浏览 0评论0个赞
日志格式：LogFormat "%{clientip}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%{clientip}i.%{cookie}n\"" combi……继续阅读 » 1年前 (2021-02-25) 160浏览 0评论0个赞
filebeat 6.4.3 采集 nginx日志nginx 日志格式规范：将日志配置组合添加至nginx主配置文件； log_format eslog '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_b……继续阅读 » 1年前 (2021-02-24) 168浏览 0评论0个赞
1，先来看一下ELK的基础架构图和数据流向。FileBeat，从Web服务器搜集日志，通过LogStash 得5044端口，传输给LogStash做日志得过滤操作LogStash，接收来自FileBeat的日志，做日志分析、过滤，通过ElasticSearch 的9200端口，传输给ElasticSearch做存储、索引 （9300端口是ES集群间通讯使……继续阅读 » 1年前 (2021-02-23) 172浏览 0评论0个赞
filebeat写入kafka的配置：filebeat.inputs:- type: log paths: - /tmp/access.log tags: ["nginx-test"] fields: type: "nginx-test" log_topic: "nginxmessages" fields_unde……继续阅读 » 1年前 (2021-02-22) 165浏览 0评论0个赞
node1：elasticsearch、kibana、logstashnode2：filebeat1、如前文，下载 kibana 6.5.0 版 安装# rpm -ivh kibana-6.5.0-x86_64.rpm进入配置文件目录，修改配置文件# cd /etc/kibana/# ……继续阅读 » 1年前 (2021-02-22) 152浏览 0评论0个赞
