打开APP
未登录
开通VIP,畅享免费电子书等14项超值服
开通VIP
首页
好书
留言交流
下载APP
联系客服
logstash
风_宇星
>《日志分析统计》
2015.05.11
关注
Logstash
官方文档地址:
http://logstash.net/docs/1.4.2/tutorials/getting-started-with-logstash
logstash介绍参考自:
http://www.infoq.com/cn/articles/review-the-logstash-book
http://storysky.blog.51cto.com/628458/1158707/
What it is :Jruby编写的开源日志管理项目
Why use it: LogStash架构专为收集、分析和存储日志所设计。
组合使用:
LogStash使用一个开源Key/Value数据库Redis,用于在索引前队列化日志。同时还使用Elasticsearch索引化、存储日志,并作为查看系统的后端,使用kibana作为页面前端显示。
注:
Redis不做存储(keys * 没有缓存信息)
Elasticsearch会做索引并且本地存储,所以即使关闭elasticsearch,如果没有清空存储的话,下次启动还是会有原来的日志信息的。
Logstash 默认是从启动之后开始读取日志信息,即如果读取的日志文件中有之前的日志(但是在logstash启动之前的,logstash是不做读取的)。如果logstash在启动之后停止了,之后启动时停止期间的日志也是不会被读取的。
Elasticsearch 清理索引信息:
http://storysky.blog.51cto.com/628458/1179906
开始:
1、安装
2、编写配置文件
3、组合redis、elasticsearch
安装:
curl -O https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz
tar zxvf logstash-1.4.2.tar.gz
logstash是开箱即用的软件,类似于windows上的免安装的绿色版本。
Logstash解压缩之后的目录结构
命令行输如入/出测试:
Java代码
bin/logstash -e 'input { stdin { } } output { stdout {} }'
stdin :命令行参数输入
stdout:命令行输出。
-e默认以后面给定字符作为配置(不启用.conf的配置文件)
详细安装启动过程参考:
http://storysky.blog.51cto.com/628458/1158707/
ps: 最新版本的logstash中是默认内置了kibana和elasticsearch的
Elasticsearch
ElasticSearch 是构建在Apache Lucene之上的的搜索引擎服务,开源(Apache2协议),分布式,提供RESTful风格支持。
http://www.nosqldb.cn/1368777378160.html
Logstash命令行默认参数
特殊案例说明:
1、删除全部日志文件之后是否还能够保存数据
logstash不提供存储功能,redis只做队列处理,不做缓存,elasticsearch做索引、本地持久化处理,因此,只要elasticsearch未停止,日志信息是不会丢失的。
elasticsearch提供了清理索引的接口:
# curl -XDELETE 'http://172.16.1.16:9200/logstash-2013.03.*'
清理掉了所有 3月份的索引文件
主页上的详细介绍,
http://www.elasticsearch.org/guide/reference/api/delete/
2、logstash重启之后是否能够保存数据
logstash重启之后,停止期间的日志信息是不会读取的。
http://chenryn.gitbooks.io/logstash-best-practice/
https://github.com/chenryn/logstash-best-practice-cn
In the end. 谢谢我的同事伟航,帮助的整理。
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请
点击举报
。
打开APP,阅读全文并永久保存
查看更多类似文章
猜你喜欢
类似文章
【热】
打开小程序,算一算2024你的财运
搭建logstash+kibana+elasticsearch+redis搭建集中式日志分析平台
苦逼运维的elk之路(1)
Elasticsearch、Logstash、Kibana搭建统一日志分析平台
使用ElasticSearch+LogStash+Kibana+Redis搭建日志管理服务
分布式日志收集之Logstash 笔记(一)
ELK部署详解
更多类似文章 >>
生活服务
热点新闻
留言交流
回顶部
联系我们
分享
收藏
点击这里,查看已保存的文章
导长图
关注
一键复制
下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!
联系客服
微信登录中...
请勿关闭此页面
先别划走!
送你5元优惠券,购买VIP限时立减!
5
元
优惠券
优惠券还有
10:00
过期
马上使用
×