大数据：数据采集平台之Logstash
发布时间：2022-10-11 11:20:57 所属栏目：大数据 来源：
导读： 大数据：数据采集平台之Logstash
Apache Flume
详情请看文章：《大数据：数据采集平台之Apache Flume》
Fluentd
详情请看文章：《大数据：数据采集平台之Fluentd》
Log
Apache Flume
详情请看文章：《大数据：数据采集平台之Apache Flume》
Fluentd
详情请看文章：《大数据：数据采集平台之Fluentd》
Log
|
大数据：数据采集平台之Logstash Apache Flume 详情请看文章：《大数据：数据采集平台之Apache Flume》 Fluentd 详情请看文章：《大数据：数据采集平台之Fluentd》 Logstash 详情请看文章：《大数据：数据采集平台之Logstash》 Apache Chukwa 详情请看文章：《大数据：数据采集平台之Apache Chukwa 》 Scribe 详情请看文章：《大数据：数据采集平台之Scribe 》 Splunk Forwarder 详情请看文章：《大数据：数据采集平台之Splunk Forwarder》 官网： Logstash 是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。 Logstash用JRuby开发，所以运行时依赖JVM。 Logstash的部署架构如下图，当然这只是一种部署的选项。 一个典型的Logstash的配置如下，包括了Input，filter的Output的设置。 input { file { type =>"apache-access" path =>"/var/log/apache2/other_vhosts_access.log" } file { type =>"pache-error" path =>"/var/log/apache2/error.log" } } filter { grok { match => {"message"=>"%(COMBINEDAPACHELOG)"} } date { match => {"timestamp"=>"dd/MMM/yyyy:HH:mm:ss Z"} } } output { stdout {} redis { host=>"192.168.1.289" data_type => "list" key => "logstash" } } 几乎在大部分的情况下ELK作为一个栈是被同时使用的。所有当你的数据系统使用ElasticSearch的情况下大数据搜集，logstash是首选。 （编辑：财气旺网 - 海宁网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐