output插件是经过了input，然后过滤结构化数据之后，接下来我们需要借助output传到我们想传到的地方.output相当于一个输出管道。

将采集数据标准输出到控制台

配置示例

output {
    stdout {
        codec => rubydebug
       
    }
}

Codec 来自 Coder/decoder
两个单词的首字母缩写，Logstash 不只是一个input | filter | output 的数据流，
而是一个input | decode | filter | encode | output 的数据流，codec 就是用来decode、encode 事件的。
简单说，就是在logstash读入的时候，通过codec编码解析日志为相应格式，从logstash输出的时候，通过codec解码成相应格式。

演示：

input {stdin{}}
output {
    stdout {
        codec => rubydebug
    }
}

启动：bin/logstash -f /usr/local/elk/logstash-5.5.2/conf/template/stdout.conf
展示：
在这里插入图片描述

将采集数据保存到file文件中

需求：将数据采集到logstash的日志文件中，区分业务和采集日期（哪天采集的）

input {stdin{}}
output {
    file {
        path => "/usr/local/elk/logstash-5.5.2/logs/stdout/mobile-collection/%{+YYYY-MM-dd}-%{host}.txt"
        codec => line {
            format => "%{message}"
        }
        gzip => true

    }
}

启动：
bin/logstash -f /usr/local/elk/logstash-5.5.2/conf/template/stdout_file.conf
结果展示：
在这里插入图片描述

将采集数据保存到Elasticsearch

Logstash可以直接将采集到的信息下沉到elasticsearch中

input {stdin{}}
output {
    elasticsearch {
        hosts => ["hadoop01:9200"]
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
        flush_size => 20000.  #做批次执行，当数据量达到20000条以后，才会落地到es中
        idle_flush_time => 10 #当时间达到10S ，我们就落地到es中

        user => elastic
        password => changeme
    }
}

启动：bin/logstash -f /usr/local/elk/logstash-5.5.2/conf/template/stdout_es.conf
向控制台中输入6条数据：

192.168.77.1 - - [10/Apr/2018:00:44:11 +0800] "POST /api/metrics/vis/data HTTP/1.1" 200 505 "http://hadoop01/app/kibana" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
192.168.77.2 - - [10/Apr/2018:00:45:11 +0800] "POST /api/metrics/vis/data HTTP/1.1" 200 460 "http://hadoop01/app/kibana" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
192.168.77.3 - - [10/Apr/2018:00:46:11 +0800] "POST /api/metrics/vis/data HTTP/1.1" 200 510 "http://hadoop01/app/kibana" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
192.168.77.4 - - [10/Apr/2018:00:47:11 +0800] "POST /api/metrics/vis/data HTTP/1.1" 200 112 "http://hadoop01/app/kibana" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
192.168.77.5 - - [10/Apr/2018:00:48:11 +0800] "POST /api/metrics/vis/data HTTP/1.1" 200 455 "http://hadoop01/app/kibana" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
192.168.77.6 - - [10/Apr/2018:00:49:11 +0800] "POST /api/metrics/vis/data HTTP/1.1" 200 653 "http://hadoop01/app/kibana" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"

然后在kibana上查看，是否logstash已经把数据采集到了elasticsearch
在这里插入图片描述

将采集的数据保存到redis

配置：

input { stdin {} }
output {
        redis {
                host => "hadoop01"
                data_type => "list"
                port => "6379"
                db => 6
                key => "logstash-redis-%{+yyyy.MM.dd}"
                batch=> true.  #开启批处理
                batch_events=> 10000  #批处理的大小
                batch_timeout=> 3   #批处理的超时时间
                #防止OOM---》list
                congestion_interval => 3
                congestion_threhold => 100
                
        
        }
}

启动redis
将数据打入logstash控制台：

192.168.77.1 - - [10/Apr/2018:00:44:11 +0800] "POST /api/metrics/vis/data HTTP/1.1" 200 505 "http://hadoop01/app/kibana" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
192.168.77.2 - - [10/Apr/2018:00:45:11 +0800] "POST /api/metrics/vis/data HTTP/1.1" 200 460 "http://hadoop01/app/kibana" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
192.168.77.3 - - [10/Apr/2018:00:46:11 +0800] "POST /api/metrics/vis/data HTTP/1.1" 200 510 "http://hadoop01/app/kibana" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
192.168.77.4 - - [10/Apr/2018:00:47:11 +0800] "POST /api/metrics/vis/data HTTP/1.1" 200 112 "http://hadoop01/app/kibana" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
192.168.77.5 - - [10/Apr/2018:00:48:11 +0800] "POST /api/metrics/vis/data HTTP/1.1" 200 455 "http://hadoop01/app/kibana" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
192.168.77.6 - - [10/Apr/2018:00:49:11 +0800] "POST /api/metrics/vis/data HTTP/1.1" 200 653 "http://hadoop01/app/kibana" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"

去redis上做认证，查看是否已经存储redis中：
在这里插入图片描述
查看数据:
在这里插入图片描述

Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

wireshark抓包之HTTP状态码200的异常

avatar 2048 AI社区
cover

高三因单词罚站的我，如今用AI造了个记忆神器，效率飙升10倍（含保姆级教程）

avatar 2048 AI社区

大模型微调技术深度解构：从原理到工业级实践的完整指南

从企业级服务器到手机终端，微调技术正在重塑AI落地的边界。开发者需要像外科医生般精准选择工具：面对复杂任务时祭出全量微调，资源受限时祭出QLoRA，多任务场景则善用混合策略。正如瑞士军刀通过模块组合实现百变功能，现代微调技术也正在构建AI应用的无限可能。立即尝试本文的选型决策树，在你的项目中开启高效微调之旅！

avatar 2048 AI社区