[Logstash] Logstash 소개

Logstash Introduction

 

Logstash는 실시간 파이프라이닝 기능을 갖춘 오픈소스 데이터 수집 엔진이다. Logstash는 서로 다른 소스에서 데이터를 동적으로 통합하고 데이터를 원하는 대상으로 정상화 할 수 있다. 다양한 고급 다운스트림 분석 및 시각화 사용 사례를 위해 모든 데이터를 정리 및 민주화 하시오.

 

Logstash는 원래 log수집에서 혁신을 주도했지만, 그 기능은 사용 사례를 훨씬 능가한다. 모든 유형의 이벤트는 다양한 입력, 필터 및 출력 플러그인으로 모든 유형의 이벤트를 보강하고 변환할 수 있으며, 많은 기본 코덱이 처리 프로세스를 더욱 단순화 한다. Logstash는 더 많은 볼륨과 다양한 데이터를 활용하여 통찰력을 향상시킨다.

 

The Power of Logstash

Elasticsearch 등을 위한 처리량

강력한 Elasticsearch 및 Kibana 시너지 효과를 제공하는 수평 확장형 데이터 처리 파이프라인

 

플러그형 파이프라인 아키텍처

다양한 입력, 필터 및 출력을 혼합, 일치 및 조정하여 파이프라인 조화에서 재생

 

확장 가능한 커뮤니티와 개발자 친화적인 플러그인 생태계

200개 이상의 플러그인을 사용할 수 있으며, 자신만의 플러그인을 만들고 제공하는 유연성

 

 

데이터를 사랑하는 Logstash

더 많이 모을수록, 더 많이 알 수 있다. Logstash는 모든 형태와 크기의 데이터를 환영한다.

 

로그 및 지표

모든 유형의 로그 데이터 처리

 

Apache와 같은 다수의 웹 LOG와 Java용 log4j와 같은 애플리케이션 로그를 쉽게 수집가능

syslog, 네트워크 및 방화벽 LOG 등과 같은 다른 많은 LOG형식 수집

Filebeat를 통해 상호 보완적인 보안 로그 전달 기능 제공

TCP 및 UDP를 통해 Ganglia, collectd, NetFlow, JMX 및 기타 인프라 및 애플리케이션 플랫폼에서 지표 수집 가능

 

웹

• HTTP 요청을 이벤트로 변환

  • 사회적 감성 분석을 위한 Twitter와 같은 웹서비스 화약고 사용
  • GitHub, HipChat, JIRA 및 기타 수많은 애플리케이션에 대한 Webhook 지원
  • 많은 Watcher 경고 사용 사례 지원

• 요청 시 HTTP endpoints를 폴링하여 이벤트 생성

  • 웹 애플리케이션 인터페이스에서 상태, 성능, 지표, 및 기타 유형의 데이터를 광범위하게 수집
  • 수신보다 폴링 제어가 선호되는 시나리오에 적합

 

 

데이터 저장소 및 스트림

• JDBC 인터페이스가 있는 관계형 데이터베이스 또는 NoSQL 저장소에서 데이터를 더 잘 이해 할수 있음
• Apache Kafka, RabbitMQ 및 Amazon SQS와 같은 메시징 대기열에서 다양한 데이터 스트림 통합

센서와 IoT

• 기술 발전 시대에 거대한 IoT 세계는 연결된 센서의 데이터를 수집하고 활용함으로써 무한한 사용 사례를 제시
• Logstash는 모바일 기기에서 지능형 홈, 연결된 차량, 의료 센서 및 많은 다른 사업별 애플리케이션으로 전송되는 데이터를 수집하기 위한 일반적인 이벤트 수집 백본이다.

모든 것을 쉽게 만족시킬 수 있음

자료의 질이 높을 수록 지식도 좋아진다. 수집하는 동안 데이터를 정리 및 변환하여 인덱스 또는 출력시간에 거의 실시간으로 통찰력을 얻는다. Logstash는 패턴 매칭, geo 매핑, 동적 조회 기능과 함께 많은 집계와 변형을 통해 즉시 제공 된다.

 

• Grok는 Logstash 필터의 빠이자 버터로 구조화되지 않은 데이터에서 구조를 도출하는데 보편적으로 사용된다. 웹, 시스템, 네트워킹 및 기타 유형의 이벤트 형식을 신속하게 해결하는데 도움이 되는 다양한 통합 패턴을 즐기십시오.
• IP 주소에서 지리 좌표를 해독하고, 날짜 복잡성을 표준화하며, 키 값 쌍과 CSV 데이터는 단순화하고, 중요한 정보를 익명화 하고, 로컬 조회 또는 Elasticsearch 쿼리를 통해 데이터를 더욱 풍부하게 하여 시야를 넓히십시오.
• 코덱은 흔히 JSON이나 멀티라인 이벤트와 같은 일반적인 이벤트 구조의 처리를 용이하게 하기 위해 사용된다.

자주 사용되는 일부 데이터 처리 플러그인에 대한 개요는 데이터변환을 참조

 

보관소 선택

가장 중요한 곳에 데이터를 전송하십시오. 데이터를 저장, 분석 및 조치하여 다양한 다운스트림 분석 및 운영 활용 사례의 잠금을 해제하십시오.

 

Analysis

• Elasticsearch
• Data stores such as MongoDB and Riak

Archiving

• HDFS
• S3

Monitoring

• Nagios
• Ganglia
• Zabbix
• Graphite
• Datadog
• CloudWatch

Alerting

• Watcher with Elasticsearch
• Email
• Pagerduty
• IRC
• SNS

 

 

 

 

 

 

 

 

출처 : https://www.elastic.co/guide/en/logstash/current/introduction.html