kubernetes log pipeline2 Kubernetes환경에서 Filebeat + ELK를 활용한 Log Pipeline 구축 #4 Kibana편 Kibana는 각종 다양한 로그에 대해 차트, 게이지, 지도, 그래프 등을 통해 대시보드를 제작할 수 있으며,하고, 분석을 통해 다양한 방식으로 활용할 수 있다. Kibana는 Elasticsearch의 인덱스에 저장된 데이터를 쿼리(KQL, Lucene 방식)하여 가져오는 방식이기 때문에 Elasticsearch와 연동이 되어야 한다.* 예를 들어, /var/log/nginx/access.log 로그를 Kibana에서 보고 싶다면 1. Filebeat로 해당 경로의 로그를 수집2. Logstash로 전송(filter plugin을 통해 가공)3. Elasticsearch로 전송 (logstash-* 인덱스 생성) 3. Kibana에서 logstash-* 인덱스를 선택하여 조회 그리고 Kibana는 다.. 2025. 3. 24. Kubernetes환경에서 Filebeat + ELK를 활용한 Log Pipeline 구축 #3 Logstash편 일반적으로 아래 구성처럼 Logstash는 beats한테서 로그를 전달받아 필터링 및 가공 과정을 거쳐 엘라스틱 서치로 전송한다.Logstash는 beats한테서 로그를 수신하기 위해서는 beats 플러그인 설정을 해야하는데, beats 플러그인은 안전한 데이터 전송 방식을 제공하며, Beats가 보낸 데이터를 제대로 수신했는지 확인하는 응답방식도 사용한다고 한다. Beats → Logstash 전송Beats(Filebeat, Metricbeat 등)가 로그 데이터를 수집하여 Logstash의 beats 입력 플러그인으로 전송Logstash는 port 5044에서 수신 대기Logstash → Beats 응답 (ACK)Logstash가 데이터를 정상적으로 받으면 ACK (Acknowledgement, 확인.. 2025. 3. 20. 이전 1 다음
