kubernetes logging4 Kubernetes환경에서 Filebeat + ELK를 활용한 Log Pipeline 구축 #4 Kibana편 Kibana는 각종 다양한 로그에 대해 차트, 게이지, 지도, 그래프 등을 통해 대시보드를 제작할 수 있으며,하고, 분석을 통해 다양한 방식으로 활용할 수 있다. Kibana는 Elasticsearch의 인덱스에 저장된 데이터를 쿼리(KQL, Lucene 방식)하여 가져오는 방식이기 때문에 Elasticsearch와 연동이 되어야 한다.* 예를 들어, /var/log/nginx/access.log 로그를 Kibana에서 보고 싶다면 1. Filebeat로 해당 경로의 로그를 수집2. Logstash로 전송(filter plugin을 통해 가공)3. Elasticsearch로 전송 (logstash-* 인덱스 생성) 3. Kibana에서 logstash-* 인덱스를 선택하여 조회 그리고 Kibana는 다.. 2025. 3. 24. Kubernetes환경에서 Filebeat + ELK를 활용한 Log Pipeline 구축 #3 Logstash편 일반적으로 아래 구성처럼 Logstash는 beats한테서 로그를 전달받아 필터링 및 가공 과정을 거쳐 엘라스틱 서치로 전송한다.Logstash는 beats한테서 로그를 수신하기 위해서는 beats 플러그인 설정을 해야하는데, beats 플러그인은 안전한 데이터 전송 방식을 제공하며, Beats가 보낸 데이터를 제대로 수신했는지 확인하는 응답방식도 사용한다고 한다. Beats → Logstash 전송Beats(Filebeat, Metricbeat 등)가 로그 데이터를 수집하여 Logstash의 beats 입력 플러그인으로 전송Logstash는 port 5044에서 수신 대기Logstash → Beats 응답 (ACK)Logstash가 데이터를 정상적으로 받으면 ACK (Acknowledgement, 확인.. 2025. 3. 20. Kubernetes환경에서 Filebeat + ELK를 활용한 Log Pipeline 구축 #2 Filebeat편 Filebeat는 앞서 설명 했듯이, 경량형 로그수집 도구이다. 지정한 경로에 대한 로그를 실시간으로 수집하고, 수집된 로그는 Elasticsearch, Logstash, Kafka 등 다양한 시스템으로 전송할 수 있다. 가장 일반적인 구성은 Filebeat가 로그를 수집하고, 이를 Logstash로 전달하여 추가적인 처리 후 Elasticsearch에 저장하는 방식이다.당연히 kubernetes에 대한 로그만 수집할 수 있는건 아니고, 시스템로그, 애플리케이션 로그 등 경로 설정이 가능하여 필요한 로그 파일을 수집할 수 있다. Filebeat Configmap예시filebeat.inputs: - type: log paths: - "/var/log/syslog" - "/var/l.. 2025. 3. 19. Kubernetes환경에서 Filebeat + ELK를 활용한 Log Pipeline 구축 #1 Elasticsearch편 ELK란 Elastic Search + Logstash + Kibana를 합친 용어로, 각각의 도구별로 용도가 달라 조합하여 사용하기 때문에 합쳐서 부르는 경우가 많다. "Logstash의 경우에도 file플러그인을 통해 직접 로그파일을 읽어서 수집할 수 있지만, 무겁고 리소스를 많이 사용하기 때문에 비효율적이다.따라서 위와 같이 Filebeat같은 경량형 로그수집 도구를 이용해 로그를 수집하고 Logstash로 전달한 다음, Logstash에서 filter를 이용해 변환 및 재가공을 진행하고 Elasticsearch에 로그를 저장한다음 인덱싱하여 Kibana를 통해 대쉬보드로 로그를 검색 및 가시화한다"라고 일반적으로 알려져 있다. 다 무슨말인지 이해 했지만 Elasticsearch에서 로그를 저장하는.. 2025. 3. 10. 이전 1 다음
