filebeat2 Kubernetes환경에서 Filebeat + ELK를 활용한 Log Pipeline 구축 #2 Filebeat편 Filebeat는 앞서 설명 했듯이, 경량형 로그수집 도구이다. 지정한 경로에 대한 로그를 실시간으로 수집하고, 수집된 로그는 Elasticsearch, Logstash, Kafka 등 다양한 시스템으로 전송할 수 있다. 가장 일반적인 구성은 Filebeat가 로그를 수집하고, 이를 Logstash로 전달하여 추가적인 처리 후 Elasticsearch에 저장하는 방식이다.당연히 kubernetes에 대한 로그만 수집할 수 있는건 아니고, 시스템로그, 애플리케이션 로그 등 경로 설정이 가능하여 필요한 로그 파일을 수집할 수 있다. Filebeat Configmap예시filebeat.inputs: - type: log paths: - "/var/log/syslog" - "/var/l.. 2025. 3. 19. Kubernetes환경에서 Filebeat + ELK를 활용한 Log Pipeline 구축 #1 Elasticsearch편 ELK란 Elastic Search + Logstash + Kibana를 합친 용어로, 각각의 도구별로 용도가 달라 조합하여 사용하기 때문에 합쳐서 부르는 경우가 많다. "Logstash의 경우에도 file플러그인을 통해 직접 로그파일을 읽어서 수집할 수 있지만, 무겁고 리소스를 많이 사용하기 때문에 비효율적이다.따라서 위와 같이 Filebeat같은 경량형 로그수집 도구를 이용해 로그를 수집하고 Logstash로 전달한 다음, Logstash에서 filter를 이용해 변환 및 재가공을 진행하고 Elasticsearch에 로그를 저장한다음 인덱싱하여 Kibana를 통해 대쉬보드로 로그를 검색 및 가시화한다"라고 일반적으로 알려져 있다. 다 무슨말인지 이해 했지만 Elasticsearch에서 로그를 저장하는.. 2025. 3. 10. 이전 1 다음
