Fluent-Bit4 [EFK] 쿠버네티스 환경 내 Fluent-Bit 사이드카로 엘라스틱 서치 로깅 이전 글에서는 로그 수집기의 종류와 아키텍처를 알아보았다. [ELK/EFK] 로그 수집 - Filebeat / Logstash / Fluentd / Fluent-bit최근에는 많은 기업들이 Elastic 재단의 ELK stack(또는 EFK stack)을 활용하여 로그를 수집하고 이를 시각화하여 운영 상 발생하는 이슈를 잡아내고 비즈니스 의사결정에 참고를 한다. 저번의 글에서ssnotebook.tistory.com 이번 글에서는 Fluent-Bit을 쿠버네티스 파드 내에서 사이드카 형식으로 구축을 하고, 수집한 로그 정보를 엘라스틱 서치로 바로 전송하는 과정을 알아볼 것이다. 사이드카란 사이드카란 이륜차 옆에 좌석을 설치하여, 두 사람이 함께 같이 탈 수 있게 한 유형의 이륜차를 의미한다.아래 사진.. 2024. 9. 13. [Fluent-Bit] Parser Timezone 적용 Fluent-bit에서 Parser를 이용할 때, 이는 기본적으로 UTC를 기준으로 Timezone을 사용한다. https://docs.fluentbit.io/manual/v/dev-2.2/pipeline/parsers/configuring-parser Configuring Parser | Fluent Bit: Official ManualSpecify the data type of parsed field. The syntax is types : : ... . The supported types are string(default), integer, bool, float, hex. The option is supported by ltsv, logfmt and regex.docs.fluentbit.io .. 2024. 9. 11. [ELK/EFK] 로그 수집 - Filebeat / Logstash / Fluentd / Fluent-bit 최근에는 많은 기업들이 Elastic 재단의 ELK stack(또는 EFK stack)을 활용하여 로그를 수집하고 이를 시각화하여 운영 상 발생하는 이슈를 잡아내고 비즈니스 의사결정에 참고를 한다. 저번의 글에서는 데이터 저장소의 역할을 하는 Elasticsearch와 데이터를 확인할 수 있는 대시보드인 Kibana를 쿠버네티스 환경에서 간단하게 생성하고 연동해 보았다. [ELK] Kubernetes 환경에서 Elasticsearch / Kibana 설치 최근에는 많은 회사들이 ELK(EFK) Stack으로 데이터 파이프라인을 구축하여 다양한 분야에서 활용한다. https://ssnotebook.tistory.com/entry/ELK-Elasticsearch [ELK] Elasticsearch 1. 엘라.. 2024. 3. 20. [Fluent-Bit] Too many open files 사내 프로젝트로 Fluent-Bit을 K8S환경 내 Side-car방식으로 Elasticsearch에 로그 적재를 할 때, 발생했던 문제에 관하여 다루는 자료이다. 개요 : 프로젝트 내 Microservice의 개수만큼 Deployment를 생성했었는데, 해당 Deployment에는 하나의 애플리케이션 서버 컨테이너와, 해당 애플리케이션 로그를 수집하는 Fluent-Bit 컨테이너(총 2개의 컨테이너)가 하나의 파드 안에 배포되는 형식으로 생성하였다. Fluent-Bit : https://docs.fluentbit.io/manual/about/what-is-fluent-bit What is Fluent Bit? - Fluent Bit: Official Manual Rather than serving as.. 2023. 11. 30. 이전 1 다음
