Observability/Elastic5 [Elastic APM] APM Index 날짜 별 관리 사내에서 애플리케이션 모니터링을 위하여, 쿠버네티스 클러스터 내 Apm Server를 구축하고, 마이크로 서비스의 Agent에서 집계한 데이터를 엘라스틱서치로 전송하는 파이프라인을 구축하였다. 처음에는 별 문제가 없었으나, Apm 데이터가 점점 쌓이며 관리에 대한 방법에 대하여 필요성이 느껴졌다. 그리하여 Index Lifecycle Policies를 적용하려고 했고, 여기서 각 Index에 Apm이 생성된 날짜가 있으면 더 효율적으로 관리할 수 있을 것으로 판단하여 관련 옵션을 찾아보았고, 다음과 같이 적용하였다. 아래는 Apm Server의 apm-server.yml(설정 값)으로 이용되는 ConfigMap의 예제 파일이다. # APM Server : 7.12.1 버전 기준apiVersion:.. 2024. 6. 4. [ELK/EFK] 로그 수집 - Filebeat / Logstash / Fluentd / Fluent-bit 최근에는 많은 기업들이 Elastic 재단의 ELK stack(또는 EFK stack)을 활용하여 로그를 수집하고 이를 시각화하여 운영 상 발생하는 이슈를 잡아내고 비즈니스 의사결정에 참고를 한다. 저번의 글에서는 데이터 저장소의 역할을 하는 Elasticsearch와 데이터를 확인할 수 있는 대시보드인 Kibana를 쿠버네티스 환경에서 간단하게 생성하고 연동해 보았다. [ELK] Kubernetes 환경에서 Elasticsearch / Kibana 설치최근에는 많은 회사들이 ELK(EFK) Stack으로 데이터 파이프라인을 구축하여 다양한 분야에서 활용한다. https://ssnotebook.tistory.com/entry/ELK-Elasticsearch [ELK] Elasticsearch 1. 엘라.. 2024. 3. 20. [ELK] Kubernetes 환경에서 Elasticsearch / Kibana 설치 최근에는 많은 회사들이 Elastic Stack으로 데이터 파이프라인을 구축하여 다양한 분야에서 활용한다. https://ssnotebook.tistory.com/entry/ELK-Elasticsearch [ELK] Elasticsearch1. 엘라스틱 서치(Elasticsearch) : 아파치 루씬(Apache Lucene)을 기반으로 Java로 개발된 엘라스틱 서치는 분산형 RESTful 검색 및 분석 엔진으로 Elastic 재단에서 개발한 엘라스틱 스택(Elastic Stack)의 핵심적ssnotebook.tistory.com 여기서 필수적으로 이용이 되는 Elasticsearch(데이터 저장) / Kibana(시각화 대시보드)를 쿠버네티스 Pod 환경에서 이미지 기반으로 구동하는 예시를 알아볼 것.. 2024. 2. 21. [ELK] Elasticsearch 1. 엘라스틱 서치(Elasticsearch) : 아파치 루씬(Apache Lucene)을 기반으로 Java로 개발된 엘라스틱 서치는 분산형 RESTful 검색 및 분석 엔진으로 Elastic 재단에서 개발한 엘라스틱 스택(Elastic Stack)의 핵심적인 역할을 맡고 있다. 엘라스틱 스택 : 엘라스틱 재단에서 개발한 데이터의 대규모 수집, 분석, 검색 및 시각화에 최적화된 솔루션을 일컫는 스택을 의미하는데 대표적으로 아래 3가지 스택을 가지고 ELK 스택이라고도 한다. 엘라스틱 서치(Elasticsearch) : 데이터 저장, 검색 및 분석 등의 역할을 수행로그 스태시(Logstash) : 데이터 수집 및 전처리 등의 역할을 수행키바나(Kibana) : 수집한 데이터의 시각화와 데이터에 관한 .. 2024. 1. 14. [ELK] Logstash - Postgresql 연결 실패 (Docker Network) 도커를 이용하여 PostgreSQL을 Build 후 해당 DB의 데이터를Logstash를 이용하여 Elasticsearch와 연동하는 과정에서 생긴 에러이다. [ERROR][logstash.inputs.jdbc ][main][01b8fcd4a63cf0b14c82113572d5c31371649609a57c0007cc38eb353a2e434e] Unable to connect to database. Tried 1 times {:error_message=>"Java::OrgPostgresqlUtil::PSQLException: Connection to localhost:5432 refused. Check that the hostname and port are correct and that the pos.. 2023. 2. 24. 이전 1 다음
