빅데이터
-
[Fluentd]를 이용한 로그 수집 -1.Fluentd란?IT 2018. 9. 16. 16:56
안녕하세요. 김대리입니다. 이번엔 EFK (Elasticsearch + Fluentd + Kibana)를 통해서 데이터를 저장, 수집, 시각화 하는 내용을 쓰려고 한다. 그 중 오늘은 Fluentd를 간략히 설명하려고 한다. 1. Fluentd란?Opensource Data collector중 하나이다. 보통 다양한 채널에서 들어오는 데이터들을 통합하기위해 사용된다. 홈페지이지: www.fluentd.org설치가이드: docs.fluentd.org/categories/installation 이렇게 통합된 데이터 수집이 중요한 이유는데이터 분석을 하기 전에 이루어지는 데이터 정제를 더 수월하게 할 수 있기 때문이다. Fluentd는 각각의 데이터를 JSON구조로 일관성 있게 변환함으로 이후 이루어질 분석을..