호랑이한테물릴래

Final_Project 스마트팜 IoT 데이터 파이프라인 본문

DevOps/sprint_project

Final_Project 스마트팜 IoT 데이터 파이프라인

호랑이한테물릴래 2022. 8. 9. 17:14
반응형

스마트팜 IoT 데이터 파이프라인

스마트팜의 IoT 디바이스에서 측정되는 데이터를 수집하고 실시간 모니터링이 가능한 데이터 파이프라인 구축

1) API Gateway는 Kinesis Data Stream에 실시간 데이터 스트림을 전달하는 프록시 역할을 수행합니다. IoT 센서의 Temperature, Humidity, Pressure, co2, Device_id 데이터를 JSON 형태로 수집하여 Kinesis Data Stream에 전달합니다.

2) Kinesis Data Stream은 대규모 데이터 레코드 스트림을 실시간으로 수집하고 처리합니다. API Gateway를 통해 전달받은 실시간 데이터를 shard 형태로 수집하여 Data Streaming 파이프라인 역할을 수행합니다.

3) Kinesis Firehose는 스트리밍 데이터를 Data Stream으로 부터 수집하여 데이터가 필요한 대상에 전달합니다. 수집된 IoT 데이터 스트림을 Farm_Sensor_Bucket을 대상으로 실시간 로드합니다.

4) Glue는 수집한 데이터를 목적에 따라 사용될 수 있는 데이터 형태로 전처리하는 ETL 서비스입니다. Farm_Sensor_Bucket의 IoT 데이터들을 Crawler를 사용하여 Parquet 형식의 Data Catalog를 생성합니다.

5) Farm_Sensor_Bucket은 IoT에서 수집된 모든 스트림 데이터를 저장합니다. 이 S3 Bucket을 중심으로 이상 수치 데이터 확인 및 시각화 작업이 진행됩니다.

6) Athena는 S3에 저장된 데이터를 Presto SQL을 통해서 분석할 수 있는 대화식 쿼리 서비스입니다. Parquet 형식으로 정리된 데이터 테이블을 쿼리 연산을 사용하여 Grafana 시각화를 돕습니다.

7) EC2(Grafana)는 클라이언트에게 Grafana의 모니터링 서비스를 제공하기 위한 클라우드 서버입니다. 농장의 실시간 데이터를 웹상에서 자유롭게 확인할 수 있으며, 저렴한 비용으로 자유로운 시각화가 가능합니다.

8) Route53은 클라이언트가 Grafana에 쉽게 접근할 수 있는 도메인을 지원합니다.

9) Test Lambda는 테스트를 위해 사용됩니다. 지정된 횟수와 시간간격을 설정하여 테스트 스트림 전송 테스트가 가능합니다.

10) Validate Lambda는 센서 데이터에서 발견된 에러코드와 이상수치를 파악하여 데이터를 백업하고 경보 메시지를 전송합니다. Farm_Sensor_Bucket의 데이터를 트리거로 전달받아 에러코드 및 이상 데이터는 Spike_log_Bucket에 백업하고 Discord를 통해 클라이언트에게 경보 메시지를 전송합니다.

11) Spike_Log_Bucket은 Validate_Lambda에서 전달받은 에러코드 및 이상 데이터를 보관합니다.

 

반응형

'DevOps > sprint_project' 카테고리의 다른 글

Final_Project 스마트팜 IoT 데이터 파이프라인  (0) 2022.08.09
Final_project Day 9  (0) 2022.08.04
Final_project Day 8  (0) 2022.08.03
Final_project Day 7  (0) 2022.08.02
Final_project Day 6  (0) 2022.08.02
Final_project Day 5  (0) 2022.07.29
0 Comments
댓글쓰기 폼