호랑이한테물릴래

보호되어 있는 글입니다.

스마트팜 IoT 데이터 파이프라인 스마트팜의 IoT 디바이스에서 측정되는 데이터를 수집하고 실시간 모니터링이 가능한 데이터 파이프라인 구축 1) API Gateway는 Kinesis Data Stream에 실시간 데이터 스트림을 전달하는 프록시 역할을 수행합니다. IoT 센서의 Temperature, Humidity, Pressure, co2, Device_id 데이터를 JSON 형태로 수집하여 Kinesis Data Stream에 전달합니다. 2) Kinesis Data Stream은 대규모 데이터 레코드 스트림을 실시간으로 수집하고 처리합니다. API Gateway를 통해 전달받은 실시간 데이터를 shard 형태로 수집하여 Data Streaming 파이프라인 역할을 수행합니다. 3) Kinesis ..

Done 1) k6 테스팅 어플리케이션 도커 image화 Dockerfile의 기본 이미지는 grafana/k6를 사용 build 시, 실행 명령어의 기본 값은 k6 run --vus 10 --duration 30s index.js device는 1개만 테스팅, iot 센터 데이터의 난수 범위는 수정할 필요가 있음 2) POST 요청(요청횟수, 시간간격) 시, return 값 수정 API 요청 후에 return 값이 없어, 성공 실패 여부를 확인할 수 없었음 위와같이 수정한 후에, 테스팅 device 수와 총 실행시간을 확인할 수 있음 3) test-lambda의 kinesis-API gateway proxy 테스팅 코드 작성 이전에는 test-lambda에서 kinesis data stream으로 데이..

Done - test-lambda와 API Gateway 서버리스화 - Kinesis Data stream에 API Gateway 프록시 연결 및 test-lambda 코드 수정 - Grafana aws-architecture용 대쉬보드 추가 To-do - Grafana ALB 연결 - Grafana 대쉬보드 개선(IoT 데이터) - k6로 API 요청문 만들어보기 Kinesis + REST API gateway 생각보다 시간이 많이 소요되었는데, 요청할 때 데이터 형식을 지켜야함. https://docs.aws.amazon.com/ko_kr/apigateway/latest/developerguide/integrating-api-with-aws-services-kinesis.html 자습서: API Ga..

Kinesis로 데이터를 전송하기 위한 Test_Lambda 구현. import boto3 import json import time import os from datetime import datetime from random import randint my_stream_name = 'test-stream' client = boto3.client('kinesis', region_name=os.getenv('AWS_DEFAULT__REGION'), aws_access_key_id=os.getenv('AWS_ACCESS__KEY_ID'), aws_secret_access_key=os.getenv('AWS_SECRET_ACCESS__KEY_ID')) def lambda_handler(event, context..

Grafana에 Cloudwatch, Athena plugin을 설치하여 AWS의 메트릭을 모두 시각화했다. 1) Grafana, EC2위에 설치하여 Port3000번으로 운영 2) EC2위에 Prometheus를 컨테이너로 설치, EC2의 데이터 수집을 위한 Node_exporter는 따로 설치 (그러나 컨테이너에서 Prometheus config 파일에 Node_exporter 추가하는 과정이 번거로움.) 3) 대안으로 Cloud watch의 Plugin을 활용하게됨 EC2부터 Kinesis, Firehos, S3, Lambda들의 Log와 Metric 쉽게 추출이 가능 위는 주요 IoT 데이터 데이터와 EC2 데이터만을 시각화한 화면, 차후엔 더 많은 데이터를 시각화할 계획.

Done 이슈 - Glue를 이용해서 Data Catalog화, Apache Parquet 데이터를 S3에 저장 - EC2 위에 Grafana 가동 및 ALB연결 - Athena를 통해서 Grafana Plugin연결 Todo 이슈 - S3에 보관된 Apache Parquet 데이터를 Lambda로 읽기 (Python 사용) - Athena에서 쿼리한 데이터를 Grafana로 직접 연결해보기 + Grafana 대쉬보드 구성 - Discord 웹훅 비정상 데이터 경보 처리 - testing Lamdba 구현 (여러 device_id 및 에러코드 발생, 비정상 수치 발생) - Validate lambda에서 비정상 데이터를 spike-log s3에 저장 컨셉증명은 거의 마무리한 상태, 앞으로 추가요구사항도 ..

업무 분담은 세가지로 나뉜다. 1) EC2로 띄우는 Grafana 모니터링 + ALB 연결 + Route53 2) bucket에서 데이터를 받아 비정상 수치 데이터를 파악, Discord Alert 3) Glue로 버킷의 Data Catalog 생성 및 Athena 연동 우선 python코드를 활용해서 Kinesis 데이터 스트림으로 전달되는 지 확인하는 것은 마무리되었기 때문에, 이 데이터들이 정제되고 전달되고, 모니터링까지 확인할 수 있는지가 관건이다. 초반에 K6를 활용한 테스팅은 마지막에 Lambda로 구성해서 간단하게 작동시키면 될것으로 보인다. + K6 테스팅 코드 구성 + kinesis data stream에 API gateway 연결 https://calculator.aws/#/addSer..

CTO의 요청을 간단히 정리하자면, - 모니터링을 개발자와 클라이언트 모두 쉽게 확인하고 접근할 수 있어야한다. - 이상수치도 모니터링을 통해서 확인할 수 있어야한다. - 진입점(테스트)이 캡슐화될 수 있으면 좋겠다. 그래서 내일부터 진행해야할 업무는 아래와 같다. Lambda 대략적인 코드 webhook s3 데이터 받아오기 에러 코드, 비정상적인 데이터 정제 s3에 밀어넣기 Data processing S3 -> Glue data catalog Athena 연결 Grafana로 연결을 위한 쿼리문 진입점 설계 Kinesis 앞단에 API Gateway 붙여서 Proxy 역할로 사용 센서 데이터를 k6 or python 코드를 활용해서 ECS에 배포 ECS와 API Gateway 연결 Athena 아래..

1) 기술스택 - kinesis : 실시간 데이터를 스트림으로 받아주는 서비스, iot에서 온도, 습도, co2 데이터를 수집하여 필요한 서비스에 전달할 계획이다. - glue : kinesis에서 데이터를 전달받아 데이터를 정제, 가공한다. - s3 : glue에서 정제된 데이터를 받아 저장한다. - athena, quicksight : s3의 데이터에서 쿼리를 이용하여 분석하고 간단한 시각화 작업을 진행한다. + 추가적으로 데이터의 이상값이 발견될 경우, 경보하는 기능 구성을 위해서 s3의 이벤트 트리거로 lambda를 구성할 계획이다. 모든 데이터 값들을 확인하여 이상 데이터를 lambda에서 확인한다고 보면된다. quicksight에서 간단한 시각화는 가능하지만, 일반인이 쉽게 접근하고 이해할 수..