호랑이한테물릴래

Kinesis는 데이터를 실시간으로 수집하고 ETL과 전송까지 담당하는 AWS의 서비스다. Data Stream을 실시간으로 수집하는 Kinesis Data Stream은 레코드를 직접 수집하는 것도 가능하지만, API Gateway가 프록시하는 것도 가능하다. 단순히 PutRecord하는 것 뿐만아니라, API Gateway에서 요청에따라 Stream 생성과 삭제, ListRecord도 가능하다. 콘솔 상에서 설정하는 방법과 Terraform에서 어떻게 설정하는지도 정리해보려고 한다. Kinesis 데이터 스트림의 API Gateway 프록시를 생성해보자 1) REST API 생성 2) streams 리소스 생성후, 하위 리소스로 다음과 같이 Stream-name 리소스 생성 3) PutRecord를 ..

보호되어 있는 글입니다.

스마트팜 IoT 데이터 파이프라인 스마트팜의 IoT 디바이스에서 측정되는 데이터를 수집하고 실시간 모니터링이 가능한 데이터 파이프라인 구축 1) API Gateway는 Kinesis Data Stream에 실시간 데이터 스트림을 전달하는 프록시 역할을 수행합니다. IoT 센서의 Temperature, Humidity, Pressure, co2, Device_id 데이터를 JSON 형태로 수집하여 Kinesis Data Stream에 전달합니다. 2) Kinesis Data Stream은 대규모 데이터 레코드 스트림을 실시간으로 수집하고 처리합니다. API Gateway를 통해 전달받은 실시간 데이터를 shard 형태로 수집하여 Data Streaming 파이프라인 역할을 수행합니다. 3) Kinesis ..

Done 1) k6 테스팅 어플리케이션 도커 image화 Dockerfile의 기본 이미지는 grafana/k6를 사용 build 시, 실행 명령어의 기본 값은 k6 run --vus 10 --duration 30s index.js device는 1개만 테스팅, iot 센터 데이터의 난수 범위는 수정할 필요가 있음 2) POST 요청(요청횟수, 시간간격) 시, return 값 수정 API 요청 후에 return 값이 없어, 성공 실패 여부를 확인할 수 없었음 위와같이 수정한 후에, 테스팅 device 수와 총 실행시간을 확인할 수 있음 3) test-lambda의 kinesis-API gateway proxy 테스팅 코드 작성 이전에는 test-lambda에서 kinesis data stream으로 데이..

Done - test-lambda와 API Gateway 서버리스화 - Kinesis Data stream에 API Gateway 프록시 연결 및 test-lambda 코드 수정 - Grafana aws-architecture용 대쉬보드 추가 To-do - Grafana ALB 연결 - Grafana 대쉬보드 개선(IoT 데이터) - k6로 API 요청문 만들어보기 Kinesis + REST API gateway 생각보다 시간이 많이 소요되었는데, 요청할 때 데이터 형식을 지켜야함. https://docs.aws.amazon.com/ko_kr/apigateway/latest/developerguide/integrating-api-with-aws-services-kinesis.html 자습서: API Ga..

https://exerror.com/importerror-cannot-import-name-docevents-from-botocore-docs-bcdoc/ [Solved] ImportError: cannot import name 'docevents' from 'botocore.docs.bcdoc' - Exception Error To Solve ImportError: cannot import name 'docevents' from 'botocore.docs.bcdoc' Error You need to reinstall awscli. First of all, update your exerror.com 위 링크의 해결책들을 수행하면됨. 주로 aws-cli와 pip를 업데이트 문제인 것으로 보임.

Kinesis로 데이터를 전송하기 위한 Test_Lambda 구현. import boto3 import json import time import os from datetime import datetime from random import randint my_stream_name = 'test-stream' client = boto3.client('kinesis', region_name=os.getenv('AWS_DEFAULT__REGION'), aws_access_key_id=os.getenv('AWS_ACCESS__KEY_ID'), aws_secret_access_key=os.getenv('AWS_SECRET_ACCESS__KEY_ID')) def lambda_handler(event, context..

Grafana에 Cloudwatch, Athena plugin을 설치하여 AWS의 메트릭을 모두 시각화했다. 1) Grafana, EC2위에 설치하여 Port3000번으로 운영 2) EC2위에 Prometheus를 컨테이너로 설치, EC2의 데이터 수집을 위한 Node_exporter는 따로 설치 (그러나 컨테이너에서 Prometheus config 파일에 Node_exporter 추가하는 과정이 번거로움.) 3) 대안으로 Cloud watch의 Plugin을 활용하게됨 EC2부터 Kinesis, Firehos, S3, Lambda들의 Log와 Metric 쉽게 추출이 가능 위는 주요 IoT 데이터 데이터와 EC2 데이터만을 시각화한 화면, 차후엔 더 많은 데이터를 시각화할 계획.

Done 이슈 - Glue를 이용해서 Data Catalog화, Apache Parquet 데이터를 S3에 저장 - EC2 위에 Grafana 가동 및 ALB연결 - Athena를 통해서 Grafana Plugin연결 Todo 이슈 - S3에 보관된 Apache Parquet 데이터를 Lambda로 읽기 (Python 사용) - Athena에서 쿼리한 데이터를 Grafana로 직접 연결해보기 + Grafana 대쉬보드 구성 - Discord 웹훅 비정상 데이터 경보 처리 - testing Lamdba 구현 (여러 device_id 및 에러코드 발생, 비정상 수치 발생) - Validate lambda에서 비정상 데이터를 spike-log s3에 저장 컨셉증명은 거의 마무리한 상태, 앞으로 추가요구사항도 ..

업무 분담은 세가지로 나뉜다. 1) EC2로 띄우는 Grafana 모니터링 + ALB 연결 + Route53 2) bucket에서 데이터를 받아 비정상 수치 데이터를 파악, Discord Alert 3) Glue로 버킷의 Data Catalog 생성 및 Athena 연동 우선 python코드를 활용해서 Kinesis 데이터 스트림으로 전달되는 지 확인하는 것은 마무리되었기 때문에, 이 데이터들이 정제되고 전달되고, 모니터링까지 확인할 수 있는지가 관건이다. 초반에 K6를 활용한 테스팅은 마지막에 Lambda로 구성해서 간단하게 작동시키면 될것으로 보인다. + K6 테스팅 코드 구성 + kinesis data stream에 API gateway 연결 https://calculator.aws/#/addSer..