호랑이한테물릴래

IBFT(이스탄불 비잔티움 결함 허용) 높은 보안과 투명성을 유지하면서, 공개를 통한 합의 신뢰모델을 채택하고 있다. 이는 합의 달성이 가능한 소수의 private 노드와 블록 생성 결과에 접근과 검증이 가능한 노드로 구성된다. 매 라운드마다 Proposer를 뽑고, 나머지 노드는 Validator가 되어 검증을 하게된다. x된 Validator3은 검증자로서 제대로 작동을 못하는 상태로 가정한다. (악의적인 공격도 포함) Proposer는 pre-prepare 단계에서 블록을 만들어서 다른 노드에 제안을 하게된다. prepare 단계에서 validator 1, 2은 자신을 제외한 다른 노드들에게 잘받았다는 메시지를 다시 보낸다. 단, Validator 3은 보내지 못한다. 마지막 commit 단계에서 ..

아래와 같이 외부에서 mysql 서버에 접속하려고 하면 connection refused 에러가 뜬다. 난 pymysql 모듈로 어플리케이션과 mysql을 연결하려는 작업을 하려는 중이었고, mysql은 aws 클라우드에 설치되어 있다. 간략히 크게 2가지 원인으로 볼 수 있다. 1. AWS 보안그룹의 인바운드 설정 EC2의 보안그룹에서 mysql의 기본 port인 3306 인바운드를 열어준다. 2. mysqld.cnf 외부 허용 설정 mysqld.cnf 파일에서 bind-address 를 수정하여 외부 접속을 허용한다. 먼저, 외부 접속이 허용되는지 확인하려면 sudo netstat -ntlp | grep mysqld 명령어를 사용하여 확인한다.(수정 전) mysql 5.7 버전 이상인 경우, /etc..

Kinesis는 데이터를 실시간으로 수집하고 ETL과 전송까지 담당하는 AWS의 서비스다. Data Stream을 실시간으로 수집하는 Kinesis Data Stream은 레코드를 직접 수집하는 것도 가능하지만, API Gateway가 프록시하는 것도 가능하다. 단순히 PutRecord하는 것 뿐만아니라, API Gateway에서 요청에따라 Stream 생성과 삭제, ListRecord도 가능하다. 콘솔 상에서 설정하는 방법과 Terraform에서 어떻게 설정하는지도 정리해보려고 한다. Kinesis 데이터 스트림의 API Gateway 프록시를 생성해보자 1) REST API 생성 2) streams 리소스 생성후, 하위 리소스로 다음과 같이 Stream-name 리소스 생성 3) PutRecord를 ..

보호되어 있는 글입니다.

스마트팜 IoT 데이터 파이프라인 스마트팜의 IoT 디바이스에서 측정되는 데이터를 수집하고 실시간 모니터링이 가능한 데이터 파이프라인 구축 1) API Gateway는 Kinesis Data Stream에 실시간 데이터 스트림을 전달하는 프록시 역할을 수행합니다. IoT 센서의 Temperature, Humidity, Pressure, co2, Device_id 데이터를 JSON 형태로 수집하여 Kinesis Data Stream에 전달합니다. 2) Kinesis Data Stream은 대규모 데이터 레코드 스트림을 실시간으로 수집하고 처리합니다. API Gateway를 통해 전달받은 실시간 데이터를 shard 형태로 수집하여 Data Streaming 파이프라인 역할을 수행합니다. 3) Kinesis ..

Done 1) k6 테스팅 어플리케이션 도커 image화 Dockerfile의 기본 이미지는 grafana/k6를 사용 build 시, 실행 명령어의 기본 값은 k6 run --vus 10 --duration 30s index.js device는 1개만 테스팅, iot 센터 데이터의 난수 범위는 수정할 필요가 있음 2) POST 요청(요청횟수, 시간간격) 시, return 값 수정 API 요청 후에 return 값이 없어, 성공 실패 여부를 확인할 수 없었음 위와같이 수정한 후에, 테스팅 device 수와 총 실행시간을 확인할 수 있음 3) test-lambda의 kinesis-API gateway proxy 테스팅 코드 작성 이전에는 test-lambda에서 kinesis data stream으로 데이..

Done - test-lambda와 API Gateway 서버리스화 - Kinesis Data stream에 API Gateway 프록시 연결 및 test-lambda 코드 수정 - Grafana aws-architecture용 대쉬보드 추가 To-do - Grafana ALB 연결 - Grafana 대쉬보드 개선(IoT 데이터) - k6로 API 요청문 만들어보기 Kinesis + REST API gateway 생각보다 시간이 많이 소요되었는데, 요청할 때 데이터 형식을 지켜야함. https://docs.aws.amazon.com/ko_kr/apigateway/latest/developerguide/integrating-api-with-aws-services-kinesis.html 자습서: API Ga..

https://exerror.com/importerror-cannot-import-name-docevents-from-botocore-docs-bcdoc/ [Solved] ImportError: cannot import name 'docevents' from 'botocore.docs.bcdoc' - Exception Error To Solve ImportError: cannot import name 'docevents' from 'botocore.docs.bcdoc' Error You need to reinstall awscli. First of all, update your exerror.com 위 링크의 해결책들을 수행하면됨. 주로 aws-cli와 pip를 업데이트 문제인 것으로 보임.

Kinesis로 데이터를 전송하기 위한 Test_Lambda 구현. import boto3 import json import time import os from datetime import datetime from random import randint my_stream_name = 'test-stream' client = boto3.client('kinesis', region_name=os.getenv('AWS_DEFAULT__REGION'), aws_access_key_id=os.getenv('AWS_ACCESS__KEY_ID'), aws_secret_access_key=os.getenv('AWS_SECRET_ACCESS__KEY_ID')) def lambda_handler(event, context..

Grafana에 Cloudwatch, Athena plugin을 설치하여 AWS의 메트릭을 모두 시각화했다. 1) Grafana, EC2위에 설치하여 Port3000번으로 운영 2) EC2위에 Prometheus를 컨테이너로 설치, EC2의 데이터 수집을 위한 Node_exporter는 따로 설치 (그러나 컨테이너에서 Prometheus config 파일에 Node_exporter 추가하는 과정이 번거로움.) 3) 대안으로 Cloud watch의 Plugin을 활용하게됨 EC2부터 Kinesis, Firehos, S3, Lambda들의 Log와 Metric 쉽게 추출이 가능 위는 주요 IoT 데이터 데이터와 EC2 데이터만을 시각화한 화면, 차후엔 더 많은 데이터를 시각화할 계획.