기록하는 투자자

aws.amazon.com/ko/quicksight/ Amazon QuickSight - 비즈니스 인텔리전스 서비스 - Amazon Web Services 작동 데이터베이스 (예: Amazon RDS) 작동 데이터베이스의 데이터에 QuickSight 연결 (예: Amazon RDS) 데이터 웨어하우스 (예: Amazon Redshift) 데이터 웨어하우스에 QuickSight 연결 (예: Amazon RedShift) 데이터 레 aws.amazon.com AWS의 퀵사이트라는 BI 대시보드 툴이다. 툴이라기보다 하나의 서비스다. 툴은 독립적인 느낌이 나는데 퀵사이트는 AWS에서 서비스하는 제품 중 하나이기 때문이다. 다른 BI 서비스, 툴과 비교해보면서 공부해도 좋을 것 같다.

참조 : towardsdatascience.com/complete-data-engineers-vocabulary-87967e374fad Complete Data Engineer’s Vocabulary Concepts that data engineers must know in 10 words or less towardsdatascience.com Aa ACID — 데이터베이스의 트랜잭션 적용 속성. 원 자성, 일관성, 격리, 내구성 Atomicity — (다단계 작업의) 한 단계가 실패하면 전체 트랜잭션이 실패합니다. Avro — 소형, 행 지향, JSON 기반, 데이터 형식 Azkaban — LinkedIn의 Hadoop 작업용 배치 스케줄러 Airflow — Airbnb의 프로그래밍 가능한 DAG 기반..

데이터 관련 공부를 하다보면 지식 자체가 쓸모있는지 없는지를 따지게 된다. 물론 대부분의 지식들에 대해서 따지게 될 테지만 데이터에서도 이런 일들이 다분히 발생한다. 우리가 지식을 추구하는 형태까지 올라가보면 너무 얘기가 달라지고 어려워지니 철학적 얘기는 둘째치고, 우리는 데이터 지식을 활용해서 무언가를 만들고 싶고 결론적으로 결과물을 내고 싶다. 하지만 그것은 종류에 따라 쉽지 않다. 최근에 좋은 툴들이 많이 나오면서 다양하게 결과물을 쉽게 내놓을 수 있게 되었다. 예를 들어 구글애널리틱스, 데이터 스튜디오, 태블로, 파워비아이, 파이썬 라이브러리 활용 등 쓸 수 있는게 많아졌다. 하지만 돈이 되기가 어렵다. 근본적인 지식을 기반으로 하지 않은채 무차별적으로 만들기 때문도 있고, 비즈니스적인 감각이 부..

나는 데이터 운영과 관리를 위해서 어떠한 일을 해봤나. 2015년(IT 운영 및 고도화) - 윈도우 서버에서 메모장으로 배치파일 만들었다. - 배치파일의 목적은 하루에 한 번씩 새벽 5시에 내부ITSM에서 발생하는 에러로그를 남겨주는 것이었다. - 윈도우 서버에서는 아파치서버를 구동하고 있었다. - MySQL에서 발생하는 데이터를 활용하기 위해 쿼리문을 작성하여 윈도우서버에서 해당 쿼리를 활용하였다. - 운영서버에서 해당 쿼리를 실행시키고 얻은 결과를 반영한다. - 운영서버, 테스트서버, 개발서버가 존재한다. - 순서는 개발서버에서 개발을 진행하고 테스트서버에서 테스트 후 운영서버에 반영한다. - 사실 테스트 서버는 개발서버의 일부분이라고 느껴진다. - 데이터베이스는 MySQL 활용(데이터가 엄청 많지 ..

- 추상적이다 : 사실 추상이라는 단어부터 어렵게 하는 부분이다. 컴퓨터공학에서 추상화, 추상적, 추상이라는 단어는 굉장히 자주 나온다. 처음 배웠을 때는 도대체 무슨 뜻을 갖고 있는 단어인지 이해도 안 갔다. 결정적으로 이게 어디서 쓰이는 지 알 수가 없었다. 이제야 실무를 몇 년 동안하고 생각하고 읽고 실행하면서 알게 되었다. 알게 되었다기 보다 이 단어가 생겨난 이유에 대해 느낌을 알 수 있었다. 결국에는 모르는 것에 대해 좀 알기 쉽게 하기위해 추상화시킨다라는 단어를 만들었다. 컴퓨터는 인간과 다르기 때문에 abstract한다라고 했는데 많은 사람들에게 이 단어자체가 어려운 과제 중 하나가 되었다. 이런 것을 보다보면 굳이 용어가 필요하나 싶다. - 실생활에 직접적으로 보이지 않는다 이 부분도 중..