내가 겪은 과거의 데이터 엔지니어링(feat. 취업)

나는 데이터 운영과 관리를 위해서 어떠한 일을 해봤나.

2015년(IT 운영 및 고도화)

- 윈도우 서버에서 메모장으로 배치파일 만들었다.

- 배치파일의 목적은 하루에 한 번씩 새벽 5시에 내부ITSM에서 발생하는 에러로그를 남겨주는 것이었다.

- 윈도우 서버에서는 아파치서버를 구동하고 있었다.

- MySQL에서 발생하는 데이터를 활용하기 위해 쿼리문을 작성하여 윈도우서버에서 해당 쿼리를 활용하였다.

- 운영서버에서 해당 쿼리를 실행시키고 얻은 결과를 반영한다.

- 운영서버, 테스트서버, 개발서버가 존재한다.

- 순서는 개발서버에서 개발을 진행하고 테스트서버에서 테스트 후 운영서버에 반영한다.

- 사실 테스트 서버는 개발서버의 일부분이라고 느껴진다.

- 데이터베이스는 MySQL 활용(데이터가 엄청 많지 않음)

- 내부관리용으로 데이터를 관리함

- 별개의 데이터 파이프라인이 필요하지 않았음

- MySQL 테스트계, 운영계로 진행

- 운영계 DB에 대해서는 인프라팀과 별도로 진행

 

2017년~2019년(태블로와의 만남)

- 태블로를 활용하여 시각화진행

- MySQL을 활용하여 태블로와 연동하여 외부데이터를 시각화진행

 

2020년(GA, GCP와의 만남)

- GA라는 웹데이터, 앱데이터 트래킹 툴을 활용해 데이터 분석

- GCP의 빅쿼리를 활용하여 데이터 파이프라인 구축 및 SQL의 광역활용

- GCP라는 클라우드에 대한 만남

 

2020년 ~ (데이터 엔지니어링의 고도화와 입문+데이터 세이언스+데이터 분석)

- 데이터 엔지니어링에서 필요한 지식 습득

- 지식을 최대한 쉽게 적용할려 함

- 정말 쉽~~~~~게

- IT 모르는 사람이 봐도 쉽게