데이터 엔지니어링 쌩입문

1. 데이터 엔지니어링에 대한 명확하면서도 나만의 정의가 필요했다.

2. 데이터 + 엔지니어링이라고 업에 대한 정의를 내릴 것이다.

3. 내가 생각하는 데이터 : 세상에서 눈에 보이는/보이지 않는 모든 정보 + 회사에서 주로 발생하는 데이터

4. 내가 생각하는 엔지니어링 : 컴퓨터에서 발생되는 기술적인 모든 활동

서버와 미들웨어에 대해서 이제야 이해가 가기 시작했다.

서버는 리눅스라는 큰 틀이라면, 거기 안에 담겨진 편리한 여러가지 장치들이 미들웨어의 개념이다.

- 중요한 추가개념 : 실시간 데이터를 처리한다.

그렇다면 '실시간 데이터' 란 무엇이며 어디서 쓰일까?

우리가 어떤 영상을 볼 때 발생하는 음성소리, 실시간 데이터이다.

타자를 칠 때 발생하는 눈에 보이는 글자들, 실시간 데이터이다.

차량이 움직일 때 네비게이션에 입력되는 차량 휠 데이터, 실시간 데이터이다.

학생들이 온라인으로 질문할 때 발생하는 질문들, 실시간 데이터이다.

그리고 생각해보면 현실생활에 대부분의 것들이 실시간 데이터이다.

이러한 데이터가 쌓인다면 말 그대로 '빅데이터'가 되는 것이다.

컴퓨터에서는 이러한 현실의 빅데이터를 알아 듣지 못한다.

그래서 '데이터 파이프라인'을 구축한다.

이걸로 끝이냐?

당연히 아니다.

데이터를 볼 수 만 있으면 뭐하나?

그것을 제대로 봐야한다.

그리고 활용해야 한다.

앞으로 데이터를 어떻게 활용해왔고, 활용하는지 그 과정에 대해서 작성하고 공부를 해보겠다.

함께 하자!!