기록하는 투자자

오늘 함께 볼 엔지니어링 관련 책은 "실무 예제로 배우는 데이터 공학" 입니다. 결론적으로 이 책의 대상은 끈기있는 엔지니어를 지망하는 분들에게 추천드립니다. 왜냐하면 책에 나오는 예제 코드가 실행되지 않는 부분들이 상당히 많습니다. 엔지니어링이 어려운 이유를 한 번 잘 생각해보면 명확한 답이 없기 때문입니다. 기술이 계속해서 발전됨에 따라 엔지니어링 관련한 코드도 계속해서 버전에 따라 바뀝니다. 이 책 또한 해외에서 2020년에 출간된 책이고 2021년에 번역된 책입니다. 책에서 보여주는 예제 코드를 미리 다운 받아서 돌려보셔도 처음부터 구동이 안될 확률이 높습니다. 책에서 나오는 기술은 파이썬, 스파크, nifi, 일레스틱서치 등 다양한 기술이 나옵니다만 대부분 책대로 되지 않습니다. 그럼 과연 이 ..

1. 데이터 엔지니어링에 대한 명확하면서도 나만의 정의가 필요했다. 2. 데이터 + 엔지니어링이라고 업에 대한 정의를 내릴 것이다. 3. 내가 생각하는 데이터 : 세상에서 눈에 보이는/보이지 않는 모든 정보 + 회사에서 주로 발생하는 데이터 4. 내가 생각하는 엔지니어링 : 컴퓨터에서 발생되는 기술적인 모든 활동 서버와 미들웨어에 대해서 이제야 이해가 가기 시작했다. 서버는 리눅스라는 큰 틀이라면, 거기 안에 담겨진 편리한 여러가지 장치들이 미들웨어의 개념이다. - 중요한 추가개념 : 실시간 데이터를 처리한다. 그렇다면 '실시간 데이터' 란 무엇이며 어디서 쓰일까? 우리가 어떤 영상을 볼 때 발생하는 음성소리, 실시간 데이터이다. 타자를 칠 때 발생하는 눈에 보이는 글자들, 실시간 데이터이다. 차량이 움..