기록하는 투자자

- 개발과 운영에 쓰인다. - 쉽게 말해서 개발환경을 빠르게 운영하기 위함이다. - 개발환경을 도커로 운영할 수 있다. - 특정 포트를 통해 도커를 수행한다. (base) chodaehee@codestates-CDHui-MacBookPro ~ % docker run -d -p 82:82 docker/getting-started d474ad29e0886e032860c99c5e56d7d06a4bf37036d5e714f143040a5be0c308 (base) chodaehee@codestates-CDHui-MacBookPro ~ % - 컨테이너를 통해서 특정 이미지를 실행시킬 수 있다. - 도커허브에 올린 이미지가 로컬에 있다. www.youtube.com/watch?v=tPjpcsgxgWc

자습서를 기반으로 시작

참고자료 : tacademy.skplanet.com/live/player/onlineLectureDetail.action?seq=193 아파치 스파크 입문 | T아카데미 온라인강의 아파치 스파크의 개념과 실시간 처리, 배치 처리에 대해 이해하고, ETL 등 데이터 파이프라인 실습에 대해 알아봅니다. 또한 스파크 클러스터 운영과 모니터링에 대해 알아봅니다. tacademy.skplanet.com - 코드수행 부분 Last login: Sun Mar 7 11:19:48 on console (base) chodaehee@codestates-CDHui-MacBookPro ~ % docker Usage: docker [OPTIONS] COMMAND A self-sufficient runtime for contai..

데이터 엔지니어의 중요한 점은 데이터 파이프라인 구축이다. 툴이 발전하면서 GCP, AWS를 잘 활용하면 파이프라인 구축은 금방된다. 물론 잘못 활용하면 수 많은 데이터를 감당하지 못하고 웹페이지나 앱이 제대로 작동하지 않을 것이다. 그럼 본격적인 입문에 대해 생각해보자. 과거에는 데이터를 컴퓨터에 넣고 웹에서 확인하는 형태였다. 연결관계를 생각해보자. 온라인 데이터 발생 -> 데이터베이스 서버로 데이터가 막 들어간다 -> 데이터베이스 서버에 데이터가 쌓인다. -> 데이터가 웹 상에서 보인다. 웹상에서 데이터를 보이게 하는 과정을 최종 결과라고 할 수 있다. 물론 발생한 데이터를 데이터베이스 서버로 옮기기 위한 작업이 이전에는 엑셀에 입력해서 수기로 데이터베이스에 넣는 방식이 있었겠지만, 그것을 자동화에..

이번에 함께 봐볼 책은 한빛미디어의 입니다. 먼저 결론부터 말씀드리죠. 이 책은 최소 3번은 읽어주시길 바랍니다. 이 책은 얇습니다. 이 책은 초중급자에게 '필요한' 책입니다. 그럼 본격적으로 책에 대해 말해보겠습니다. 먼저 표지부터보면 책의 원제목과 간단한 부제목을 확인할 수 있습니다. 그리고 책의 옮긴이가 3명이나 되는 것을 볼 수 있습니다. 모두들 IT와 AI관련하여 공부와 경험을 5년 이상 쌓으신 분들께서 책을 옮겨주셨습니다. 아까 말씀드렸듯이 책은 얇지만 반드시 3번이상 읽어보라고 한 이유입니다. '경험'이 녹아들어있습니다. 그리고 그 경험에 우리가 알아야 될 '이론'에 대해 맥락에 맞게 설명되어있습니다. 책에 대한 소개도 간단히 보면 머신러닝에 대해서만 말하는 것이 아닌 실제 프로젝트 수행을 ..