Data Engineer 로드맵

https://youtu.be/SpaFPPByOhM

 

1. SQL, Python, Linux, 서버 개념(SFTP, firewall) 공부
2. Flask로 API 만들고 front-end server와 연결하고 응답 받기. (1번째 프로젝트)
3. Data Warehouse 공부하기 (Kimbell's warehouse)
4. online source를 긁어서 계층화된 SFTP에 암호화된 데이터를 저장하고, SFTP → Dataware House로 데이터를 load해라. (2번째 프로젝트)
5. Unit Testing을 공부해라. 'Unit TDD Python' course를 수강해라.
6. Docker를 이용해 Airflow를 lauch해라. (Docker Airflow에 대한 이해를 키워라)
7. (Google Data Certificate, Azure's) Cloud Data Warehouse과 데이터 ETL을 공부해라. FreeCodeCamps - Database systems - Conell Univ Couse - SQL, NoSQL Large-scale Data Analysis 코스를 수강해라.
8. Andrea's vedio를 참고해서 Apache Kaflka를 3분만에 설치하는 방법을 확인해라. Spark와 Hadoop에 대한 StartDataEngineering's Project라는 Frank Cane의 강좌를 수강해라 
9. DS&A, SQL, DatawareHouse에 대한 면접 질문을 공부해라
10. AWS Kinesis, Bigquery를 이용해 3번째 프로젝트를 진행해라.