[AWS] Docker Compose를 통한 Airflow DAG 실습

필자는 macOS 유저로, macOS 기준으로 작성되었음을 미리 알립니다.

 

 

 

Airflow를 띄우고, 운영 및 관리하기 위해서는 프로젝트 디렉터리를 만들어 주어야 한다.

 

만들어진 sample-airflow라는 디렉터리로 이동한다.

 

dags, logs, plugins, config 라는 각각의 디렉터리가 모두 필요하기 때문에 아래의 명령어를 통해서 생성할 수 있다.

 

AIRFLOW_UID 라는 환경변수를 통해서 Airflow 컨테이너에서 이용될 유저 ID가 지정할 수 있다.

 

docker-compose.yaml 파일을 아래의 명령어를 통해서 다운로드할 수 있다.

만들어놓은 디렉터리로 이동하여 명령어를 작성해주자.

curl -Lf0 'https://airflow.apache.org/docs/apache-airflow/2.9.0/docker-compose.yaml'

 

 

다음으로는 docker compose up airflow-init을 통해서 docker를 초기화 시켜준다.

 

 

docker ps 를 통해 airflow-init 후에 airflow에서 필요한 데이터베이스가 구성된 것을 확인할 수 있다.

 

 

 

docker compose up -d 명령어를 통해서 백그라운드에서 실행해주자.

 

기분 좋은 초록색 체크 표시가 보인다.

성공이라는 뜻.

 

이제 크롬 혹은 사파리.. 인터넷을 통해 localhost:8080 에 접속해준다.

 

그럼 아래와 같이 Airflow에 접속할 수 있다.

아이디와 비밀번호는

airflow/airflow 이다.

변경해도 되는데 굳이

 

로그인 후에 DAGs 탭을 선택하면 Airflow에서 튜토리얼 용도로 구성해준 샘플 DAG를 확인할 수 있다.

 

 

 

이번 글에서는 가장 기본적인 Airflow를 macOS에서 실행하는 방법을 실습해보았다.

아직 무언가 실행한 단계는 아니지만, 후에 프로젝트를 진행한다고 할 때

기본 세팅은 이 글을 보고서 구성할 수 있을 것 같다.

 

 

 

이번 포스트는 콜로리님의 블로그를 참고하여 작성되었습니다.