Celery와 FastAPI - 5

Auto-reload 설정

live code re-loading은 개발자에게 코드 변경에 대한 빠른 피드백을 제공하는 간단하지만 효과적인 방법입니다. Uvicorn은 기본적으로 이 기능을 제공하지만, Celery는 그렇지 않습니다. 따라서 작업 코드에 변경이 있을 때마다 Celery 워커를 수동으로 재시작해야 합니다.
이는 개발의 비효율성입니다.

코드베이스에 변경이 있을 때 Celery 워커가 자동으로 재시작되도록 Celery 워커의 Auto-reload 문제를 해결하는 방법을 확인해 봅니다.

WatchFiles

Uvicorn을 --reload 플래그와 함께 실행하면, watchfiles을 이용하여 파일 감시 및 코드 re-load를 위한 도구로 사용됩니다. Celery 워커에도 watchfiles를 사용하여 같은 방식으로 re-loading 할 수 있습니다.

먼저, requirements.txt 파일에 의존성을 추가합니다:

watchfiles==0.21.0

그런 다음, compose/local/fastapi/celery/worker/start를 업데이트합니다:

watchfiles \
  --filter python \
  'celery -A main.celery worker --loglevel=info'

• --filter python은 watchfiles에 파이썬 파일만 감시하도록 지시합니다.
• 'celery -A main.celery worker --loglevel=info'는 watchfiles가 실행할 명령어입니다.
• 기본적으로 watchfiles는 현재 디렉토리와 모든 하위 디렉토리를 감시합니다.

테스트

Docker 이미지를 다시 빌드하고 새 컨테이너를 시작합니다:

$ docker compose up -d --build

자동 재로딩을 테스트하기 위해 로그를 엽니다:

$ docker compose logs -f

이제 project/users/tasks.py에 있는 divide 작업에 코드 변경을 하면, 터미널에서 워커가 자동으로 재시작하는 것을 볼 수 있습니다.

이렇게 하면 Celery 워커를 수동으로 재시작하지 않고도 코드 변경 사항을 적용할 수 있어, 개발 과정이 훨씬 수월해집니다. watchfiles를 사용하여 Celery 워커의 auto-reload를 설정함으로써 개발자 효율을 개선할 수 있습니다.