Sample FastAPI Application to demonstrate Async architecture with Celery, Redis(Queue) and Flower

https://github.com/MOOWOO/fastapi-celery-queue-application

GitHub - MOOWOO/fastapi-celery-queue-application

 

현재 작성하고 있는 프로젝트의 주요 골격으로 LLM엔진의 기능은 한 없이 커지고 있고, GPU등의 Out of memory 등의 상황에서 요청을 흘리는 일이 많이 발생해서 배치처리가 가능하도록 만들고 있다.

 

FastAPI와 Celery를 이용한 비동기 작업 처리 애플리케이션의 장점

안녕하세요! 오늘은 FastAPI와 Celery를 이용한 비동기 작업 처리 애플리케이션의 장점에 대해 이야기해볼게요. 이 조합은 최신 웹 애플리케이션에서 비동기 작업을 효과적으로 처리하는 데 정말 유용하답니다.

---

주요 구성 요소

먼저, 주요 구성 요소를 살펴볼까요?

• FastAPI: Python으로 만든 고성능 웹 프레임워크예요. 비동기 기능을 완벽하게 지원하고, 자동화된 문서 생성도 가능하답니다.
• Celery: 비동기 작업을 관리하는 툴로, 작업을 큐에 넣고 여러 워커가 이를 병렬로 처리할 수 있어요.
• Redis: Celery와 함께 사용하는 메시지 브로커로, 빠르고 신뢰성 있는 메시지 전달을 제공해요.

---

FastAPI와 Celery를 사용하면 좋은 이유

1. 성능 향상

• 비동기 처리: 클라이언트의 요청을 비동기적으로 처리하면 서버는 즉시 응답을 줄 수 있어요. 작업은 백그라운드에서 처리되니, 서버 응답 시간이 훨씬 짧아지죠.
• 빠른 데이터 전송: Redis를 메시지 브로커로 사용하면 데이터 전송이 빠르고, 처리도 신속하게 이루어져요.

2. 확장성

• 수평 확장: Celery 워커를 추가하면 작업 처리 능력을 손쉽게 늘릴 수 있어요. 즉, 필요에 따라 처리 능력을 확장할 수 있다는 뜻이죠.
• 모듈화: FastAPI와 Celery가 분리된 구조라 각 구성 요소를 독립적으로 관리하고 확장할 수 있어요.

3. 유연성

• 다양한 백엔드 지원: Celery는 Redis뿐만 아니라 RabbitMQ, Amazon SQS 등 다양한 메시지 브로커를 지원해요. 선택의 폭이 넓죠.
• 다양한 작업 유형: 주기적인 작업, 지연된 작업 등 다양한 작업을 쉽게 정의하고 관리할 수 있어요.

4. 코드 유지보수

• 자동 문서화: FastAPI는 API 문서를 자동으로 생성해줘요. 개발자들이 API를 쉽게 이해하고 사용할 수 있게 도와준답니다.
• 구조화된 코드: FastAPI의 명확하고 구조화된 코드베이스는 유지보수를 훨씬 쉽게 해줘요.

5. 안정성

• 에러 처리: Celery는 작업 실패 시 재시도 메커니즘을 제공해서 작업의 안정성을 높여줘요.
• 모니터링: Celery와 Flower 같은 모니터링 툴을 사용하면 작업 큐 상태와 성능을 실시간으로 모니터링할 수 있어요.

---

이처럼 FastAPI와 Celery를 이용한 비동기 작업 처리 애플리케이션은 높은 성능과 확장성을 제공하고, 유연하고 유지보수가 쉬운 구조를 자랑해요. 비동기 작업을 효과적으로 처리해야 하는 다양한 서비스에 매우 유용하답니다. 

여러분도 FastAPI와 Celery를 활용해 멋진 애플리케이션을 만들어 보세요!