728x90 반응형 event bridge1 [AWS] AWS lambda + event bridge 매일 크롤링해서 private RDS에 저장 프로젝트를 진행하던 중 매일 크롤링을 해서 데이터베이스에 데이터를 갱신해야 하는 작업이 있었다. 처음에는 EC2에 배포한 스프링부트에서 직접 자바로 크롤링을 하도록 구성을 했었는데 보안을 위해 private subnet에 EC2 인스턴스를 두면서 어려워졌다. NAT gateway를 통해 크롤링을 하는 방법도 있었지만 비용 문제로 다른 방법을 사용하기로 했다. 그 다른 방법은 AWS lambda와 AWS event bridge를 사용하여 매일 자정에 자동으로 크롤링을 해서 private RDS에 저장하는 방법이다. AWS Event Bridge의 Cron Rule을 사용하여 매일 자정에 이벤트를 발생시켜 Lambda를 호출한다. Lambda는 원하는 사이트를 크롤링 하여 원하는 데이터를 RDS에 저장한다... 2023. 6. 17. 이전 1 다음 728x90 반응형
