개요"현재 자신의 상황에 맞는 식당 추천 시스템"을 개발하기 위해 지금까지 식당, 리뷰 크롤링 및 기본적인 벡터 기반 유사도 검색에 대해 알아보았습니다. 이번에는 작성한 크롤링 코드를 기반으로 ETL 데이터 파이프라인을 구축하고 데이터 수집 자동화 시스템을 AWS 상에서 구축하려고 합니다.AWS 크롤링 환경 선택먼저 AWS에서 크롤링을 진행할 환경을 선택해야 합니다. AWS에서 크롤링을 진행할 때 대표적인 선택지는 두 가지 정도가 있습니다.AWS LambdaAWS Batch먼저 AWS Lambda는 서버리스 컴퓨팅 플랫폼으로 함수 형태로 코드를 작성해두면 컴퓨팅 자원을 직접 관리할 필요없이 쉽게 코드를 실행할 수 있습니다. AWS batch는 대규모 배치 작업을 관리하고 실행하기 위한 클라우드 기반 서비..