개요식당 추천 시스템을 개발하면서 식당과 리뷰 데이터를 확보하기 위해 ETL 파이프라인을 구축했습니다.https://growth-coder.tistory.com/359 식당 추천 시스템 개발기 #4 - ETL 데이터 파이프라인 아키텍처개요"현재 자신의 상황에 맞는 식당 추천 시스템"을 개발하기 위해 지금까지 식당, 리뷰 크롤링 및 기본적인 벡터 기반 유사도 검색에 대해 알아보았습니다. 이번에는 작성한 크롤링 코드를 기growth-coder.tistory.com 아키텍처는 아래와 같습니다. 이 데이터 파이프라인에서 문제가 발생한 부분은 데이터 저장 부분입니다 하나의 식당에 대해서 여러 리뷰를 수집하고 해당 리뷰를 요약한 뒤 vector로 만들어 S3에 저장하면 lambda 함수에서 해당 데이터를 조회해서 ..