Windows에서 Ollama API 서버 설정 및 외부 접속 허용
·
카테고리 없음
개요프로젝트를 진행하던 도중 대량의 리뷰 정보에서 유용한 정보를 추출하는 작업을 진행해야 했습니다. 처음에는 OpenAI API를 활용했는데 리뷰 정보가 굉장히 많다 보니 생각보다 많은 비용이 발생했습니다. 프롬프트가 복잡하다보니 하나의 리뷰를 처리하는데 1,000 토큰이 소요되었고 하나의 식당에 1,000개의 리뷰가 달려있어 한 식당의 리뷰를 분석하는데만 1,000,000 토큰이 필요했습니다. 가장 API 비용이 저렴한 gpt-40-mini의 1,000,000 토큰에 대한 비용은 0.15달러로 대략 200원 정도가 소모됩니다. 저희가 분석할 식당은 대략 200개, 각 식당마다 리뷰가 1,000개씩 달려있다고 가정하면 약 4만원 정도의 비용이 발생합니다. 프로덕션 환경에 올리기 전 로컬에서 테스트하기 위..