[Node.js] 메인 스레드가 CPU bound 작업으로 인해 블록킹 되는 현상 해결

개요제가 진행하고 있는 프로젝트는 문서 시각화와 문서 실시간 동시 편집 기능을 제공하는 프로젝트입니다.  프로젝트를 진행하면서 문서가 많아질수록 원하는 문서를 찾기가 어려웠습니다. 또한 연관된 여러 개의 문서 정보를 확인하기 위해서 하나씩 클릭해서 문서 정보를 열람해야 하는 불편함이 있었습니다. 그래서 저희는 이 불편함을 해소하고자 LLM 기반 RAG 기능을 도입하기로 결정했습니다. 실제로 OpenAI API를 사용해서 문서를 벡터로 변환한 뒤 질문과 유사한 문서를 찾아서 LLM이 자연어를 생성하는 것까지 성공했으나 한 가지 문제점이 있었습니다. 바로 저희 프로젝트가 변경 사항이 많이 발생한다는 점이었습니다. 실시간 동시 편집을 지원하기 때문에 문서의 변경 사항이 많고 변경 사항이 발생할 때마다 새로운 ..

2025.02.18