728x90 반응형 streaming2 [LangChain] Prompts, Caching, Streaming, Token Usage https://growth-coder.tistory.com/253 이전 포스팅에서 Model input output에 대해서 알아보았다. 위 단계 중 Format을 보면 원하는 형식을 만들어서 거기에 끼워맞추는 모습을 볼 수 있다. PromptTemplate과 ChatPromptTemplate을 사용하여 format을 해보자. 참고로 이전 포스팅과 마찬가지로 OPENAI_API_KEY가 환경 변수로 등록되어 있어야 한다. PromptTemplate from langchain.prompts import PromptTemplate from langchain.chat_models import ChatOpenAI chat = ChatOpenAI() prompt_template = PromptTemplate.fr.. 2023. 10. 20. [Network] Video Streaming and CDNs 비디오 트래픽은 정말 많은 인터넷 대역폭을 사용 중이다. 유튜브나 넷플릭스만 보더라도 정말 많은 유저들을 보유중이다. 그렇기 때문에 이 어마어마한 트래픽을 감당할 수 있어야한다. 또한 각각의 유저들은 서로 다른 단말들을 사용 중일테고 성능이 모두 다를 것이다. 이 두 가지 큰 문제를 해결할 수 있다. 그 전에 비디오는 어떤 식으로 구성되어 있는지 알아야 한다. Video 비디오는 일정한 속도로 보여지는 연속적인 이미지이다. 아래와 같은 이미지를 보면 우선 이 이미지를 여러 픽셀로 나누어 디지털로 바꿔야 한다. 그런데 자세히 보면 위 아래 끝의 경우 색상이 비슷하다. 이럴 경우 N개의 픽셀로 같은 값을 표현하는 게 아닌 (색상 값, 픽셀의 숫자) 이런 식으로 압축해서 최대한 효율적으로 관리한다. 또한 비디.. 2023. 4. 5. 이전 1 다음 728x90 반응형
