LLM 쓸 때 속도 느려 터져서 답답했지? 가장 빠른 길로 안내하는 꼼수 등장

• OpenAI API랑 호환되는 프록시 라우터 'Sturnus'가 깃허브에 오픈소스로 올라왔어.
• 여러 LLM 제공업체 중에서 현재 시점에 가장 응답 속도가 빠른 곳으로 자동으로 요청을 보내줘.
• 지연 시간(latency)을 극도로 줄여서 실시간 서비스에 LLM 녹여내고 싶은 개발자라면 한 번 츄라이해봐.