tag: Llm-Optimization · 3건
- 근거: AI/LLM 추론 최적화 분야 — 오픈소스 Qwen3-TTS/ASR용 특화 추론 엔진으로 sub-50ms 지연 달성, 클로즈드 모델 대비 경쟁력 있는 성능·비용 제시
- 액션: https://github.com/nari-labs/nari-qwen3-tts 클론 후 로컬에서 Qwen3-TTS 추론 속도 및 WER 직접 측정해보기
- 근거: AI/LLM 추론 최적화 및 모델 경량화 도구로 관심 분야인 AI/LLM 파인튜닝·추론 최적화에 해당
- 액션: github.com/experientiallabs/world-model-optimizer 레포 클론 후 README 확인 및 wmo build/optimize/serve 커맨드 흐름 파악
- 근거: AI/LLM 시스템 최적화 — RAG·추론 성능 관련 캐싱 트레이드오프 해설 기사
- 액션: 기사 읽고 Redis 벡터 캐싱의 레이턴시 트레이드오프 패턴 정리해두기