tag: Ai-Optimization · 2건
- 근거: AI/LLM 추론 최적화(vLLM, SGLang, 양자화, 투기적 디코딩) 로드맵으로 관심 분야에 해당하나, 실제 코드가 아닌 학습 커리큘럼 문서(HTML+README)임
- 액션: index.html 열어 10주 커리큘럼 구성 확인 후 vLLM/SGLang 관련 주차 북마크
- 근거: AI/LLM 추론 최적화 — NVMe 스트리밍으로 RAM 초과 대형 모델(Kimi K3 2.78조 파라미터) 로컬 실행을 가능하게 하는 C 추론 엔진
- 액션: git clone https://github.com/sqliteai/waste && make 빌드 후 소형 모델로 NVMe 스트리밍 추론 동작 확인