tag: Inference · 7건
- 근거: AI/LLM 추론 스택 평가 방법론에 대한 기술 해설 기사
- 액션: 기사 읽고 오픈 모델 선택 시 벤치마크 외 추론 스택 전체(지연시간, 처리량, 비용 등) 평가 기준 정리
- 근거: AI/LLM 모델 선택 및 효율화 관련 기술 트렌드 기사로 AI 관심 분야에 해당
- 액션: Featherless AI 서비스 및 경량 모델 분류(JEV classifier) 개념 파악 — 기사 읽고 실제 모델 선택 전략에 참고
- 근거: LLM 아키텍처(병렬/비순차 추론) 관련 AI 프레임워크 신규 소식으로 AI/LLM 관심 분야에 해당
- 액션: TypeSafe Jev 공식 사이트 및 관련 기술 블로그 읽고 System One 아키텍처 개념 파악하기
- 근거: LLM 추론 API 호환 엔드포인트 — AI/LLM 프레임워크 영역에 해당
- 액션: git clone https://github.com/ekzhang/openjev-sglang && README 및 examples/ 확인 후 modal_app.py 기반 로컬 추론 엔드포인트 구동 테스트
- 근거: LLM 추론 최적화(KV cache, PagedAttention, vLLM 등) 학습 자료 — AI/LLM 관심 분야에 해당하나 실행 가능한 코드 저장소는 아님
- 액션: README 및 학습 자료 통독하여 LLM 추론 엔지니어링 핵심 개념 정리
- 근거: AI/LLM 분야 — Kimi K3 모델을 단일 기기에서 실행하고 OpenAI 호환 API 서버로 로컬 추론 환경 구성
- 액션: git clone https://github.com/gavamedia/deltafin && pip install -r requirements.txt 후 로컬에서 OpenAI 호환 API 서버 기동 및 chat/coding agent 연결 동작 확인
- 근거: AI/LLM 분야 트렌드 — 신규 모델 출시 후 수요 급증으로 인한 인프라 병목 사례
- 액션: 기사 읽고 LLM 서비스 스케일링 병목 패턴(inference bottleneck) 사례로 참고하기