tag: Inference-Optimization · 8건
- 근거: Python 기반 AI/ML 라이브러리로, BENCHMARKS.md·notebooks·tests 등 완전한 패키지 구조를 갖추고 있으며 AI/LLM 추론·최적화 관심 분야에 해당
- 액션: pip install laya 또는 git clone https://github.com/NandhaKishorM/laya 후 notebooks/ 예제 실행해 기능 파악
- 근거: AI 에이전트 / 추론 최적화 영역 — 컴퓨터 사용 자동화에 특화된 초경량(706k 파라미터, 2.8MB) 결정 모델로, System 1(빠른·직관적 판단) 개념을 AI 에이전트 설계에 적용한 참신한 접근
- 액션: git clone https://github.com/trycua/cua 후 CUA-S1-FORMS 예제 실행해 폼 자동화 데모 확인
- 근거: AI/LLM 추론 최적화(양자화/압축) 연구 동향에 해당
- 액션: 기사 읽고 BitCoS 압축 기법의 원리와 기존 1.58-bit 대비 개선 포인트 파악
- 근거: AI/LLM 추론 최적화 관심 분야에 해당하는 기술 해설 기사
- 액션: 기사 본문 읽고 inference cost 절감 기법(캐싱, 배치, 양자화 등) 메모 정리
- 근거: AI/LLM 추론 최적화 분야 — FPGA 기반 경량 LLM 온칩 추론 실험 사례
- 액션: 블로그 글 읽고 KV260 FPGA 기반 LLM 추론 구현 방식 및 성능 수치 파악하기
- 근거: AI/LLM 분야 관심 주제이나 OpenAI 상용 모델 가격 변동 뉴스로, 클론하거나 시도해볼 오픈소스 저장소가 없음
- 액션:
- 근거: AI/LLM 추론 최적화 및 멀티모델 앙상블 전략 — AI·LLM 관심 분야에 해당하나 오픈소스 저장소가 아닌 상용 서비스 소개
- 액션: echo.tracerml.ai 데모에서 실제 멀티모델 라우팅 결과 확인 후, 유사 오픈소스 구현체(RouteLLM, LLM-Blender 등) 비교 탐색
- 근거: LLM 추론 최적화 분야 — M-series MacBook에서 Gemma 4 26B를 2GB RAM으로 실행하는 Swift 기반 로컬 추론 엔진
- 액션: git clone https://github.com/drumih/turbo-fieldfare && swift run으로 Gemma 4 26B-A4B 로컬 추론 동작 확인