tag: Llama-Cpp · 2건
- 근거: 로컬 LLM 기반 오프라인 AI 에이전트 개념으로 AI/LLM 관심 분야에 해당하나, GitHub 저장소가 없고 소스가 외부 CDN 타르볼로만 제공되어 직접 시도 부적합
- 액션: llama-cpp + 소형 Qwen 모델로 deterministic tool-calling 에이전트 패턴(모델이 텍스트 생성 없이 도구 선택만 수행) 개념을 메모해두기
- 근거: AI/LLM 추론 서버 — 저사양 하드웨어에서 OpenAI 호환 API 제공, CPU 캐싱으로 반복 추론 비용 절감
- 액션: git clone https://github.com/swellweb/reame && ./build.sh 후 로컬 CPU에서 소형 모델로 OpenAI 호환 엔드포인트 테스트