tag: Local-Inference · 9건
- 근거: LLM 로컬 실행(Ollama, llama.cpp, vLLM 등) 가이드로 AI/LLM 관심 분야에 해당하나, 러시아어 문서 저장소로 실제 코드 라이브러리가 아닌 튜토리얼 성격
- 액션: README 및 docs 폴더 훑어보며 DeepSeek 로컬 실행 설정 방법 파악
- 근거: AI/LLM 관심 분야 — Ollama 방식의 로컬 decision model 서빙 도구로, NLI·GLiClass 등 분류/결정 모델을 TypeSafe 호환 API로 제공하는 신규 프레임워크
- 액션: git clone https://github.com/ollaya-dev/ollaya && docker build -t ollaya . 후 laya 모델 pull하여 분류 추론 API 동작 확인
- 근거: AI/LLM 관심 분야 — Ollama 유사 로컬 실행 도구로 오픈소스 결정(decision) 모델을 다루는 신규 프로젝트 소개 기사
- 액션: https://ollaya.dev/ 에서 GitHub 저장소 링크를 확인하고, 소개된 decision model 하나를 로컬에서 실행해보기
- 근거: Android에서 ROOT 없이 proot+Ubuntu로 LLM(DeepSeek)을 구동하는 런처 — AI/LLM 인프라 도구 범주
- 액션: https://github.com/qiannianhuanxiang/DSHA README와 BUILD.md 읽고 Android 기기에서 LLM 로컬 실행 방식 파악
- 근거: AI/LLM 분야 — 로컬 추론 가능한 오픈소스 LLM 신규 공개
- 액션: Qwen3.8 모델 허깅페이스 페이지 확인 후 ollama run qwen3:30b-a3b 또는 llama.cpp로 로컬 추론 테스트
- 근거: AI/LLM 분야 — LLM 파인튜닝·추론 최적화 도구 Unsloth의 데스크탑 버전으로, 로컬에서 모델 학습 가능
- 액션: https://github.com/unslothai/unsloth 저장소 확인 후 Unsloth Desktop 설치해 로컬 모델 파인튜닝 테스트
- 근거: AI/LLM 에이전트 분야 — 로컬 실행 가능한 오픈웨이트 에이전트 모델
- 액션: Meta Muse Glimmer 공식 릴리즈 페이지 확인 후 로컬 실행 요구사항(VRAM/RAM) 및 라이선스 검토
- 근거: Google Gemma 모델 기반 로컬 번역기 — AI/LLM 로컬 추론 앱, Raspberry Pi 배포 포함 완성형 프로젝트
- 액션: git clone https://github.com/google-gemma/gemma-translator && bash setup.sh && bash start.sh 로 로컬 실행 확인
- 근거: AI/LLM 카테고리 — Apple Silicon에서 Qwen 모델 기반 로컬 음성 전사·받아쓰기 도구로, 로컬 추론/AI 코딩 도구 관심 분야에 해당
- 액션: git clone https://github.com/VladUZH/qwen-scribe 후 Apple Silicon 환경에서 설치·실행해 로컬 전사 품질 확인