tag: Local-Llm · 22건
- 근거: 로컬 LLM 추론 성능 사전 체험 도구 — AI/LLM 추론 최적화 관심 분야에 해당
- 액션: llmspeed.dev 방문해 관심 있는 모델(예: Llama 3, Mistral)의 하드웨어별 토큰 속도 체감해보기
- 근거: AI/LLM 로컬 추론 및 엣지 디바이스 AI 실행 관련 관심 분야에 해당
- 액션: 기사 읽고 Surface Laptop Ultra에서 로컬 LLM 실행 성능 벤치마크 및 지원 모델 목록 파악
- 근거: 로컬 LLM 기반 오프라인 AI 에이전트 개념으로 AI/LLM 관심 분야에 해당하나, GitHub 저장소가 없고 소스가 외부 CDN 타르볼로만 제공되어 직접 시도 부적합
- 액션: llama-cpp + 소형 Qwen 모델로 deterministic tool-calling 에이전트 패턴(모델이 텍스트 생성 없이 도구 선택만 수행) 개념을 메모해두기
- 근거: AI/LLM 관심 분야 — 로컬 PC에서 대형 언어 모델을 실행하고 OpenAI/Anthropic 호환 API를 localhost에서 제공하는 자체 호스팅 LLM 런타임
- 액션: git clone https://github.com/VecSzn/PolyStrata 후 SETUP.bat(Linux: docker-entrypoint.sh) 실행해 Qwen3 모델 기동 및 localhost API 엔드포인트 동작 확인
- 근거: AI 코딩 도구 + CLI 개발자 도구 카테고리에 해당하는 소형 로컬 모델 특화 코딩 에이전트
- 액션: Product Hunt 페이지에서 GitHub 저장소 링크 확인 후 클론하여 Ollama 등 소형 로컬 모델과 연동 동작 테스트
- 근거: 로컬 LLM(Ollama)과 PDF 파싱을 결합한 AI 도구 패턴 — AI/LLM 관심 분야에 해당하나, showdev 블로그 글이라 검증된 GitHub 저장소 URL을 특정할 수 없음
- 액션: cardsmith GitHub 저장소를 직접 검색해 존재 확인 후, Ollama 기반 문서→플래시카드 파이프라인 구현 방식(source_quote 검증 로직 포함) 코드 살펴보기
- 근거: AI/LLM 추론 최적화 영역 — 8GB GPU로 125B MoE 모델을 로컬 실행하고 OpenAI/Anthropic 호환 API를 localhost에서 제공하는 C++ 추론 엔진
- 액션: git clone https://github.com/Niko1221/Strata && bash setup.sh 실행 후 OpenAI 호환 엔드포인트로 Qwen3 125B MoE 로컬 추론 동작 확인
- 근거: AI/LLM 에이전트 영역 — 로컬 OCR + LLM으로 메시지 의도 판단 후 후보 답변을 제안하는 WeChat 보조 도구
- 액션: git clone https://github.com/jev-chat/jev-chat-windows 후 requirements.txt 확인, 로컬 OCR + LLM 파이프라인 구조(core/ 디렉터리) 파악해 유사 채팅 어시스턴트 PoC 참고 자료로 검토
- 근거: 로컬 소형 LLM을 활용한 메시지 의도 인식 도구로 AI/LLM 관심 분야에 해당하며, 화면 읽기 + 로컬 모델 추론 패턴을 보여주는 실제 Python 프로젝트
- 액션: git clone https://github.com/jev-chat/jev-chat-jarvis-mac 후 src/ 구조와 AGENTS.md를 읽어 로컬 LLM 기반 의도 인식 구현 패턴 파악
- 근거: AI/LLM 관심 분야 — 로컬 실행 AI 음악 생성(text-to-music, LoRA 파인튜닝) Vue+백엔드 스택의 자체 호스팅 스튜디오
- 액션: git clone https://github.com/inikolax/remiqora 후 setup_prereqs.sh → setup_models.sh 실행해 ACE-Step 1.5 기반 text-to-music 파이프라인 동작 확인
- 근거: AI 에이전트/LLM 로컬 실행 관련 트렌드 기사로 관심 분야(AI/LLM) 해당
- 액션: 기사 읽고 Perplexity의 로컬 에이전트 아키텍처 및 GPU 요구사항 파악
- 근거: AI/LLM 추론 최적화 및 로컬 LLM 서버 도구 — AI 에이전트 응답 속도 개선 관심 분야
- 액션: https://github.com/search?q=oMLX+mac+llm+server 에서 실제 GitHub 저장소 확인 후 README 검토
- 근거: AI/LLM 관심 분야 — 라즈베리파이에서 35B Qwen 모델을 로컬 실행하고 OBD 연동 AI 에이전트를 구성한 사례로, 엣지 LLM 추론 가능성을 보여주지만 특수 하드웨어(차량+OBD+Pi) 없이는 재현 불가
- 액션: GitHub 저장소(https://github.com/ThinkOffApp/CarWatch) README 읽고 Qwen 35B를 Pi에서 구동하는 데 사용한 추론 최적화 방식(양자화, 메모리 설정 등) 파악하기
- 근거: AI 코딩 도구(로컬 LLM 기반 IDE 에이전트) 분야 — AI/LLM 관심 분야에 해당
- 액션: JetBrains Junie 로컬 모드 요구사양(64GB M5 Mac) 및 지원 모델 확인 후, 유사한 로컬 AI 코딩 에이전트(Continue.dev 등)와 비교 정리
- 근거: 기기 불문 AI 모델 실행 도구로 AI/LLM 관심 분야에 해당하나, Product Hunt 링크만 있고 GitHub 저장소를 특정할 수 없어 즉시 행동 불가
- 액션: NobodyWho GitHub 저장소 직접 검색 후 실제 구현 여부 확인
- 근거: AI/LLM 관심 분야 — 로컬 LLM 실행 및 추론 설정(reasoning_effort) 관련 블로그 기사
- 액션: LM Studio에서 Qwen 3.8 27B Q4_K_M 모델 다운로드 후 reasoning_effort를 xhigh 대신 medium/low로 설정해 응답 속도·품질 비교 테스트
- 근거: AI/LLM 관심 분야 — Meta의 새 오픈웨이트 30B 모델(Apache 2.0)로 에이전트·툴 호출·멀티스텝 추론에 최적화되었다는 소개 기사
- 액션: LM Studio에서 ‘Muse Glimmer’ 검색 후 18GB 버전 다운로드, Simon Willison의 llm-lmstudio + llm-coding-agent 조합으로 로컬 코드베이스 탐색 워크플로우 테스트
- 근거: AI/LLM 추론 최적화 — NVMe 스트리밍으로 RAM 초과 대형 모델(Kimi K3 2.78조 파라미터) 로컬 실행을 가능하게 하는 C 추론 엔진
- 액션: git clone https://github.com/sqliteai/waste && make 빌드 후 소형 모델로 NVMe 스트리밍 추론 동작 확인
- 근거: AI/LLM 분야 — Kimi K3 모델을 단일 기기에서 실행하고 OpenAI 호환 API 서버로 로컬 추론 환경 구성
- 액션: git clone https://github.com/gavamedia/deltafin && pip install -r requirements.txt 후 로컬에서 OpenAI 호환 API 서버 기동 및 chat/coding agent 연결 동작 확인
- 근거: AI/LLM 관심 분야 중 로컬 LLM 실행 도구에 해당하는 블로그 기사 — Mac 전용 MLX 기반 데스크톱 앱 소개
- 액션: Simon Willison 원문에서 Prince Canuma의 Nativ GitHub 저장소 링크 확인 후, MLX-VLM과 함께 Mac에서 로컬 LLM 실행 환경으로 LM Studio 대안으로 검토해볼 것
- 근거: AI/LLM 분야 — Mac 로컬에서 MLX 모델을 GUI로 실행·서빙·모니터링하는 네이티브 macOS 앱
- 액션: git clone https://github.com/Blaizzy/nativ && Xcode로 빌드 후 로컬 MLX 모델 로드 및 채팅 기능 시연해보기
- 근거: AI/LLM 관심 분야 — 로컬 LLM 실행 노하우 집약 가이드, 1294 스타로 즉시조치 기준 충족
- 액션: git clone https://github.com/jamesob/local-llm 후 README 따라 로컬 LLM 구성 방법 확인 및 추천 모델·런타임 하나 직접 실행해보기