tag: Llm-Inference · 21건
- 근거: AI/LLM 추론 최적화 프레임워크 — DeepSeek 모델 대규모 고성능 추론 지원으로 LLM 인프라 관심 분야에 직결
- 액션: git clone https://github.com/deepseek-ai/DeepInfer && pip install -r requirements-nvidia.txt 후 examples/ 디렉터리로 DeepSeek 모델 추론 벤치마크 PoC 실행
- 근거: 로컬 GPU에서 321B MoE LLM을 자체 호스팅할 수 있는 엔진+서버+대시보드 올인원 — AI/LLM 인프라 관심 분야에 직접 해당하며 완성도 높음
- 액션: git clone https://github.com/mw00/project-maya && bash setup.sh 후 GLM-5.3-Flash 로컬 추론 기동 확인
- 근거: LLM 추론 최적화(continuous batching, GEMV vs GEMM 커널 선택) 기술 해설 — AI/LLM 관심 분야에 해당하는 심층 기사
- 액션: mini-vllm-rs 저장소(https://github.com/lun0522/mini-vllm-rs) README 훑어보고, 배치 크기에 따른 Metal 커널 분기 로직 확인
- 근거: AI/LLM 추론 최적화 영역 — GGUF 모델을 Vulkan으로 AMD/Intel/Nvidia GPU에서 실행하는 Go 바이너리
- 액션: git clone https://github.com/Vibra-Ingenn/Janus 후 README 확인 및 소규모 GGUF 모델로 로컬 추론 테스트
- 근거: AI/LLM 추론 최적화 영역 — 8GB GPU로 125B MoE 모델을 로컬 실행하고 OpenAI/Anthropic 호환 API를 localhost에서 제공하는 C++ 추론 엔진
- 액션: git clone https://github.com/Niko1221/Strata && bash setup.sh 실행 후 OpenAI 호환 엔드포인트로 Qwen3 125B MoE 로컬 추론 동작 확인
- 근거: AI 에이전트 효율화 및 LLM 추론 최적화 관련 기술 해설 기사
- 액션: 기사 읽고 텍스트 생성 없이 의사결정하는 에이전트 설계 패턴 개념 파악하기
- 근거: 오픈 LLM을 이용한 시맨틱 조건 분기(semantic if) 구현 — AI/LLM 추론 최적화 관심 분야에 직접 해당하며, 소비자용 GPU(3090)에서 동작하는 로컬 추론 도구
- 액션: git clone https://github.com/TheoLeeCJ/SemIf && pip install -r requirements.txt 후 examples/ 디렉터리의 예제 실행해 시맨틱 if 동작 확인
- 근거: AI/LLM 카테고리 — 상용 Jev와 유사한 기능을 RTX 3090 등 소비자용 GPU에서 로컬로 실행할 수 있는 오픈소스 Python 프로젝트; src/, pyproject.toml, requirements.txt, examples, benchmarks 등 실제 소스 구조 완비, ★781·포크 54로 신뢰도 충분
- 액션: git clone https://github.com/TheoLeeCJ/openjev && cd openjev && pip install -r requirements.txt 후 examples/ 또는 demo/ 실행해 RTX 3090(또는 가용 GPU)에서 기본 동작 확인
- 근거: Mac에서 125B MoE 모델을 SSD 스트리밍으로 구동하는 LLM 추론 최적화 도구 — AI/LLM 인프라 관심 분야에 직접 해당하며, Ollama 호환 API로 5분 내 시도 가능
- 액션: Mac에서
bash install.sh실행 후 Ollama 호환 엔드포인트로 Qwen3 125B 추론 속도/VRAM 사용량 측정 (MEASUREMENTS.md 참고)
- 근거: 온디바이스 LLM 추론 및 Core ML 최적화 사례 — AI/추론 최적화 관심 분야에 해당
- 액션: HN 댓글 스레드(https://news.ycombinator.com/item?id=49373456)에서 Core ML 변환 및 125M 모델 온디바이스 배포 과정 정리 읽기
- 근거: AI/LLM 관심 분야 — 로컬 LLM 실행 및 추론 설정(reasoning_effort) 관련 블로그 기사
- 액션: LM Studio에서 Qwen 3.8 27B Q4_K_M 모델 다운로드 후 reasoning_effort를 xhigh 대신 medium/low로 설정해 응답 속도·품질 비교 테스트
- 근거: 온디바이스 AI 에이전트 프레임워크 — LLM 추론 최적화 및 AI 에이전트 관심 분야에 해당
- 액션: git clone https://github.com/OpenSparX/MasterAgent && CMake로 빌드 후 examples/ 디렉토리의 샘플 에이전트 실행해보기
- 근거: AI/LLM 추론 최적화 영역 — MoE 모델을 P2P 분산 스웜으로 실행하는 개념으로 흥미롭지만, 저장소 [검증 신호](루트 파일·크기·이슈/포크)를 확인할 수 없어 보수적 판정
- 액션: https://github.com/JustVugg/lumabri 방문해 README·루트 파일 구성·이슈 수 직접 확인 후, 실제 코드가 있으면 재판정
- 근거: AI/LLM 추론 최적화(vLLM, SGLang, 양자화, 투기적 디코딩) 로드맵으로 관심 분야에 해당하나, 실제 코드가 아닌 학습 커리큘럼 문서(HTML+README)임
- 액션: index.html 열어 10주 커리큘럼 구성 확인 후 vLLM/SGLang 관련 주차 북마크
- 근거: AI/LLM 추론 최적화 — GPU 없이 CPU 단독으로 대형 LLM 인퍼런스를 구현한 C99 구현체, AI 에이전트/LLM 실험 환경에 직접 활용 가능
- 액션: git clone https://github.com/FareedKhan-dev/kimi-k3-in-c && make && ./examples/… 로 로컬 CPU 인퍼런스 동작 확인
- 근거: AI/LLM 추론 최적화 — NVMe 스트리밍으로 RAM 초과 대형 모델(Kimi K3 2.78조 파라미터) 로컬 실행을 가능하게 하는 C 추론 엔진
- 액션: git clone https://github.com/sqliteai/waste && make 빌드 후 소형 모델로 NVMe 스트리밍 추론 동작 확인
- 근거: AI / LLM — ESP32 마이크로컨트롤러 위에서 LLM 추론을 실행하는 엣지 AI 프로젝트로, 추론 최적화 관심 분야에 해당
- 액션: git clone https://github.com/slvDev/esp32-ai 후 RESULTS.md와 experiments/ 폴더로 어떤 모델을 어느 수준 정확도로 돌렸는지 확인; ESP32 없이도 Python 실험 코드(src/) 구조 파악 가능
- 근거: LLM 추론 최적화(llama.cpp·MLX 대비 성능 비교) — AI/LLM 관심 분야에 해당하나, GitHub 저장소 URL이 없고 Product Hunt 링크만 존재해 실제 오픈소스 여부 불명확
- 액션: ‘BaseRT llama.cpp site:github.com’ 검색으로 실제 저장소 확인 후 클론 여부 재판정
- 근거: AI/LLM 추론 서버 — 저사양 하드웨어에서 OpenAI 호환 API 제공, CPU 캐싱으로 반복 추론 비용 절감
- 액션: git clone https://github.com/swellweb/reame && ./build.sh 후 로컬 CPU에서 소형 모델로 OpenAI 호환 엔드포인트 테스트
- 근거: llama.cpp의 공개 API를 활용한 KV 캐시 상태 재사용으로 로컬 LLM 추론 TTFT를 최대 9.9배 단축하는 기법 소개 — AI/LLM 추론 최적화 분야
- 액션: DEV 게시글 내 EdgeSync-LLM 프로젝트의 GitHub 저장소 링크를 직접 확인하고, llama_state_seq_get_data/set_data API 사용 패턴과 벤치마크 재현 방법 검토
- 근거: AI/LLM 추론 최적화 영역 — 744B MoE 모델을 소비자 PC(RAM 32GB)에서 int4 + 전문가 디스크 스트리밍으로 구동하는 실험적 오픈소스 프로젝트
- 액션: git clone https://github.com/JustVugg/colibri 후 README 확인, GLM 5.2 int4 로딩 방식 및 MoE 전문가 디스크 오프로딩 구현 코드 살펴보기