Daily OSS

tag: Openai-Compatible-Api · 2건

즉시조치 로컬 GPU로 321B MoE 모델 자체 호스팅 — Project Maya
2026-10-14 · GitHub Trending (topic:self-hosted) · 원문 ↗ #llm-inference#self-hosted-ai#openai-compatible-api
  • 근거: 로컬 GPU에서 321B MoE LLM을 자체 호스팅할 수 있는 엔진+서버+대시보드 올인원 — AI/LLM 인프라 관심 분야에 직접 해당하며 완성도 높음
  • 액션: git clone https://github.com/mw00/project-maya && bash setup.sh 후 GLM-5.3-Flash 로컬 추론 기동 확인
백로그 PC에서 대형 LLM 원클릭 실행 — localhost OpenAI/Anthropic API 제공 자체 호스팅 런타임
2026-10-12 · GitHub Trending (topic:self-hosted) · 원문 ↗ #local-llm#self-hosted-ai#openai-compatible-api
  • 근거: AI/LLM 관심 분야 — 로컬 PC에서 대형 언어 모델을 실행하고 OpenAI/Anthropic 호환 API를 localhost에서 제공하는 자체 호스팅 LLM 런타임
  • 액션: git clone https://github.com/VecSzn/PolyStrata 후 SETUP.bat(Linux: docker-entrypoint.sh) 실행해 Qwen3 모델 기동 및 localhost API 엔드포인트 동작 확인