tag: Ai-Infra · 7건
- 근거: AI/LLM 인프라 도구 — 로컬 GPU를 여러 AI 엔진(채팅/이미지/음성)이 충돌 없이 공유할 수 있도록 리소스를 순차 할당하는 Go 기반 스케줄러
- 액션: git clone https://github.com/T-Crypt/berth && 로컬 멀티 AI 엔진 환경에서 GPU 리소스 충돌 재현 후 berth로 해결되는지 PoC 확인
- 근거: AI/LLM 워크로드용 GPU 클라우드 비용 비교 도구로, 인프라·AI 관심 분야에 해당하나 GitHub 저장소가 특정되지 않아 직접 클론 불가
- 액션: context.dev 사이트 방문해 GPU 가격 비교 기능 확인 및 오픈소스 레포 존재 여부 탐색
- 근거: LLM 프록시/캐싱 도구로 AI/LLM 인프라 관심 분야에 해당 — 앱의 LLM 호출을 로컬에서 학습·응답하는 self-hosted 레이어
- 액션: git clone https://github.com/bladedevoff/stuntd && examples 폴더 확인 후 로컬 LLM 프록시 동작 PoC 시도
- 근거: LLM API 라우팅 도구(OpenRouter) 사용 시 주의사항을 다루는 AI/LLM 분야 기술 해설 기사
- 액션: OpenRouter를 사용하는 프로젝트에서
provider.only옵션과/endpointsAPI로 라우팅 공급자를 명시적으로 고정하는 방식을 검토
- 근거: AI/LLM 인프라 — Codex 호환 API 계정 풀 게이트웨이로, 복수 계정 failover·세션 복구·관측성을 제공하는 셀프호스팅 LLM 프록시 도구
- 액션: git clone https://github.com/aafqaq/codex-lb-enhanced && docker-compose up -d 로 로컬에서 올려 .env.example 기반 계정 풀 구성 및 /health 엔드포인트 동작 확인
- 근거: DevOps/인프라 관심 분야 — NixOS/Nix 기반 NVIDIA DGX Spark AI 워크스테이션 설정 도구로, AI 인프라 및 IaC 영역에 해당
- 액션: github.com/graham33/nixos-dgx-spark 클론 후 README 확인, DGX Spark 없이도 활용 가능한 Nix 모듈 구조 파악
- 근거: AI/LLM 및 백엔드 데이터 처리 관심 분야에 해당 — Spark 4.2의 벡터 검색 기능이 벡터DB 대체 가능성을 논하는 기술 해설 기사
- 액션: Apache Spark 4.2 릴리즈 노트에서 벡터 검색 관련 기능(Vector Search / AI workloads) 항목 읽기