Daily OSS

tag: Quantization · 2건

학습 완료 Intel, 가중치 변경 없이 1.58-bit LLM을 1.485-bit로 추가 압축하는 BitCoS 기법 공개
2026-09-18 · The New Stack · 원문 ↗ #llm#quantization#inference-optimization
  • 근거: AI/LLM 추론 최적화(양자화/압축) 연구 동향에 해당
  • 액션: 기사 읽고 BitCoS 압축 기법의 원리와 기존 1.58-bit 대비 개선 포인트 파악
백로그 Colibrì: 744B MoE 모델을 소비자 PC에서 디스크 스트리밍으로 구동하는 실험 도구
2026-07-11 · HN (show hn) · 원문 ↗ #llm-inference#moe-offloading#quantization
  • 근거: AI/LLM 추론 최적화 영역 — 744B MoE 모델을 소비자 PC(RAM 32GB)에서 int4 + 전문가 디스크 스트리밍으로 구동하는 실험적 오픈소스 프로젝트
  • 액션: git clone https://github.com/JustVugg/colibri 후 README 확인, GLM 5.2 int4 로딩 방식 및 MoE 전문가 디스크 오프로딩 구현 코드 살펴보기