Daily OSS
즉시조치
백로그
학습
완료
태그
tag: On-Device-Llm · 1건
학습
완료
아이폰에서 20B MoE 모델 120 tok/s 구동 — Maple-Preview 데모
2026-08-05 · HN (show hn) ·
원문 ↗
#on-device-llm
#ai-inference
#moe
근거:
AI/LLM 추론 최적화 관심 분야 — 아이폰에서 20B MoE 모델을 120 tok/s로 구동하는 on-device 추론 기술 사례
액션:
deepgrove.ai/maple-preview 페이지에서 ternary quantization 방식과 MoE 구조 확인, 관련 오픈소스(BitNet, llama.cpp iOS 브랜치 등) 비교 학습