Daily OSS

tag: Llm-Benchmark · 4건

즉시조치 DeepSeek 공식 LLM 평가 하네스 — 플러그인 기반 벤치마크 프레임워크
2026-08-13 · GitHub Trending (stars:>200) · 원문 ↗ #llm-benchmark#ai-agent#plugin-architecture
  • 근거: DeepSeek 공식팀이 공개한 LLM 평가/벤치마크 하네스 프레임워크 — AI/LLM 도구 관심 분야에 직접 해당하며, 39k+ 스타·3103 포크·117MB 실제 TypeScript 코드베이스로 즉시 검증 가능한 완성도
  • 액션: git clone https://github.com/deepseek-ai/deepseek-harness && cd deepseek-harness && cat README.md BENCHMARK.md AGENTS.md — 플러그인 구조 파악 후 examples/ 디렉터리에서 샘플 평가 파이프라인 실행해보기
학습 완료 멀티에이전트 하네스가 단일 드래프터보다 22배 비싸고 성능은 낮았다는 실증 결과
2026-07-25 · DEV Community - showdev · 원문 ↗ #ai-agent#llm-benchmark#multi-agent
  • 근거: AI 에이전트 / 멀티에이전트 시스템 설계 및 실증 평가 관련 인사이트
  • 액션: 단일 LLM 호출 vs 멀티에이전트 파이프라인의 비용·품질·지연을 비교하는 간단한 벤치마크 스크립트를 작성해 자신의 에이전트 구성에 적용해보기
학습 완료 Grok 4.5, Claude Opus 대비 1/4 토큰으로 동등 성능? 코딩 벤치마크 비교
2026-07-18 · The New Stack · 원문 ↗ #llm-benchmark#ai-coding#grok-vs-claude
  • 근거: AI/LLM 모델 비교(Grok 4.5 vs Claude Opus) — AI 코딩 도구 관심 분야에 해당
  • 액션: Grok 4.5 API 또는 xAI 플레이그라운드에서 코딩 태스크로 Claude Opus와 토큰 효율 직접 비교해보기
학습 완료 시니어 엔지니어 수준으로 AI 에이전트를 평가하는 오픈소스 벤치마크 Senior SWE-Bench
2026-07-11 · HN (open source) · 원문 ↗ #ai-agent#llm-benchmark#swe-bench