tag: Ai-Evaluation · 4건
- 근거: AI/LLM 평가(eval) 프레임워크의 스코어러 오탐 패턴을 분석한 기술 블로그 글로, AI 에이전트·LLM 평가 도구 관심 분야에 해당
- 액션: Inspect AI, promptfoo 등 eval 프레임워크 사용 시 deterministic scorer의 false-positive 패턴(정답 언급만으로 통과) 을 인지하고, 직접 BoolQ 스타일 테스트로 재현해보기
- 근거: AI/LLM 관심 분야 — GPT/Codex 모델 품질 저하(Nerfing) 탐지 도구로, LLM API를 활용하는 누구에게나 유용한 진단 도구
- 액션: git clone https://github.com/kiyoakii/is-gpt-nerfed && ./install.sh 후 현재 사용 중인 GPT/Codex 엔드포인트 대상으로 shrinkflation 감지 테스트 실행
- 근거: AI/LLM 벤치마크 트렌드 해설 기사로 특정 오픈소스 저장소가 없는 일반 기술 논평
- 액션: 기사 읽고 ARC-AGI-3 벤치마크 방법론과 GPT-6 Astra 결과의 한계점 파악하기
- 근거: AI/LLM 개발 방법론 — Anthropic의 평가(evals) 기반 제품 개발 접근법 소개
- 액션: 기사 읽고 LLM 제품 개발 시 PRD 대신 eval 설계를 우선하는 방식 개념 정리