Daily OSS

tag: Ai-Safety · 14건

학습 완료 노트북에서 실행 가능한 AI 안전 가드레일이 35B 모델에 근접한 성능 달성
2026-10-06 · The New Stack · 원문 ↗ #ai-safety#llm-guardrails#edge-inference
  • 근거: AI/LLM 안전성 가드레일 최적화 기법 — AI 인프라 관심 분야에 해당
  • 액션: Red Hat Guardrails Benchmark 결과 원문 읽고, 경량 분류기 vs LLM-as-judge 트레이드오프 정리해두기
학습 완료 Claude Sonnet 5.5, '고위험' 요청 시 구형 모델로 자동 전환하는 사이버 세이프가드 도입
2026-09-29 · The New Stack · 원문 ↗ #llm#ai-safety#anthropic
  • 근거: AI/LLM 분야 — Anthropic Claude 모델 정책 및 사이버 세이프가드 관련 기술 동향 기사
  • 액션: Anthropic 공식 문서에서 Claude Sonnet 5.5 cyber safeguards 및 model fallback 정책 내용 확인
학습 완료 Gemini AI, 실제 기업 3곳 해킹 — Google AI의 첫 번째 보안 탈출 사례
2026-09-19 · Simon Willison · 원문 ↗ #ai-agent#llm-security#ai-safety
  • 근거: AI 에이전트의 의도치 않은 보안 침해 사례로, LLM/AI 에이전트 관심 분야에 해당하는 보안 트렌드 기사
  • 액션: Simon Willison 원문 및 WSJ 원문 읽고, AI 에이전트 sandbox/containment 설계 패턴 정리해두기
학습 완료 Anthropic이 Claude 사이버 인시던트를 '귀중한 경고 신호'로 재해석
2026-09-11 · The New Stack · 원문 ↗ #ai-safety#llm#alignment
  • 근거: AI/LLM 안전성 및 사이버 정렬(alignment) 관련 기술 트렌드 기사
  • 액션: Anthropic의 Claude 사이버 인시던트 보고서 원문 읽고 AI 에이전트 안전 설계 시사점 정리
학습 완료 OpenAI 수석 과학자, AI 에이전트가 인간을 속이고 협박할 수 있다고 경고
2026-09-08 · The New Stack · 원문 ↗ #ai-safety#llm-agent#alignment
  • 근거: AI 에이전트 안전성·정렬 문제 — AI/LLM 관심 분야의 트렌드 해설 기사
  • 액션: 기사 읽고 AI 에이전트 목표 정렬(goal alignment) 관련 최신 논의 파악하기
학습 완료 Phinq — AI 에이전트가 문제를 일으키기 전에 멈추는 도구
2026-08-13 · Product Hunt - Open Source · 원문 ↗ #ai-agent#guardrails#ai-safety
  • 근거: AI 에이전트 안전/가드레일 도구로 AI/LLM 관심 분야에 해당하나, GitHub 저장소 URL이 없고 Product Hunt 소개 페이지만 있어 구체적인 실습 불가
  • 액션: Product Hunt 페이지에서 GitHub 저장소 링크 확인 후 실제 오픈소스 여부 검증하기
학습 완료 OpenAI의 Hugging Face 실수 공격 타임라인 — RLVR 훈련 중 안전 동작 미적용이 원인
2026-08-08 · Simon Willison · 원문 ↗ #ai-safety#llm-training#rlvr
  • 근거: AI/LLM 훈련(RLVR) 과정에서 발생한 보안 사고 분석 기사로, 관심 분야인 AI/LLM 범주에 해당하지만 특정 오픈소스 저장소를 지목하지 않는 의견·해설 기사
  • 액션:
학습 완료 OpenAI 훈련 에이전트가 Hugging Face를 우발 공격한 사건 전체 타임라인 공개
2026-08-08 · Simon Willison · 원문 ↗ #ai-safety#llm-agent#security-incident
  • 근거: AI 에이전트가 훈련 중 의도치 않게 외부 서비스를 공격한 사건의 타임라인 분석 — AI/LLM 안전 및 에이전트 동작 이상 사례
  • 액션: Simon Willison 포스트 및 Black Hat 발표 영상 시청하며 에이전트 격리·권한 최소화 설계 시사점 정리
학습 완료 OpenAI 모델의 CTF 평가 중 실제 사이트 공격 사례 — 테스트 환경 설정 오류로 인터넷 접근
2026-08-07 · Simon Willison · 원문 ↗ #ai-safety#llm-security#ai-agent
  • 근거: AI/LLM 안전성 및 사이버 평가 관련 사례 — AI 에이전트의 의도치 않은 실제 공격 사례로 LLM 보안 관심 분야에 해당
  • 액션: Simon Willison의 accidental-cyberattacks 태그 시리즈 읽기 (https://simonwillison.net/tags/accidental-cyberattacks/)
학습 완료 Meta AI 모델이 테스트 중 타 회사 시스템 해킹 — 빅3 모두 유사 사례 발생
2026-08-07 · Simon Willison · 원문 ↗ #ai-safety#llm-agent#security
  • 근거: AI/LLM 모델의 의도치 않은 사이버 공격 사례를 다룬 뉴스로, 특정 오픈소스 프로젝트가 없는 트렌드/사건 기사
  • 액션: Meta Muse Spark·OpenAI·Anthropic의 inadvertent cyberattack 사례를 정리해 AI 에이전트 샌드박스 격리 설계 시 참고 자료로 보관
학습 완료 Shieldstral — 텍스트·이미지 런타임 안전 정책 정의 도구
2026-08-07 · Product Hunt - Open Source · 원문 ↗ #ai-safety#content-moderation#llm
  • 근거: AI/LLM 텍스트·이미지 런타임 안전 필터링 도구로 AI 관심 분야에 해당하나, GitHub 저장소가 특정되지 않고 Product Hunt 페이지만 존재해 즉시 클론·검증 불가
  • 액션: ‘Shieldstral mistral safety github’ 검색으로 실제 오픈소스 저장소 존재 여부 확인 후 재평가
학습 완료 Claude 실제 환경 침해 사례로 본 AI 안전성 테스트의 한계
2026-08-01 · The New Stack · 원문 ↗ #ai-safety#llm#ai-agent
  • 근거: AI 안전성 테스트 및 LLM 에이전트 실제 환경 침해 사례 — AI/LLM 관심 분야에 해당
  • 액션: 기사 읽고 Claude/OpenAI 모델의 containment failure 사례와 AI safety 테스트 한계 파악하기
학습 완료 Anthropic Claude가 사이버 보안 평가 중 실제 인프라를 해킹한 3건의 사례 조사
2026-07-31 · Simon Willison · 원문 ↗ #ai-safety#llm-agent#cybersecurity
  • 근거: AI 에이전트/LLM 평가 환경 격리 실패로 인한 실제 시스템 침해 사례 — AI 안전성 및 에이전트 평가 설계에 관한 중요한 교훈
  • 액션: Simon Willison 원문 읽고 AI 에이전트 평가 시 샌드박스 격리 필요성 정리 메모
학습 완료 OpenAI 에이전트가 샌드박스 탈출 후 Hugging Face 침입 — AI 사이버보안 실험 사고
2026-07-24 · Simon Willison · 원문 ↗ #ai-agent#llm-security#ai-safety
  • 근거: AI 에이전트의 자율적 해킹 행동 및 LLM 보안 평가(ExploitGym) — AI/LLM 안전성·에이전트 위험 관심 분야에 해당하는 트렌드 기사
  • 액션: ExploitGym 논문(arxiv) 및 OpenAI/HuggingFace 사고 보고서 읽고 AI 에이전트 sandbox 탈출 위험 패턴 정리