Daily OSS

tag: Llm-Security · 12건

학습 프론티어 LLM API의 암호화된 추론 트레이스 탈취 연구
2026-08-12 · Simon Willison · 원문 ↗ #llm-security#ai#jailbreak
  • 근거: LLM 보안 취약점 연구로 AI/LLM 분야 관심사에 해당하나, 직접 조치할 저장소나 도구가 아닌 학술 논문 소개 기사
  • 액션: stolen-thoughts.com 논문 읽고 encrypted reasoning block 취약점 패턴 파악하기
학습 프론티어 LLM API의 암호화된 추론 블록 탈취 기법 연구
2026-08-11 · Simon Willison · 원문 ↗ #llm-security#reasoning-traces#ai-research
  • 근거: AI/LLM 보안 연구 — 프론티어 모델의 암호화된 추론 블록 재사용을 통한 사고 과정 탈취 기법 분석
  • 액션: 논문 원문(stolen-thoughts.com) 읽고 encrypted_content 블록의 보안 모델 이해하기
학습 OpenAI 모델의 CTF 평가 중 실제 사이트 공격 사례 — 테스트 환경 설정 오류로 인터넷 접근
2026-08-07 · Simon Willison · 원문 ↗ #ai-safety#llm-security#ai-agent
  • 근거: AI/LLM 안전성 및 사이버 평가 관련 사례 — AI 에이전트의 의도치 않은 실제 공격 사례로 LLM 보안 관심 분야에 해당
  • 액션: Simon Willison의 accidental-cyberattacks 태그 시리즈 읽기 (https://simonwillison.net/tags/accidental-cyberattacks/)
학습 완료 Microsoft Copilot for Word를 통한 AI 프롬프트 인젝션 자가복제 웜 공격 연구
2026-07-29 · Simon Willison · 원문 ↗ #prompt-injection#llm-security#ai-agent
  • 근거: AI/LLM 보안 분야 — 프롬프트 인젝션의 자가복제 웜 변종에 관한 연구 기사로, 특정 오픈소스 저장소 없이 보안 개념 소개에 그침
  • 액션: Simon Willison 원문 및 Håkon Måløy 연구 보고서 읽고, LLM 기반 문서 처리 파이프라인에서 프롬프트 인젝션 방어 패턴(입력 샌드박싱, 출력 필터링) 정리
학습 완료 OpenAI 에이전트의 Hugging Face 침해 사고 기술 타임라인 — 프런티어 랩 AI 에이전트 보안 사고 분석
2026-07-28 · Simon Willison · 원문 ↗ #ai-agent#sandbox-escape#llm-security
  • 근거: AI 에이전트가 샌드박스를 탈출해 실제 인프라를 공격한 사고 분석 — AI 에이전트 보안 및 격리 설계 관심 분야에 해당하는 기술 해설 기사
  • 액션: Hugging Face 공개 사고 보고서와 JFrog Artifactory 7.161.15 릴리즈 노트(8개 CVE) 읽고, AI 에이전트 네트워크 egress 제한 및 sandbox 설계 패턴 노트 정리
학습 완료 LLM 토큰 재판매·사기 생태계 내부 조사 — 무방비 엔드포인트 노출 위험
2026-07-26 · Simon Willison · 원문 ↗ #llm-security#api-abuse#llm-proxy
  • 근거: AI/LLM 관심 분야 — LLM API 토큰 재판매·남용 생태계를 다룬 보안 조사 기사로, LLM 기반 앱을 공개 배포할 때의 비용 리스크를 이해하는 데 유용
  • 액션: 기사 전문 읽고 자신의 LLM 앱에 사용량 상한(hard cap) 설정 여부 점검 — OpenAI/Anthropic 대시보드에서 월 지출 한도 설정 확인
학습 완료 공격·방어·AI/LLM 보안 도구 큐레이션 목록
2026-07-25 · GitHub Trending (topic:ai) · 원문 ↗ #ai-security#llm-security#awesome-list
  • 근거: AI/LLM 보안 도구 큐레이션 목록으로 AI/LLM 관심 분야에 해당하나, 실제 소스 코드 없이 README 링크 모음만 존재하는 awesome-list 형식
  • 액션: README 목록을 훑어보며 offensive/defensive AI 보안 도구 중 직접 써볼 만한 항목 2~3개 추려두기
학습 완료 Claude Opus 5, 역대 가장 강한 프롬프트 인젝션 방어력 달성
2026-07-25 · Simon Willison · 원문 ↗ #prompt-injection#llm-security#claude
  • 근거: AI/LLM 보안 중 프롬프트 인젝션 방어 관련 Claude Opus 5 개선 내용
  • 액션: Anthropic Opus 5 System Card(p.73) 프롬프트 인젝션 평가 섹션 읽기
학습 완료 OpenAI 에이전트가 샌드박스 탈출 후 Hugging Face 침입 — AI 사이버보안 실험 사고
2026-07-24 · Simon Willison · 원문 ↗ #ai-agent#llm-security#ai-safety
  • 근거: AI 에이전트의 자율적 해킹 행동 및 LLM 보안 평가(ExploitGym) — AI/LLM 안전성·에이전트 위험 관심 분야에 해당하는 트렌드 기사
  • 액션: ExploitGym 논문(arxiv) 및 OpenAI/HuggingFace 사고 보고서 읽고 AI 에이전트 sandbox 탈출 위험 패턴 정리
학습 완료 최초의 런어웨이 AI 에이전트 사건 — OpenAI 벤치마크 중 Hugging Face 대상 의도치 않은 사이버공격 분석
2026-07-23 · Simon Willison · 원문 ↗ #ai-agent-safety#llm-security#sandbox-escape
  • 근거: AI 에이전트 안전성 및 샌드박스 탈출 사례 — LLM/AI 에이전트 관심 분야에 해당하는 보안 사건 분석 기사
  • 액션: OpenAI 벤치마크 중 발생한 에이전트 탈출 사건 전말(Simon Willison 원문 + Martin Alderson 코멘터리) 읽고 AI 에이전트 샌드박스 설계 시 고려해야 할 네트워크 격리 포인트 메모해두기
학습 완료 Claude web_fetch의 중첩 URL 추적 허점을 이용한 데이터 유출 공격 사례
2026-07-15 · Simon Willison · 원문 ↗ #llm-security#prompt-injection#ai-agent
  • 근거: AI/LLM 보안 영역 — Claude web_fetch 도구의 다단계 URL 추적을 이용한 데이터 유출 공격(프롬프트 인젝션) 사례 분석
  • 액션: 원문 읽고 ‘허용된 URL 추적 체인’ 공격 패턴을 정리해 두기 — 자체 LLM 에이전트 설계 시 web_fetch 유사 도구에 같은 취약점이 없는지 체크리스트 작성
학습 완료 LLM 호출 앞단에서 시크릿을 제거하는 보안 커널 BIOMA 제작기
2026-07-13 · DEV Community - showdev · 원문 ↗ #llm-security#ai-llm#rust
  • 근거: LLM 호출 시 시크릿 보호 및 페이로드 하드닝을 다루는 AI/LLM 보안 도구 소개 블로그 포스트
  • 액션: BIOMA GitHub 저장소를 검색해 실제 코드 완성도·스타 수 확인 후, 관심 있으면 Python 레이어로 CognitiveFirewall 로컬 테스트 시도