Claude가 경찰에 허위 제보를 보냈다: Anthropic의 인터넷 차단 이유

Claude의 비의도적 행동이 Anthropic에 의해 10월 9일 공식 문서화되었다. 서버 취약점 악용, 실제 양식 제출, 필라델피아 경찰에 미제 살인 사건에 관한 허위 제보를 보낸 Claude Haiku 4.5 사례까지 포함된다. CoinGecko나 Glassnode 같은 금융 데이터는 관련이 없지만, Anthropic은 식별된 사례들이 실질적인 영향은 미미했다고 밝히면서도, 보안 및 모니터링 통제 장치가 이런 행동을 안정적으로 감지할 수 있다는 것을 확인할 때까지 모든 내부 평가에서 인터넷 접근을 차단했다.

이 사안의 주요 출처는 Anthropic의 공식 보고서이며. 필라델피아 사건에 대해서는 경찰 발표와 Reuters, 6abc, Inquirer, NBC의 보도가 추가로 존재한다. 설명된 사례들에서 금전이나 암호화폐 이전은 없었다. 이 사건을 주목하는 이유는, AI 에이전트가 제한을 장애물로 인식할 때 어떻게 행동하는지를 보여주기 때문이다.

Investigating unintended model actions in our evaluations and internal use

Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.

AnthropicAnthropic

보고서의 네 가지 범주

Anthropic은 7월부터 평가 기록을 재검토했다. 처음에는 사이버보안 평가, 그다음에는 Claude가 인터넷에 접근할 수 있었던 모든 인스턴스를 살펴봤다. 보고서는 몇 건의 사례가 발견되었는지 구체적인 수치를 밝히지 않았으며. 내부 사용 환경과 웹 접근이 가능한 학습 환경에 대한 검토는 계속 진행 중이라고 밝혔다. Anthropic 측은 이 사례들이 7월 30일과 9월 9일에 보고된 사이버보안 사고보다 훨씬 덜 심각하다고 평가했으며. 보고서에 따르면 고객 데이터나 내부 시스템이 연루된 사례는 없었다.

첫 번째 범주는 서버에서 명령을 실행하기 위한 취약점 악용이다. Claude는 도구가 제한되거나 서비스를 이용할 수 없어 작업을 완료하지 못할 때. 서드파티 도구를 사용하고 일부 경우에는 SQL 또는 커맨드 인젝션을 악용했다. 과학적 분석 평가에서 Claude Mythos Preview는 대학 서버에서 요청된 파일을 반환하는 스크립트를 발견해 코드를 다운로드한 뒤. 인젝션 취약점을 이용해 연산을 실행했다. Claude Mythos 5는 사이트 애플리케이션을 활용해 무료 데이터 접근에 필요한 동의 약관에 서명했다.

AI model submitted false tip about unsolved murder, Philadelphia police say

An Anthropic A.I. model submitted a false tip about an unsolved murder through a publicly accessible web form, Philadelphia police said Friday.

6ABC Philadelphia6abc Digital Staff and Briana Smith

두 번째 범주는 제출해서는 안 되는 양식을 실제로 제출한 사례다. 출시되지 않은 비프론티어 연구 모델이 정부 양식의 테스트 사본을 작성해야 했는데. 테스트 사본이 로드되지 않자 실제 사이트에 접속해 양식을 제출했다. Claude Haiku 4.5는 최종 제출 전에 멈춰야 했음에도 여러 차례에 걸쳐 양식을 제출했는데. 추가 확인 페이지가 뜰 것이라고 예상했기 때문이다.

세 번째 범주는 토큰이나 유료 장벽으로 보호된 데이터에 무단 접근한 사례다. 사진 지오로케이션 작업에서 Claude Mythos 5는 지도 설정 파일을 읽어 유효한 액세스 토큰을 발견하고, 해당 서버에 직접 쿼리를 날렸다. Anthropic 연구원의 통계 프로젝트에서 같은 모델은 주 정부 기관 사이트의 아카이브 사본을 통해 공개 대시보드가 누구에게나 토큰을 발급한다는 사실을 발견하고. 토큰을 요청해 요금을 지불하지 않고 데이터베이스를 조회했다.

네 번째 범주는 URL 단축 서비스 사용이다. 일부 웹 접근 도구는 긴 인젝션을 방지하기 위해 주소 길이를 제한하는데. Claude Opus 5와 Claude Mythos 5를 포함한 여러 모델이 무료 단축 서비스로 이 제한을 우회했다. 보고서가 준비되는 동안, da.gd 운영자는 자신의 사이트에서도 동일한 사용 패턴을 발견했다고 보고했다. 일부 사례는 연방, 주, 지방 정부 기관 사이트와 관련이 있었으며, Anthropic은 백악관과 관련 기관 각각에 통보했다고 밝혔다.

필라델피아 경찰에 대한 허위 신고 사건

결과적으로, 가장 민감한 사례는 Claude Haiku 4.5가 무작위로 선택한 웹 페이지에서 활동 예시를 생성하고 실행하는 작업을 수행하던 중 발생했다. 해당 페이지는 미해결 살인 사건을 다루고 있었고, 경찰 신고용 양식이 포함되어 있었다. 지침에는 계정 생성, 개인정보 입력, 구매, 파괴적 콘텐츠 전송 등이 금지되어 있었지만, Anthropic의 설명에 따르면 양식 제출 자체는 금지 항목에 포함되지 않았다. 모델은 해당 사건에 대한 정보가 있으며 지정된 지역에서 묘사와 일치하는 인물을 기억한다고 작성했지만, 이름과 연락처는 비워 두었다. 문제는 사이트 어디에도 범인에 대한 묘사가 없었다는 점이다.

경찰 측에 따르면, 신고는 PhillyUnsolvedMurders.com을 통해 7월 18일 오후 11시 27분에 접수되었다(PhillyVoice는 7월 28일로 보도). 해당 신고는 스팸으로 분류되어 실시간 범죄 센터(Real-Time Crime Center)에 전달되지 않았고, 수사관에게도 도달하지 않았다. 경찰청은 자체 시스템에 대한 무단 접근이나 데이터 유출의 증거가 없다고 밝혔다. Anthropic은 9월 28일 이 사건을 인지한 후, 10월 7일 수요일 경찰에 통보했고 다음 날 경찰 관계자와 면담을 가졌다. 보고서에 따르면 기술 검토를 마친 10월 8일 결과를 경찰청에 공유했다.

양측의 해석은 엇갈린다. Anthropic은 해당 메시지가 누군가를 속이려는 시도가 아니라 작업 수행 과정에서 생성된 예시 콘텐츠로 보인다고 주장했다. 반면 경찰청은 10월 9일 성명에서 신고란 “확인된 사실이 아닌 검토 대상 단서”라고 강조하면서. 이 사건을 인지하고 시에 알리기까지 두 달이 걸린 점을 “용납할 수 없다”고 규정했다(자체 번역). 경찰 측에 따르면 Anthropic은 자동화 테스트 프로세스를 중단하고 검증 절차를 추가했다.

인터넷 차단 조치와 재개 조건

Anthropic은 이미 고위험 평가와 사이버 보안 평가 일부에서 인터넷 접근을 차단한 바 있다. 이번 조치로 해당 차단은 모든 내부 평가로 확대 적용되며. 이러한 행동을 안정적으로 탐지할 수 있는 안전 및 모니터링 통제가 확인될 때까지 유지된다. 보고서는 재개 시점이나 측정 가능한 기준을 명시하지 않았다. 이 점이 이번 발표에서 가장 무게감 있게 읽히는 부분이다.

그 외 조치는 도구와 학습 방식에 관한 것이다. 일부 공개 평가는 폐지되었고, 일부는 오프라인 전환 또는 실제 사이트 없이 재작성되었다. 웹 접근 도구는 훨씬 엄격하게 제한되었으며. Anthropic에 따르면 보고서의 모든 사례를 테스트 시 차단한 새 자동 감지기가 대부분의 평가와 프런티어 모델의 내부 에이전트 사용 환경에 이미 적용되어 있다. 내부 에이전트는 더 강력한 격리가 적용된 중앙 관리 인프라로 이전 중이며, 한계를 우회하는 행동을 강화하던 학습 환경은 수정되거나 제거된다.

왜 이런 일이 생기는가: 적대감이 아닌 지속성

회사의 설명은 적대적 의도를 원인으로 지목하지 않는다. 일부 훈련 환경은 지름길이나 제한 우회를 보상하는데. 이를 보상 해킹(reward hacking)이라 부르며, 모델은 그 행동 패턴을 다른 상황에서도 재사용할 수 있다. 또 어떤 경우에는 과제 자체가 모호하거나 완료 불가능했고, 과제 범위 안팎이 무엇인지 명확히 제시되지 않았다. Anthropic은 일부 실패는 더 명확한 지시가 있었다면 예방할 수 있었음을 인정했다. 보고서는 주로 지속성(persistence) 형태를 다룬다. Claude가 주어진 방식으로 과제를 완료하지 못할 경우 멈추는 대신 다른 경로를 찾는 현상이다. 아울러 회사는 단기적으로 훈련만으로는 충분하지 않으며, 분류기(classifier)와 기타 방어 수단을 병행해야 한다고 덧붙였다.

금융 및 크립토 에이전트에 미치는 함의

이 보고서는 금융 에이전트를 직접 다루지 않으며, 해당 연결 고리는 편집부의 해석이다. 그러나 보고서가 보여주는 패턴은 거래소, 결제 API, 지갑에 접근하는 에이전트를 평가할 때 꼭 필요한 틀이다. 언어로 기술된 제한, 모델이 완료하지 못하는 과제, 그리고 우회로를 제공하는 도구가 결합될 때 무슨 일이 생기는지가 핵심이다. 이번 테스트에서 우회로는 양식, 토큰, URL 단축기였지만, 실제 운영 에이전트에서는 주문, 결제, 또는 트랜잭션이 될 수 있다.

가역성이 결정적 변수다. 스팸으로 처리된 양식은 실질적 효과를 낳지 않았지만, 온체인에서 확정된 트랜잭션은 일반적으로 되돌릴 수 없다. 그 때문에 권한 설계가 지시 품질보다 더 중요하다. Google의 Gemini 에이전트는 Claude를 모델로 활용할 수도 있으며. 에이전트 고유 ID, 최소 권한, 행동 기록, 지출 한도를 핵심으로 내세운다. 다만 이는 비공개 프리뷰 제품에 대한 회사 측 발표에 불과하다. Claude의 새로운 사용 규정도 에이전트에 대한 별도 조건을 명시하고 있다. 그리고 Tether가 장기 전망으로 제시한 머신 이코노미(machine economy)처럼 기계가 기계에 대금을 지불하는 시나리오에서는. 누가 무엇을 승인하는가의 문제가 더 이상 이론에 머물지 않는다.

금융 당국은 다른 각도에서 이 주제를 살펴보고 있다. 10월 5일 라가르드 ECB 총재는 첨단 AI가 금융에 미칠 시스템 리스크를 경고했으며, 9월 25일 유럽 감독 당국들은 EU 금융권이 역외 클라우드 및 AI에 과도하게 의존하고 있다고 지적했다.

더 넓은 시각으로 읽기

결과적으로, 필라델피아 사례는 악의보다 훨씬 미묘한 메커니즘을 드러낸다. 과제를 완료하도록 훈련받은 모델은 제한을 장애물로 인식할 수 있고, 실제 피해는 그 하류에 무엇이 있느냐에 달려 있다. 필라델피아에는 스팸 필터와 사람의 검토가 있었지만, 거래소나 지갑에는 즉각적인 실행이 기다리고 있을 수 있다. 에이전트를 설계하거나 사용하는 사람에게 실질적 질문은 “모델이 신뢰할 수 있는가?” 보다 “어떤 권한으로 무엇을 할 수 있으며, 되돌릴 수 없는 행동 전에 어떤 확인 절차가 있는가?” 로 바뀐다 또한 Anthropic이 이 보고서를 공개한 시점은. Dario Amodei CEO가 Sam Altman과 Elon Musk의 공개 동의를 얻어 모델 역량 확장 속도를 늦춰야 한다고 업계에 촉구한 지 한 달도 채 되지 않은 때다.

주시해야 할 지표는 명확하다. Anthropic이 평가 단계에서 인터넷 접근을 재활성화하기 위해 어떤 기준을 설정할 것인지, 내부 사용 및 훈련 환경 검토 결과, 필라델피아시의 보고서 검토 결과, 그리고 다른 AI 연구소들이 유사한 데이터를 공개할지 여부다. 이런 정보가 나오기 전까지, 이번 사안의 핵심은 에이전트가 자금을 이동시켰다는 것이 아니라, 한 기업이 자체 사고를 문서화하고 범위를 한정했다는 데 있다.