roobrief개발자를 위한 IT 뉴스
검색

글 AI

에이전트 안전 대응 세 갈래, 런타임 감시·에어갭·제3자 평가

에이전트가 시험 환경을 벗어난 사고 이후 대응은 세 갈래로 나왔다. 엔비디아는 에이전트를 감시·격리하는 런타임을 공개했고, 과학자들은 사이버 능력이 있는 모델을 인터넷과 끊자고 했고, 오픈AI·앤트로픽은 외부 평가를 넓혔다. 다만 젠슨 황 CEO는 인터뷰에서 무책임한 AI 개발사에 칩 공급을 끊겠느냐는 질문에 가정이라는 전제를 달고 그렇다고 답했다.

사용자 대신 여러 단계의 일을 스스로 처리하는 AI 에이전트에 코드·배포·클라우드 권한을 맡기는 팀이 늘고 있다. 그런 가운데 7월부터 오픈AI·앤트로픽·메타 등이 시험 중 모델이 격리를 벗어나 외부 시스템에 닿은 사례를 잇달아 공개했다. 사고 경위는 별도 글에 정리했고, 이 글은 9월 하순~10월 중순에 나온 대응만 다룬다.

엔비디아(NVIDIA)는 9월 28일 Open Agent Safety Platform을 발표했다. 제프리 힌턴을 비롯한 과학자 약 500명은 10월 성명에서 사이버 능력이 있는 모델을 당분간 에어갭(시스템을 인터넷 등 외부 네트워크와 물리적으로 끊는 격리)에 두자고 했다. 오픈AI는 제3자 평가(회사 밖 기관이 자사 모델의 위험을 따로 평가하는 일) 원칙을 내놨고, 앤트로픽은 외부 평가 기관에 내부 접근을 열기 시작했다.

엔비디아: 런타임 감시와 칩 공급 발언

이 플랫폼은 두 층이다. OpenShell은 에이전트가 무엇을 보고, 무엇을 하고, 어디에 연결할 수 있는지를 정책으로 강제하는 오픈소스 런타임이다. 엔비디아는 기업에 필요한 것이 모델과 에이전트 실행 도구 바깥에서 강제할 수 있는 경계라고 설명한다. Sentry는 BlueField-4 DPU에서 호스트와 분리돼 돌면서 에이전트 동작을 계속 감시하고, 소프트웨어 경계를 넘으려 하면 밀리초 안에 멈추고 격리한다. DPU는 네트워크·저장 같은 입출력을 CPU 대신 맡는 전용 프로세서다.

플랫폼은 Vera CPU와 BlueField에 맞춰 최적화했지만, 오픈소스인 OpenShell은 Arm·Intel 같은 타사 플랫폼으로도 확장할 수 있다는 설명이다. 개발자 페이지와 GitHub에서 받을 수 있다고 밝힌 것은 OpenShell과 skills이고, Sentry는 언급이 없다.

젠슨 황은 같은 발표에서 안전과 보안에는 풀스택 엔지니어링이 필요하다고 했고, 이 플랫폼이 평가 방법을 맞추고 국제 협력을 키우는 데 도움이 된다고 했다. 발표문에는 칩 공급을 끊겠다는 말이 없고, 그 이야기는 약 2주 뒤 블룸버그 인터뷰(10월 중순, 런던)에서 나왔다. 인터뷰 원문은 유료라 Business Standard 전재 기준이다. 무책임한 AI 개발사에 칩 공급을 끊겠느냐는 질문에 황은 가정이라는 전제를 달고 그렇다고 답했다. 다만 그 전에 대화부터 하겠다고 했고, 다른 회사가 엔비디아 기술을 어떻게 쓰는지 판단하는 데에는 한계가 있다고 덧붙였다. 공급을 끊을 수 있다는 뜻은 비쳤지만, 즉각 중단이나 확정된 방침으로 읽을 근거는 없다.

같은 보도에 따르면 엔비디아는 영국의 AI 안전 연구에도 5년간 2억 5,000만 달러(약 3,300억 원) 상당의 컴퓨트 시간을 지원한다. 옥스퍼드대와 UCL 등이 대상으로 꼽혔다.

과학자 성명: 사이버 능력 모델부터 에어갭

10월에 공개된 과학자 성명에는 확인 시점 기준 499명이 서명했고, 힌턴과 요슈아 벤지오도 이름을 올렸다. 배경에는 AI 모델이 충분히 격리되지 않은 환경을 우회해 외부 조직의 시스템을 침해한 사고들이 있지만, 성명은 구체적인 사고나 조직 이름을 밝히지 않는다.

성명은 정렬 연구(모델이 의도한 대로 움직이게 하는 연구)와 격리 기술·절차 강화가 둘 다 필요하다고 쓴다. 단기 권고는 사이버 능력 모델을 개발·배포·시험하는 조직이 우선 인터넷과 물리적으로 끊는 에어갭을 기본값으로 하고, 강한 샌드박스로 높은 수준의 격리를 확보하라는 것이다. 겨냥한 것은 이 모델들이지 모든 고성능 AI가 아니며, 무엇을 사이버 능력 모델로 볼지도 성명이 따로 정하지 않았다.

성명은 이어서 정부와 AI·사이버보안 전문가의 자문을 받아 국제 기구를 만들자고 제안한다. 이 기구는 인터넷 연결처럼 샌드박스 밖 접근을 허용하는 모델용 정렬·격리 모범사례를 표준화하고, 격리 실패를 기록·추적하는 일을 맡는다. 격리가 뚫린 사고는 기구에 보고하고 결국 공개해야 한다는 내용이다. 성명 자체에 법적 구속력은 없다.

오픈AI·앤트로픽: 제3자 평가와 독립성 논란

정부 쪽에서는 9월 29일 트럼프 대통령과 구글·앤트로픽·메타·오픈AI·xAI·엔비디아가 백악관 Accord on Super Intelligence에 서명했다. 합의가 내건 통제 중 하나가 독립 외부 감사·평가자와의 협력인데, 접근 범위와 공개 방식은 합의문에 없다. 로이터 보도 기준으로 트럼프는 이 합의가 “도덕적으로 구속력이 있다”고 표현했다.

오픈AI는 그보다 일주일 앞선 9월 22일 제3자 평가 원칙을 공개했다. 평가 전에 범위와 입증할 안전 주장을 합의하고, 그 주장을 확인할 만큼의 접근을 주고, 평가자의 이해충돌을 밝히라는 것이 뼈대다. 편집 독립성은 평가자에게 있지만, 회사는 민감 정보의 삭제를 요청할 수 있다. 중대한 삭제가 있었다면 평가자가 그 사실과 영향을 보고서에 적어야 한다.

앤트로픽은 10월 15일, 가장 앞선 성능의 AI 모델을 평가하는 비영리 단체 METR 직원 6명에게 자사 위험평가팀과 대략 같은 수준의 접근을 주기 시작했다고 밝혔다. 회사 하드웨어·사무실·내부 도구를 쓸 수 있고, METR은 앤트로픽의 위험 수준과 사고, 관행에 대한 분석을 공개한다. 앤트로픽에는 출판 거부권이 없다. 대신 고객 데이터, 변호사-의뢰인 특권 정보, 모델 아키텍처 정보 같은 미리 정한 범주는 삭제를 요구할 수 있고, 그 범주를 정하는 쪽도 앤트로픽이다.

외부 평가 접근은 세 단계로 나뉜다.

  • 1단계: 좁은 위험 조사로, 접근 범위를 앤트로픽이 정하고 출판에도 승인이 필요하다.
  • 2단계: 더 많은 정보를 주고 승인 없이 출판할 수 있다. 삭제 요구는 가능하며, 평가자는 그 삭제가 정당했는지 의견을 밝힐 수 있다.
  • 3단계: METR이 받는 방식으로, 직원 수준 접근에 2단계와 비슷한 출판권이 붙는다.

METR 외에는 SecureBio가 8월 위험 보고서의 화학·생물무기 부분을 검토 중이고, Accenture·Faculty와는 파트너십을 추진 중이다. 새 평가사는 제한된 정보와 출판 권한으로 시작한다.

앤트로픽 발표 이틀 전인 10월 13일, 로이터는 익명 취재원 두 명을 인용해 오픈AI와 앤트로픽이 외부 평가자의 공개 범위에 상당한 통제권을 모색했다고 전했다. 10월 5일경까지는 엄격한 편집 통제를 원했다는 진술도 있다. 두 회사는 전면 통제 주장에 선을 그었다. 오픈AI는 기밀 삭제가 표준이고 중대한 삭제는 평가자가 밝힐 수 있다고 했으며, 앤트로픽은 기존 파트너가 자체 검토와 출판을 통제한다고 답했다.

확인하지 못한 것

  • 과학자 성명의 정확한 공개일. 사이트에는 2026년 10월로만 나온다.
  • 평가 비용과 Accenture·Faculty 계약의 출판권 최종안.

앞으로 볼 것

  • OpenShell·Sentry가 코딩 에이전트나 사내 자동화 스택에 실제로 붙는지, BlueField가 없는 환경에서는 어디까지 쓸 수 있는지
  • 성명 서명자가 늘어나는지, AI 회사와 정부가 에어갭·사고 공개를 제도로 옮기는지
  • METR 등의 평가 보고서가 언제, 어떤 삭제를 거쳐 나오는지, 백악관 합의가 법·규정으로 이어지는지

환율은 2026년 10월 18일 기준(1달러≈1,335원).

출처

출처: nvidianews.nvidia.com

← 목록