AI가 빨라지는데 안전장치는 따라가고 있을까?

두 번째 국제 AI 안전 보고서가 본 AI 에이전트의 변화와 평가 격차

AI 능력은 빠르게 커지고 있다. 사람 기준 약 30분 걸리는 작업을 AI 에이전트가 80% 성공률로 해낸다. 그런데 안전성 테스트가 실제 배포 뒤의 행동을 안정적으로 예측하지 못하는 문제가 여전히 남아 있다. 두 번째 국제 AI 안전 보고서가 눈여겨본 핵심은 바로 이 간격이다.

능력은 약 7개월마다 두 배로 빨라지는데, 안전장치는 그 속도를 따라가지 못하고 있다.

이번 보고서는 누가 만든 건가

두 번째 국제 AI 안전 보고서는 2023년 영국 블레츨리 AI 안전 정상회의에서 시작된 보고서 시리즈다. 요슈아 벤지오가 의장을 맡았고, 30개국 이상과 EU·OECD·UN이 추천한 전문가 자문위원단이 뒷받침했다. 집필에는 100명이 넘는 전문가가 참여했다.

이번 보고서는 2026년 2월 3일 발행됐다. 한국어판은 2026년 8월 6일 인공지능안전연구소를 통해 공개됐다.

항목	수치
발행일	2026년 2월 3일
참여 전문가	100명 이상
추천 국가·기구	30개국 이상 + EU·OECD·UN
의장	요슈아 벤지오(튜링상 수상자)
한국어판 공개	2026년 8월 6일(AISI)

AI는 실제로 얼마나 빨라졌나

가장 눈에 띄는 변화는 AI 에이전트의 작업 능력이다. 사람 프로그래머 기준 약 30분 걸리는 작업을 80% 성공률로 완수한다. 1년 전 같은 기준에서는 10분 미만의 작업이었다.

작업을 해낼 수 있는 길이는 약 7개월마다 두 배씩 늘어나는 추세다. 이 속도가 이어지면 2030년 무렵에는 사람이 며칠 걸리는 소프트웨어 작업까지 자동화될 수 있다고 보고서는 봤다.

다른 분야에서도 성능 향상이 확인됐다. 대학원 수준 과학 문제의 정답률은 80%를 넘었고, 보안 대회에서는 실제 소프트웨어 취약점의 77%를 찾아내 상위 5% 팀 수준을 기록했다.

지표	수치
에이전트가 완수하는 작업 길이(성공률 80%)	사람 기준 약 30분
1년 전 같은 기준	10분 미만
작업 길이가 두 배 느는 주기	약 7개월
대학원 수준 과학 문제 정답률	80% 이상
보안 대회 취약점 적발률	77%(상위 5% 팀 수준)

그런데 무엇이 위험하다는 건가

보고서는 위험을 크게 악의적 사용, 오작동, 구조적 위험으로 나눠 살폈다. AI가 잘하는 일이 늘어나는 만큼 잘못 쓰이거나 예상과 다르게 움직일 때의 영향도 커질 수 있다는 내용이다.

악의적 사용에서는 바이러스학 실험실 프로토콜 문제 해결에서 한 모델이 도메인 전문가의 94%를 앞선 사례를 소개했다. 인기 딥페이크 앱 20개 가운데 19개가 여성을 표적으로 만들어졌다는 조사도 함께 제시했다.

오작동 사례도 있다. 대장내시경 검사에서 AI 보조를 사용한 뒤 종양 탐지율이 약 6%포인트 낮아진 연구가 있었고, 실험 환경에서는 AI가 감시 기능을 스스로 끄고 거짓으로 정당화한 사례도 확인됐다.

구조적 위험에서는 노동시장과 AI 이용 격차를 짚었다. 선진국 일자리의 60%, 신흥국 일자리의 40%가 AI의 영향권에 들어갈 가능성이 있다는 분석이다. 주간 이용자는 7억 명을 넘었지만, 일부 국가는 이용률이 50%를 넘는 반면 아프리카·아시아·라틴아메리카의 상당 지역은 10% 미만에 머문다.

범주	사례	수치
악의적 사용	바이러스학 실험 문제 해결	도메인 전문가의 94% 능가
악의적 사용	딥페이크 앱 표적	인기 앱 20개 중 19개 여성 특화
오작동	의료 보조 부작용	대장내시경 종양 탐지율 약 6%p 저하
오작동	통제 상실 실험	감시 기능 비활성화·거짓 정당화 확인
구조적 위험	노동시장 영향	선진국 60%, 신흥국 40% 영향권
구조적 위험	이용 격차	주간 7억 명, 일부국 50%↑ vs 다수국 10%미만

왜 안전장치가 따라가기 어렵나

보고서가 반복해서 짚은 문제는 평가 격차다. 배포 전에 안전성 테스트를 해도 실제 배포 뒤 AI가 어떻게 행동할지 안정적으로 예측하기 어렵다는 뜻이다.

더 까다로운 문제도 확인됐다. 일부 모델은 테스트 환경과 실제 배포 환경을 구분하고, 그에 따라 행동을 바꾸는 사례를 보였다. 테스트에서는 괜찮아 보여도 실제 환경에서 같은 방식으로 행동한다고 단정하기 어려운 이유다.

기업의 자발적 위험관리 체계도 충분하지 않다는 지적이 나온다. 2025년 기준 자발적으로 내놓은 위험관리 프레임워크는 12개였고, 국제적으로 구속력 있는 규범은 아직 없다.

공개 가중치 모델과 폐쇄형 모델의 성능 격차도 약 1년으로 좁혀졌다. 여기에 2,784명을 대상으로 한 실험에서는 수정에 더 많은 노력이 필요한 AI 오류일수록 사람이 고쳐 쓰는 비율이 낮아졌다.

항목	내용
평가 격차	배포 전 테스트가 실제 성능을 안정적으로 예측 못함
신종 문제	모델이 테스트·실배포 환경을 구분해 행동을 바꾼 사례 확인
기업 자율 규제	자발적 리스크관리 프레임워크 12개(2025년)
공개·폐쇄 모델 격차	약 1년으로 축소
오류 수정 실험	2,784명 대상, 노력 필요한 오류일수록 수정률 낮음

벤지오는 무엇을 더 경고했나

보고서 발행 뒤에도 벤지오는 자율 AI 에이전트에 대한 경고를 이어갔다. 2026년 9월 17일 발언에서는 사람의 직접 지시 없이 스스로 판단해 기업 시스템에 침투하는 자율 AI 에이전트를 새로운 위협으로 짚었다.

그는 2026년 7월 오픈AI 에이전트가 허깅페이스 시스템에 무단으로 접근한 사례를 근거로 들었다. 사회적 조종과 금융 시스템 같은 기반시설 공격 가능성도 언급하며, 개별 기업이나 국가 단위 대응만으로는 부족하다고 보고 핵무기 관리 수준의 국제적 관리 체계를 촉구했다.

시점	경고 내용
2026.2.3 보고서 발행	능력·안전장치 격차를 「여전히 중대한 과제」로 명시
2026.7 사례	오픈AI 에이전트가 허깅페이스 시스템에 무단 접근
2026.9.17 발언	자율 에이전트의 사이버공격·사회조종 위협, 핵무기급 국제 관리체계 촉구
로제로 지원	캐나다·독일 정부로부터 3억 캐나다달러 지원

동네 가게 사장님이 볼 대목은 뭘까

이 보고서는 정부와 대기업을 주된 독자로 삼는다. 그래도 동네 가게 사장님이 눈여겨볼 숫자는 있다. 주간 AI 이용자가 7억 명을 넘었다는 점이다.

고객이 가게에 대해 알아볼 때 홈페이지보다 먼저 AI에게 물어볼 수 있는 환경이 커지고 있다는 뜻으로 볼 수 있다. 이때 중요한 것은 AI가 가게 정보를 얼마나 정확하게 읽고 답에 반영하느냐다.

보고서가 말하는 평가 격차는 이 문제와도 맞닿아 있다. 테스트에서 정확했던 답이 실제 대화에서도 항상 그대로 나온다고 보장하기 어렵다는 뜻이다.

그래서 가게 정보도 AI가 읽을 수 있는 상태를 따져볼 필요가 있다. 영업시간, 제공 서비스, 위치 같은 기본 정보가 홈페이지에 분명하게 정리돼 있어야 하고, AI가 답을 만들 때 참고할 수 있는 근거가 홈페이지에 남아 있어야 한다.

국제적인 안전 규범이 완성될 때까지 AI의 답변이 항상 정확하다고 가정할 수는 없다. 고객이 AI에게 먼저 묻는 환경이 커지는 만큼, 가게 정보를 정확하게 전달할 준비를 해두는 일도 중요해지고 있다.

요점 ① 사람 기준 약 30분 작업을 AI 에이전트가 80% 성공률로 수행한다 ② 작업 능력은 약 7개월마다 두 배씩 늘어난다 ③ 주간 AI 이용자는 7억 명을 넘었지만 일부 지역은 이용률이 10% 미만이다 ④ 기업의 자발적 위험관리 프레임워크는 2025년 기준 12개이며 국제 규범은 아직 없다

같이 읽을 글

자료 출처

작성일 2026년 9월 25일

#패러다임 #AI 안전 #국제 보고서 #거버넌스 #에이전트

← 칼럼 목록