검색하는 AI는 가짜 글에 얼마나 속을까?

조작이 약할 때는 0.0~31.4%, 조건을 세게 걸면 97.5%까지 올라간다

검색해 주는 AI가 가짜 글에 속는 정도는 조건에 따라 크게 달라진다. 순한 조건에서는 공격 성공률이 0.0~31.4%였지만, 공격 방법을 정교하게 만들면 60%대부터 97.5%까지 올라간 사례가 있다. 그래서 AI가 조작에 약한지를 하나의 숫자로 말하기보다 어떤 조건에서 시험했는지를 함께 봐야 한다.

조작 성공률은 0.0%에서 97.5%까지, 공격이 얼마나 정교한가에 달렸다

가짜 글 하나를 올리면 AI는 얼마나 속을까

언어모델 13종을 검색 에이전트로 만들어 웹에 넣어 둔 조작된 글을 얼마나 그대로 믿는지 시험한 실험이 있다. 모델마다 308건씩 시험했고, 웹 콘텐츠를 다섯 가지 방식으로 조작해 공격 성공률을 측정했다.

결과는 모델마다 차이가 컸다. 가장 안 속은 모델의 공격 성공률은 0.0%였고, 가장 잘 속은 모델은 31.4%였다.

항목값
평가한 언어모델 수13개
모델당 테스트 사례308건
가장 안 속은 모델의 공격 성공률0.0%
가장 잘 속은 모델의 공격 성공률31.4%
조작 방식 분류5가지 유형

이 숫자는 가짜 글 하나를 자연스럽게 심어 두는 비교적 순한 조건에서 나온 결과다. 따라서 이 숫자만 보고 검색하는 AI가 조작에 거의 영향을 받지 않는다고 판단하면 안 된다.

공격을 더 세게 하면 얼마나 달라질까

공격자가 웹 글 하나만 올리는 데서 끝내지 않고 광고나 화면조작 같은 방법을 사용하면 결과가 달라진다. 웹을 돌아다니며 작업을 대신하는 에이전트에게 실제 광고 배너처럼 악성 링크를 노출한 실험에서는 성공률이 60%대에서 100%에 가까운 경우까지 나왔다.

화면을 직접 보고 클릭하는 에이전트를 여러 웹사이트에서 시험한 실험에서는 97.5%가 조작된 목표대로 움직였다. 검색 결과 문구를 사람이 알아채기 힘들 정도로만 바꿔 심은 실험에서도 일반 조건은 88.33%, 실제 서비스에 가까운 조건은 66.67%였다.

실험 조건공격 성공률
웹 글 하나를 자연스럽게 심기(순한 조건)0.0~31.4%
광고 배너 형태로 악성 링크 노출60%대~100%에 가까움
화면을 직접 보고 조작하는 에이전트 대상97.5%
검색 결과 문구를 사람이 못 알아챌 만큼만 바꾸기(일반 조건)88.33%
같은 방식, 실제 서비스에 가까운 조건66.67%

같은 검색 AI라도 어떤 방식으로 공격하느냐에 따라 결과가 크게 달라질 수 있다는 뜻이다. 특히 검색 결과를 읽는 것에서 끝나지 않고 화면을 보고 행동하거나, 광고와 링크를 따라가는 에이전트일수록 공격 조건을 따로 살펴봐야 한다.

AI의 계획이나 기억을 건드리면 어떨까

에이전트가 스스로 세운 계획이나 이전 대화에서 가진 기억을 건드리는 공격은 일반적인 프롬프트 공격과 구분해서 봐야 한다. 두 종류의 웹 탐색 에이전트를 대상으로 한 실험에서는 계획 자체를 조작하는 공격이 일반 프롬프트 공격보다 최대 3배 높은 성공률을 보였다.

공격자가 원하는 목표와 원래 에이전트가 수행하려던 목표 사이에 논리적 연결을 만들어 넣는 방식도 시험됐다. 사생활 정보를 빼내는 과제에서는 이런 맥락 연결형 조작으로 성공률이 17.7%p 올라갔다.

질문의 성격에 따라서도 차이가 있었다. 사실 확인형 질문보다 의견을 묻는 질문에서 성공률이 94.7%까지 올라갔다.

조작 대상성공률 / 변화폭
일반 프롬프트 공격 대비 계획(Plan) 조작최대 3배
사생활 정보 빼내기 과제 + 맥락 연결형 조작+17.7%p
사실 질문 대비 의견형 질문94.7%

이는 모든 질문에서 같은 정도로 조작에 노출되는 것은 아니라는 점을 보여준다. 특히 제품이나 서비스에 대한 의견처럼 정답이 하나로 정해지지 않은 질문에서는 검색된 의견이 최종 답변에 영향을 주는 정도를 따로 살펴볼 필요가 있다.

게시판 글 하나만 심어도 인용될까

게시판에 글 하나를 자연스럽게 심어 두고 딥리서치 에이전트가 그 글을 근거로 사용하는지도 시험됐다. 투자 조언, 백신 소프트웨어, 식당 추천처럼 실제로 딥리서치 에이전트에 물어볼 수 있는 주제가 실험 대상이었다.

글 하나만 심었을 때 에이전트 실행 과정에서 그 글을 참고한 비율은 57~76%였다. 최종 답변에서 그 글을 인용한 비율은 38~51%였다.

오염 방식인용률 / 성공률
게시판 글 하나만 심었을 때(실행 중 참고 비율)57~76%
게시판 글 하나만 심었을 때(최종 답변 인용률)38~51%
게시판 전체 오염(오염 비중 0.5~4%)30~53%
여러 턴에 걸쳐 근거를 쌓는 방식(6개 모델, 단발 공격 대비)+13.0~36.1%p

게시판 전체를 조직적으로 오염시키는 방식도 시험됐다. 이때 오염된 콘텐츠의 비중은 0.5~4%에 불과했지만 최종 인용률은 30~53%로 나타났다.

검색 결과를 한 번에 밀어 넣는 대신 여러 턴에 걸쳐 하나씩 심어 신뢰를 쌓는 방식도 있었다. 6개 언어모델을 대상으로 한 실험에서 이 방식은 단발 공격보다 성공률을 13.0~36.1%p 높였고, 검색 결과 하나만 추가해도 효과가 나타났다.

결국 봐야 할 숫자는 하나가 아니다

지금까지의 결과를 보면 0.0~31.4%라는 숫자와 97.5%라는 숫자는 서로 모순되지 않는다. 앞의 숫자는 비교적 순한 조건에서 웹에 조작된 글을 심은 실험이고, 뒤의 숫자는 화면을 직접 보고 행동하는 에이전트에 대한 조작 실험에서 나온 수치다.

광고 배너, 화면조작, 검색 결과 문구 변경, 계획 조작, 게시판 오염처럼 공격 방법이 달라지면 측정하는 성공의 의미도 달라진다. 어떤 실험은 공격자가 원하는 결론을 답변에 넣었는지를 보고, 어떤 실험은 에이전트가 조작된 자료를 참고했는지나 최종 답변에 인용했는지를 본다.

그래서 검색하는 AI가 가짜 글에 얼마나 속는지를 볼 때는 성공률 하나만 떼어 볼 일이 아니다. 어떤 모델을 사용했는지, 어떤 공격을 넣었는지, 어떤 행동이나 답변을 성공으로 봤는지를 함께 확인해야 한다.

요점 ① 순한 조건에서는 0.0~31.4%로 모델마다 차이가 난다 요점 ② 광고·화면조작 같은 강한 조건에서는 60%대부터 97.5%까지 올라간다 요점 ③ 의견형 질문에서는 성공률이 94.7%까지 나타났다 요점 ④ 게시판 글 하나만으로도 최종 답변 인용률이 38~51%였다

같이 읽을 글

자료 출처

작성일

#측정 #검색 에이전트 #조작 #프롬프트 인젝션 #공격 성공률

← 칼럼 목록
무료로 신청하기→