홈페이지 그림 한 장이 AI의 선택을 바꿀 수 있을까?

남이 올린 그림 한 장만 바꿔도 웹 AI 비서가 평균 91.9% 그 항목을 실제로 눌렀다.

AI 비서가 고객 대신 홈페이지를 돌아다니며 예약하고 물건을 사는 시대에는 그림 한 장이 선택을 바꿀 수도 있다. 미국 유타대 연구진의 실험에서 그림을 교묘하게 바꾸는 공격은 평균 91.9%의 비율로 AI 비서가 실제로 해당 항목을 누르게 했다. 동네 가게가 이런 공격의 직접 표적이 될 가능성은 낮지만, 고객이 올린 사진과 광고 배너를 관리하고 예약·결제 전에 확인 절차를 두는 일은 필요하다.

AI가 화면을 보고 선택하는 단계가 있다면, 홈페이지에 올라온 그림 한 장도 고객의 선택을 바꾸는 통로가 될 수 있다.

AI가 그림 한 장 때문에 엉뚱한 곳을 누를 수 있나?

미국 유타대 연구진은 실제 웹사이트 13곳과 연구용 가상 쇼핑몰에서 과제 2,250개를 시험했다. 상품 사진이나 프로필 사진에 눈에 잘 띄지 않는 변형을 넣자, 화면을 보는 AI 비서가 해당 항목을 실제로 누르는 비율은 평균 91.9%였다. 기존에 알려진 공격 방법 가운데 가장 강한 방법의 성공률은 17.4%였다.

중요한 점은 AI가 잘못된 답을 말했는지가 아니다. 연구진은 AI가 실제 브라우저에서 어떤 항목을 눌렀는지 확인했다. 화면에서 선택한 항목이 실제 구매나 예약으로 이어질 수 있기 때문이다.

이번 실험에서 공격자는 그림 한 장만 바꿀 수 있었다. 홈페이지 코드나 고객의 요청 문장, AI 프로그램은 건드리지 못했다. 다만 공격을 준비할 때는 공개된 AI 모델 내부를 모두 볼 수 있다고 가정했다. 이는 공격자에게 유리한 최악의 조건이다.

항목	숫자
시험한 과제	2,250개
실제 사이트 과제 / 가상 쇼핑몰 과제	1,710개 / 540개
실제 사이트	13곳(쇼핑 5곳·숙소 2곳·과외 5곳·가사 서비스 1곳)
AI 비서 구성	4가지
그림을 보는 공개 AI 모델	6종
비교한 기존 공격 방법	3가지
그림 변형의 크기	화소 밝기 255단계 중 최대 16단계

어떤 홈페이지와 사진이 위험할까?

실험에 사용된 사이트는 쇼핑, 숙소 예약, 과외 선생님 검색, 가사 서비스 분야였다. 공격 대상이 된 그림은 상품 사진이나 숙소 사진, 과외 선생님의 프로필 사진처럼 사용자가 직접 올리는 이미지였다.

동네 가게 홈페이지에서도 고객 후기 사진, 게시판 첨부 그림, 외부 광고 배너가 비슷한 통로가 될 수 있다. 다만 이번 연구는 이런 국내 소상공인 홈페이지를 직접 시험한 것이 아니다. 모든 홈페이지가 똑같은 위험에 놓여 있다고 단정해서는 안 된다.

공격 그림이 고객 요청과 관련 없는 곳에 나타났을 때는 잘못 누른 비율이 1.8~3.0%로 낮았다. 반대로 고객의 요청과 그림이 맞아떨어지는 상황에서는 선택이 크게 바뀌었다. AI가 고객의 요청에 맞는 항목을 고르는 과정에서 문제가 발생할 수 있다는 뜻이다.

AI 비서 구성	이번 방법	기존 가장 강한 방법	상관없는 때 그 그림을 누른 비율
공개 웹 비서 A, 실제 사이트(1,710개)	90.0%	16.7%	1.8%
공개 웹 비서 B, 실제 사이트(1,710개)	85.4%	17.9%	3.0%
가상 쇼핑몰, 구조 목록+화면(540개)	96.2%	18.4%	2.8%
가상 쇼핑몰, 번호 표시 화면(540개)	95.8%	16.6%	2.1%

클릭이 바뀌면 구매와 예약까지 이어질까?

연구진은 AI 비서가 잘못된 항목을 누르는 데서 그치지 않고, 처음 요청받은 구매나 예약을 끝까지 완료하는지도 살펴봤다. 클릭이 바뀐 뒤에도 평균 86.9%는 구매나 예약까지 완료했다. 선택이 바뀌었는데 끝까지 완료하지 못한 265건에서는 로그인 요구, 팝업, 접속 오류 등이 주요 중단 원인이었다.

업종(과제 수)	클릭이 바뀐 비율(모델 5종)	끝까지 간 비율(모델 5종)
쇼핑(630개)	90.0~98.2%	86.6~94.6%
숙소(350개)	92.0~96.7%	87.5~92.7%
과외 선생님(450개)	87.5~93.7%	84.7~90.2%
가사 서비스(280개)	69.0~80.1%	65.3~75.5%

업종별로 보면 가사 서비스에서 공격 성공률과 완료율이 가장 낮았다. 연구진은 가사 서비스 목록의 사진이 작고 촘촘하며, 베이비시터의 경력처럼 외모보다 글로 된 조건을 중심으로 고르는 요청이 많았기 때문이라고 해석했다. 업종과 화면 구성에 따라 위험 수준이 달라질 수 있다는 뜻이다.

그림이 작으면 안전할까?

그림의 크기는 결과에 영향을 줬다. 공격 그림이 화면의 2%를 차지할 때 클릭이 바뀐 비율은 62.8%였고, 화면의 10%를 차지할 때는 97.4%였다. 그렇다고 작은 사진은 안전하다고 볼 수는 없다.

고객의 요청을 같은 뜻의 문장 30가지로 바꿔도 성공률은 94.1%에서 89.8%로 조금만 내려갔다. 페이지 배치가 바뀌어도 대부분 업종에서 감소 폭은 크지 않았다. 단순히 문장을 바꾸거나 사진 위치를 조금 옮기는 것만으로는 충분한 대응이 되기 어렵다.

AI 모델의 종류에 따라서도 결과가 달랐다. 한 모델 계열에 맞춘 공격은 같은 계열의 다른 버전에도 높은 성공률을 보였지만, 다른 계열의 모델에서는 성공률이 4.5~23.8%로 떨어졌다. 모든 AI 비서에서 같은 문제가 똑같이 발생하는 것은 아니다.

조건	클릭이 바뀐 비율
공격 그림이 화면의 2%	62.8%
화면의 5%	85.3%
화면의 10%	97.4%
요청 문장을 30가지로 바꿔 말함	94.1% → 89.8%
같은 계열의 다른 버전 모델에 그대로 사용	81.2~93.5%
계열이 다른 모델에 그대로 사용	4.5~23.8%

이미 나온 방어 장치를 쓰면 막을 수 있을까?

연구진은 그림을 압축하거나 흐리게 처리하는 방법과 AI 비서 자체의 방어 장치를 시험했다. 그림 압축을 적용했을 때 클릭이 바뀐 비율은 91.9%에서 75.2%로 낮아졌다. 그러나 공격을 완전히 막지는 못했다.

숨은 명령을 탐지하는 장치, 그림 설명을 대조하는 장치, 실행 전에 위험을 평가하는 장치도 큰 효과를 보이지 않았다. 반대로 잡음을 강하게 섞으면 공격 성공률은 45.7%까지 내려갔지만, 평소 과제 정확도도 58.5%로 떨어졌다.

후보 번호를 무작위로 바꾸는 방법은 공격 성공률을 11.7%까지 낮췄다. 하지만 평소 과제 정확도도 15.9%로 무너졌다. 현재 시험된 방어 방식은 공격을 줄이는 동시에 AI 비서의 정상적인 기능까지 떨어뜨릴 수 있다.

방어	평소 과제 정확도	클릭이 바뀐 비율
방어 없음	100%	91.9%
그림 압축(품질 75)	89.3%	75.2%
그림 흐리게 처리	100%	82.5%
잡음 약하게 섞기	90.2%	81.4%
잡음 강하게 섞기	58.5%	45.7%
글 속 숨은 명령 탐지	98.6%	86.5%
그림 설명 대조 검사	92.5%	90.5%
실행 전 위험 평가	100%	91.9%
후보 번호를 매번 무작위로 바꾸기(쇼핑 630개)	15.9%	11.7%

동네 가게 홈페이지는 무엇부터 챙겨야 할까?

첫째, 고객이나 외부 업체가 올리는 그림을 관리해야 한다. 후기 사진과 게시판 첨부 파일은 게시 전에 사람이 확인하는 절차를 두는 편이 좋다. 출처를 확인하기 어려운 광고 배너도 함부로 붙이지 않는 것이 좋다.

둘째, 예약과 결제, 문의 기능은 그림에만 의존하지 않도록 구성해야 한다. 고객이 무엇을 선택하는지 알 수 있도록 단추에 기능을 글자로 표시하는 편이 좋다. 다만 글자 단추만으로 공격을 막을 수 있다고 단정해서는 안 된다.

셋째, 예약이나 결제가 확정되기 전에 고객이 직접 내용을 확인하도록 해야 한다. AI 비서가 선택한 항목을 곧바로 확정하지 말고, 상품명과 예약 날짜, 수량과 결제 금액 등 실제 거래 내용을 확인하는 단계를 두는 방식이다.

넷째, AI 비서가 접수한 예약과 주문은 내용을 한 번 더 확인해야 한다. 클릭이 바뀐 뒤에도 구매나 예약까지 완료되는 경우가 많았기 때문이다. 잘못된 선택이 실제 거래로 이어지기 전에 발견할 수 있는 절차가 필요하다.

할 일	근거 숫자
고객·외부가 올리는 그림(후기 사진·배너)은 게시 전에 사람이 보고, 출처 모를 광고 배너는 붙이지 않는다	공격자가 바꾼 것은 남이 올리는 그림 한 장, 평균 91.9%
예약·결제·문의 단추는 그림이 아닌 글자 단추로 만든다	글 조건으로 고르는 가사 서비스 과제가 69.0~80.1%로 가장 낮았다, 세계 홈페이지 30.6%에 이름 없는 단추
결제·예약 확정 앞에 고객이 직접 확인하는 단계를 둔다	선택이 바뀐 뒤 끝까지 못 간 265건 중 43.4%가 로그인 요구에서 멈췄다
AI 비서로 들어온 예약·주문은 내용을 한 번 더 확인한다	클릭이 바뀐 뒤 86.9%가 구매·예약까지 끝났다

우리 가게도 공격받을 수 있을까?

동네 가게 홈페이지가 직접 표적이 될 가능성이 높다고 볼 근거는 이번 연구에 없다. 공격자는 특정 AI 모델과 페이지 구조에 맞춰 그림을 준비해야 한다. 따라서 여러 판매자가 상품이나 프로필 사진을 올리는 장터와 예약 플랫폼이 먼저 주목할 만한 대상이다.

하지만 우리 가게가 그런 플랫폼에 입점해 있다면 이야기가 달라질 수 있다. 우리 사진이 공격 대상이 될 수도 있고, 다른 판매자가 올린 그림 때문에 AI 비서가 우리 상품 대신 엉뚱한 상품을 선택할 수도 있다. 홈페이지 운영자는 자신이 직접 올리는 콘텐츠뿐 아니라 외부에서 들어오는 콘텐츠도 살펴야 한다.

앤트로픽★은 2025년 11월 자사 브라우저 AI 자료에서 모든 웹페이지와 광고가 공격 통로가 될 수 있다고 설명했다. 브라우저 회사 브레이브★도 2025년 10월 사람 눈에 잘 보이지 않는 글씨를 그림에 넣어 AI 브라우저를 움직인 사례를 공개했다. 웹 보안 단체 OWASP 역시 그림 속에 숨긴 명령을 AI 공격 유형의 하나로 다루고 있다.

이번 실험은 미국 사이트 13곳과 영어 요청을 대상으로 진행됐다. 상용 AI 비서는 시험 대상이 아니었고, 공격 그림도 실제 사이트에 게시하지 않고 연구진의 브라우저 안에서만 바꿔 넣었다. 실제 홈페이지에서는 이미지 처리 방식이나 AI 모델에 따라 결과가 달라질 수 있다.

이번 연구가 알려 주는 것은 모든 그림을 의심해야 한다는 사실이 아니다. 고객 대신 AI가 선택하고 실행하는 기능이 늘어날수록, 홈페이지의 콘텐츠 관리와 거래 전 확인 절차가 중요해진다는 점이다. 지금은 후기 사진과 광고 배너를 점검하고, 예약·결제 내용을 고객이 직접 확인할 수 있도록 만드는 것부터 시작하면 된다.

요점 ① 과제 2,250개 실험에서 그림 한 장을 변형한 공격은 평균 91.9%의 실제 클릭 성공률을 보였다. ② 클릭이 바뀐 뒤 평균 86.9%는 구매나 예약까지 완료됐으며, 완료하지 못한 265건에서는 로그인 요구가 주요 중단 원인이었다. ③ 그림이 화면의 2%만 차지해도 클릭이 바뀐 비율은 62.8%였고, 계열이 다른 모델에서는 성공률이 4.5~23.8%로 낮아졌다. ④ 이미 나온 방어 3종을 켜도 86.5~91.9%가 통했으니, 고객이 올린 사진과 외부 배너를 점검하고 예약·결제 전 확인 단계를 둔다.

같이 읽을 글

자료 출처

작성일 2026년 10월 14일

#홈페이지 #AI 에이전트 #이미지 보안 #고객 후기 사진 #웹 보안

← 칼럼 목록