가게 사진을 누가 몰래 고치면 AI도 속을까?

AI가 가게 사진을 참고해 답한다면 사진이 틀렸을 때 답도 틀릴 수 있다. 실제 실험에서 사진의 작은 부분만 고쳐도 AI 6종이 40.16~65.40% 비율로 공격자가 정한 오답을 냈다. 원래 정답을 알고 있던 AI도 평균 62.4%가 사진을 믿고 답을 바꿨다.

「사진만 조금 고쳐도 AI가 정말 속나요?」

요즘 AI는 글뿐 아니라 사진도 함께 읽는다. 사진을 참고 자료로 찾아 질문에 답하는 AI라면, 사진에 보이는 내용이 답의 근거가 될 수 있다.

연구진은 이 점을 확인하기 위해 질문과 관련된 진짜 사진을 가져온 뒤, 답을 가르는 부분 한 곳만 고쳤다. 색이나 물건을 바꾸거나 간판과 표지판의 글자를 바꾸는 방식이었다.

중요한 점은 사진에 붙은 설명 글은 바꾸지 않았다는 것이다. AI 회사 내부의 검색기나 답변 모델도 건드리지 않고, 참고 자료 사이에 고친 사진 한 장만 섞었다.

참고 사진이 3만 장인 경우에도 고친 사진은 검색에 뽑혔고, 뽑힌 뒤에는 AI가 그 사진을 따라 답하는 경우가 많았다.

「원래 정답을 알고 있던 AI도 틀리나요?」

그렇다. 연구진은 먼저 사진 없이 질문만 던져 AI가 원래 답을 알고 있는지 확인했다. 사진 없이도 맞힌 문항의 정답률은 평균 78.1%였지만, 조작 사진을 보여 주자 공격자가 정한 오답을 낸 비율이 63.3%였다.

반대로 사진 없이 원래 잘 답하지 못하던 어려운 문항에서는 조작 사진을 받은 뒤 오답 비율이 76.4%였다. 전체 조작 사진 오답 비율은 69.8%였다.

원래 정답을 알고 있던 답이 사진 때문에 뒤집힌 비율만 따져도 평균 62.4%였다. 시험한 AI 6종 모두 이 비율이 59%를 넘었다.

가게 정보는 이 실험보다 더 조심해서 볼 필요가 있다. 연구진이 가게 질문을 직접 시험한 것은 아니지만, AI가 작은 가게 정보를 충분히 알고 있지 않다면 사진에 더 의존할 가능성을 생각할 수 있다.

「가게 사진에서는 어떤 부분이 특히 위험한가요?」

사진의 색이나 물건을 바꾸는 방식이 가장 잘 통했다. 색을 고친 경우 오답 비율은 86.9%, 물건을 바꾼 경우는 83.0%였다.

간판이나 표지판의 글자를 바꾼 경우도 78.6%였다. 가게에서는 상품 색상, 메뉴 구성, 가격표, 영업시간 안내처럼 고객이 사진만 보고 사실을 판단할 수 있는 정보가 여기에 해당한다.

반면 사진 속 개수는 58.0%, 배치는 53.9%였다. 연구진은 개수나 위치를 판단하려면 AI가 사진을 더 정밀하게 살펴봐야 하기 때문으로 추정했다.

「사진을 검사하면 조작을 찾아낼 수 있지 않나요?」

이번 실험에서는 사진 위조 탐지 도구도 대부분의 조작을 잡지 못했다. TruFor는 180건 가운데 3.89%만 차단했고, 평균 위조 점수는 0.1087로 기준선 0.5보다 낮았다.

사진을 보고 만든 설명 글을 가드레일과 사실 확인으로 검사하는 방법도 22.78%만 차단했다. 사진 전체 모습은 설명하면서 정작 고쳐진 작은 부분은 설명하지 않는 경우가 많았기 때문이다.

참고 사진을 한 장 대신 세 장 보여 주는 방법은 오답 비율을 70.6%에서 63.1%로 낮췄다. 7.4%포인트 줄었지만, 조작을 완전히 막지는 못했다.

「그럼 가게 사진은 어떻게 관리해야 하나요?」

가장 먼저 가게 사진은 직접 찍어 공식 홈페이지에 올리는 것이 좋다. 이번 실험에서는 공격자가 백과사전이나 이미지 검색에서 찾은 진짜 사진을 고쳐 사용했기 때문에, 가게가 직접 관리하는 사진을 여러 장 제공하는 것이 중요하다.

같은 대상의 사진도 한 장만 두지 않는 편이 낫다. 실험에서는 참고 사진 세 장을 함께 보여 줬을 때 오답 비율이 70.6%에서 63.1%로 줄었지만, 실제 가게 홈페이지에서도 같은 효과가 난다고 확인된 것은 아니다.

사진에 담긴 사실은 글로도 적어 두는 것이 좋다. 가격, 영업시간, 수량, 상품 색상처럼 고객이 확인해야 하는 내용을 사진 바로 아래에 문장으로 적으면 사진 외에도 같은 사실을 전달할 수 있다.

구글은 이미지 검색에서 대체 텍스트와 컴퓨터 비전, 페이지 내용을 함께 사용해 사진의 주제를 파악한다고 안내한다. 사진과 관련된 글을 가까이에 두는 것도 권장한다.

특히 간판, 가격표, 색상처럼 실험에서 잘 속았던 정보는 사진만으로 전달하지 않는 것이 중요하다. 같은 내용을 글과 사진, 사진 대체 텍스트에 나눠 적어 두면 AI가 참고할 수 있는 정보가 한 곳에만 있지 않게 된다.

「사진을 잘 관리하면 AI가 틀릴 가능성이 없어지나요?」

그렇게 단정할 수는 없다. 이번 실험은 영어 웹 질의응답 자료를 사용했고, 가게 정보 질문을 직접 시험한 실험이 아니다.

참고 사진도 COCO와 Flickr30k에서 최대 3만 장을 모은 것이어서 실제 웹 환경과 다르다. 답변 AI에는 사진 한 장만 넘겼고 글은 함께 넘기지 않았기 때문에, 글과 사진을 함께 읽는 실제 AI 검색에서는 결과가 달라질 수 있다.

또 공격자가 참고 자료에 사진을 넣을 수 있다고 가정했지만, 실제 AI 검색 서비스가 공개 웹의 사진을 얼마나 그대로 가져오는지는 이 실험에서 확인하지 않았다. 따라서 사진만 고치면 실제 AI 검색에서도 40~65%로 속일 수 있다고 말해서는 안 된다.

다만 한 가지는 분명하게 볼 수 있다. 사진의 작은 부분만 고쳐도 AI의 답이 바뀔 수 있다는 것이다.

그래서 가게 사진은 직접 관리하고, 같은 대상의 사진을 여러 장 제공하며, 사진 속 중요한 사실을 글로도 함께 적어 두는 것이 필요하다. 사진이 AI의 답에 쓰이는 시대에는 사진 관리도 가게 정보 관리의 한 부분이다.

같이 읽을 글

• 상품 정보를 사진에만 넣어도 AI가 알아볼까?
• 같은 글을 여러 곳에 올리면 AI가 더 믿을까?
• 홈페이지를 못 읽으면 AI는 우리 가게를 어떻게 설명할까?
• PDF 가격표, AI가 제대로 읽게 하려면 어떻게 해야 할까?

자료 출처

• Vis-Poison: Poisoning Visual Knowledge in Multimodal Retrieval-Augmented Generation(서남재경대학·난징이공대학, arXiv 2608.20756, 2026년 8월 · 평가 1,260문항·참고 사진 최대 3만 장·답변 AI 6종)
• Image SEO Best Practices(구글 검색 센터, 공식 문서 · 대체 텍스트·주변 글·컴퓨터 비전으로 이미지 파악)
• Google Lens now offers shopping product details(구글, 2024년 10월 · 렌즈 월 200억 건 가까이·쇼핑 20%)
• 「사장님 치킨이 안 익었어요」 AI로 만든 가짜사진에 배달앱·자영업자 몸살(아시아경제, 2026년 6월 · 배달의민족·쿠팡이츠 사례)
• 피자·햄버거 덜 익어… 멀쩡한 음식 AI로 사진 조작 환불 사기(전자신문, 2026년 1월 · 해외 배달 환불 사기 사례)