고객의 AI가 우리 상품을 몰래 밀어낼 수도 있나?

고객의 AI 비서에 붙은 부가 기능이 상품 비교 기준을 살짝 바꾸면 특정 상품이 더 자주 선택될 수 있다. 한 연구에서는 특정 브랜드 선택률이 37.33%에서 81.33%로 올랐다. 더 큰 문제는 답의 형식이 정상이고 검사 도구 6개도 이런 변화를 잡지 못했다는 점이다.

사장님, AI 비서에 붙는 「부가 기능」이 뭔가?

요즘 AI 비서는 모델을 다시 학습시키지 않고 「스킬」이라는 설명서 묶음을 붙여 기능을 늘린다. 스킬에는 일하는 순서, 도구를 쓰는 방법, 답의 형식과 예시가 들어간다.

문제는 이 스킬이 AI가 무엇을 할지만 정하는 것이 아니라 후보를 어떻게 비교할지도 정할 수 있다는 점이다. 어떤 근거를 먼저 볼지, 비슷한 상품 중 무엇을 고를지가 스킬에 들어간 기준과 예시에 따라 달라질 수 있다.

다른 회사나 개인이 만든 스킬을 쓰면 AI의 판단 일부를 그 제작자에게 맡기게 된다. 보안 업계에서는 이런 문제를 공급망 위험이라고 부른다.

이번 연구가 기존 공격과 다른 점도 여기에 있다. 기존에는 악성 코드 실행이나 지시문 가로채기처럼 AI가 하는 일 자체를 바꾸는 경우가 알려졌지만, 이번 연구는 고객 질문과 후보 상품은 그대로 두고 비교 기준만 기울이는 방법을 다뤘다.

그런데 상품 비교 기준만 바꿔도 그렇게 달라지나?

연구진은 정해진 후보 목록에서 스포츠 상품 하나를 추천하는 쇼핑 과제와 파이썬 데이터 도구 5개 중 하나를 고르는 개발 과제를 실험했다. 쇼핑 과제에서 특정 브랜드는 리닝이었다.

질문은 과제마다 50개를 준비했다. 이 가운데 30개는 기준을 다듬는 데 사용하고 20개는 처음 보는 질문으로 남겼다. 질문 하나당 3번씩 실행해 조건마다 150개의 답을 받았다.

수법은 세 가지였다. 특정 속성을 더 중요하게 보이게 하는 평가 원칙, 후보가 비슷할 때 적용하는 동점 처리 기준, 그리고 그 기준을 굳히는 예시였다. 후보 데이터나 순서를 바꾸지 않았고, 특정 브랜드를 고르라는 직접 지시도 넣지 않았다.

그런데 결과는 크게 달라졌다. 원래 스킬에서 37.33%였던 특정 브랜드 선택률이 고친 스킬에서는 81.33%로 올랐다. 두 경우 모두 정상 출력률은 100%였다.

처음 보는 질문에서도 효과가 남았다. 쇼핑 과제에서는 선택률이 85.56%에서 80.00%로 조금 줄었을 뿐이다.

수법을 하나씩 빼 보니 평가 기준과 예시의 영향도 확인됐다. 목표 브랜드를 떠올리게 하는 단서를 빼면 선택률이 36%p 떨어졌고, 고객 용도에 잘 맞는지를 따지는 틀을 빼면 30%p, 예시를 빼면 28%p 떨어졌다.

사장님, 다른 AI에서도 같은 일이 생기나?

연구진은 한 모델에서 다듬은 스킬을 다른 모델 6개와 실제 AI 에이전트 2개에 그대로 붙였다. 스킬을 다시 고치지 않았는데도 모든 조합에서 목표 상품의 선택률이 올랐다.

쇼핑 과제에서 차이는 20.00~51.33%p였다. 개발 과제에서는 52.67~100%p였다.

다만 이 숫자를 모든 AI에 똑같이 적용되는 결과로 보면 안 된다. 연구진도 시스템마다 기본 설정이 다르기 때문에 절대적인 선택률보다 같은 시스템 안에서 원래 스킬과 고친 스킬의 차이를 봐야 한다고 설명했다.

사장님, 검사 도구가 이런 기능을 잡아주지 않나?

연구진은 스킬 검사 도구와 지시문 끼워 넣기 탐지기 6개로 원래 스킬과 고친 스킬을 비교했다. 6개 도구 모두 몰래 기울인 스킬을 원래 스킬과 구별하지 못했다.

반대로 「이 브랜드를 골라라」라고 직접 쓴 스킬은 6개 중 4개가 잡았다. 즉 노골적인 지시는 어느 정도 탐지할 수 있지만, 그럴듯한 평가 기준을 넣어 선택을 유도하는 방식은 현재 도구로 잡기 어려웠다.

스킬 장터에는 이미 다른 보안 문제도 확인되고 있다. 스닉이 2026년 2월 5일 기준으로 3,984개 스킬을 검사했을 때 36.82%인 1,467개에서 하나 이상의 보안 결함이 발견됐다. 심각 등급은 13.4%인 534개였고, 사람이 확인한 악성 코드는 76건이었다.

유닛42도 2026년 2~5월 기존 탐지를 통과한 악성 스킬 5개를 찾았다. 이번 연구의 기울이기는 악성 코드가 없어도 AI의 선택을 바꿀 수 있다는 점에서 별도의 문제다.

사장님 상품은 어떻게 해야 하나?

고객이 AI에서 우리 상품을 찾지 못했다고 해서 곧바로 상품 자체의 문제라고 단정할 수는 없다. 반대로 한 번 추천됐다고 해서 계속 추천된다고 볼 수도 없다.

먼저 AI가 우리 상품을 비교할 수 있도록 홈페이지에 상품의 사실을 충분히 남기는 것이 필요하다. 가격, 크기, 소재, 용도, 보증 같은 정보가 빠져 있으면 비슷한 후보를 비교할 때 AI가 사용할 수 있는 사실이 줄어든다.

다만 이 부분은 이번 연구에서 직접 검증한 내용은 아니다. 이번 실험은 후보의 정보를 바꾸지 않고 정보의 무게를 바꾸는 방식이었기 때문에, 상품 정보를 충분히 적어 두는 것이 이런 공격을 막는다고 단정할 수는 없다.

또 한 번의 결과만 보고 판단하지 않는 것이 중요하다. 같은 스킬도 모델에 따라 효과가 달랐기 때문이다. 여러 AI에서 반복해 우리 상품이 실제로 나오는지 확인해야 한다.

국내에서도 AI 추천은 이미 상품 구매와 연결되고 있다. 프레인글로벌과 한국PR학회가 생성형 AI 이용자 1,000명을 조사했을 때 최근 3개월 안에 AI가 추천한 제품을 산 사람은 49.9%였다.

반면 서울시가 2025년 10월 온라인 쇼핑 소비자 1,000명을 조사했을 때 24.0%는 AI 추천의 단점으로 광고와 구별하기 어렵다는 점을 꼽았다. AI 추천과 광고를 구별하기 어렵다는 고객의 인식이 이미 있는 상황에서, 부가 기능 안의 평가 기준까지 고객이 알아차리기는 더 어려울 수 있다.

그럼 지금 이 연구만으로 어디까지 알 수 있나?

이번 연구에는 분명한 한계가 있다. 과제는 2개였고, 과제마다 질문은 50개였으며, 미는 대상도 1개였다. 쇼핑 과제는 중국어로 진행됐고 후보 목록도 미리 정해져 있었다.

AI가 웹에서 후보를 직접 찾는 상황은 다루지 않았다. 한국어 쇼핑이나 동네 가게 업종, 국내 서비스에서도 같은 크기의 효과가 나타나는지는 아직 검증되지 않았다.

공개 장터 3곳인 ClawHub, Tencent SkillHub, vskill을 어떻게 처리하는지도 시험했다고 했지만, 확인한 발췌 범위에서는 그 결과 숫자를 찾지 못했다. 실제 장터에 이런 방식의 스킬이 얼마나 있는지도 이번 연구만으로는 알 수 없다.

그래서 사장님이 지금 확인할 것은 단순하다. 고객이 AI에게 우리 업종과 상품을 물었을 때 우리 상품이 실제로 등장하는지 반복해서 살펴보는 것이다.

AI 추천이 늘어날수록 상품 정보만큼 AI가 그 정보를 어떤 기준으로 비교하는지도 중요해진다. 이번 연구는 고객의 질문과 상품 정보를 그대로 둔 채 비교 기준만 바꿔도 선택 결과가 달라질 수 있다는 점을 보여준다.

같이 읽을 글

• AI 답에 가게 광고가 들어간다면, 사장님은 무엇을 준비해야 할까?
• 협찬 글을 인용하면 AI가 고객에게 알려줄까?
• 쇼핑 AI에 우리 상품이 한 번 나오면 된 걸까?
• AI가 고른 광고, 그대로 따라도 될까?

자료 출처

• A Finger on the Scale: Covert Policy Steering through Agentic Skills(충칭대·저장대, arXiv 2609.02564, 2026.9 제출, 과제 2개×질문 50개×3회)
• ToxicSkills: Malicious AI Agent Skills on ClawHub(스닉, 2026.2.5 기준, 스킬 3,984개)
• OpenClaw's Skill Marketplace and the Emerging AI Supply Chain Threat(팔로알토네트웍스 유닛42, 2026.2~5 분석, 악성 스킬 5개)
• 「추천·보증 등에 관한 표시·광고 심사지침」 개정·시행(공정거래위원회, 2026.6.1 시행)
• 온라인쇼핑 소비자 'AI 추천은 편리, 피해 대응은 답답'(서울시, 2025.10.2~14, 온라인 쇼핑 소비자 1,000명)
• 이제는 쇼핑 파트너… 49.9% "AI 추천 제품 구매했다"(디지털 인사이트 보도, 프레인글로벌·한국PR학회 조사, 2026.8, 서울·수도권 생성형 AI 이용자 1,000명)