가게 챗봇에 몰래 광고를 심을 수도 있나요?

가게 챗봇에 남이 만든 AI 부품을 붙였다면, 특정 말을 들었을 때만 다른 행동을 하도록 만드는 위험을 생각해야 한다. 실제 연구에서는 AI 부품 75개를 시험해 숨은 신호가 든 질문의 98.49%를 거절했다. 다만 정상 질문도 96.59%만 통과했기 때문에, 사장님이 답변 화면만 보는 것으로는 충분하지 않다.

가게 챗봇에 붙는 AI 부품이 뭔가요?

요즘 가게 챗봇은 큰 AI 모델 하나만 쓰지 않는 경우가 있다. 기본 모델에 「병원 상담용」이나 「쇼핑몰 응대용」처럼 추가 기능을 붙여 쓰기도 한다. 이런 추가 부품 가운데 하나가 LoRA 어댑터다.

LoRA 어댑터는 기본 모델 전체를 바꾸지 않고 일부 계산만 바꾸는 방식이다. 그래서 만드는 비용이 적고 파일도 작아 주고받기 쉽다. 연구진은 허깅페이스 같은 공개 저장소에 이런 부품이 「수천 개」 올라와 있다고 설명했다.

문제는 이 부품을 누가 만들었는지다. 기본 모델은 믿을 만한 곳에서 받아도, 추가 부품을 만든 사람이 그 안에 특정 신호에 반응하는 행동을 넣을 수 있다.

평소에는 멀쩡한데 특정 말에만 이상해질 수 있나요?

가능성을 연구한 사례가 있다. 공격자는 평소 질문에는 정상적으로 답하게 만들고, 정해 둔 단어나 문구가 들어오면 미리 심어 둔 행동을 하도록 부품을 만들 수 있다.

논문에서는 그 행동의 예로 유해한 내용, 악성 코드, 정치 선전, 몰래 광고를 들었다. 다만 이번 실험에서 실제로 시험한 숨은 행동은 안전장치 풀기, 부정적 문구 끼워 넣기, 정상 질문 거절 세 가지였다. 몰래 광고가 실제로 같은 방식으로 잡히는지는 시험하지 않았다.

OWASP도 대규모 언어 모델 앱의 위험 10가지 가운데 3번째로 공급망을 꼽았다. 여기에 악성 LoRA 어댑터 사례가 포함돼 있다.

이런 숨은 신호는 어떻게 찾나요?

연구진은 AI 부품 안에서 평소에는 조용하게 움직이는 지점을 찾았다. 정상 질문 40개를 넣어 내부 지점 가운데 조용한 5%를 고른 뒤, 실제 질문이 들어올 때 이 부분의 값이 평소 범위를 크게 벗어나는지를 감시하는 방식이다.

숨은 신호가 들어간 질문에서는 특정 내부 지점의 값이 크게 튀는 현상이 나타났다. 그래서 질문 속 몇 글자만 보고 판단하는 대신, 답을 만들기 전에 AI 부품 내부의 계산을 살펴본다.

이 방법은 부품을 다시 학습시키거나 숨은 신호의 예시를 미리 알아야 하는 방식이 아니다. 대신 부품 내부를 직접 볼 수 있어야 한다는 조건이 있다.

정말 잘 잡히나요?

연구 결과만 보면 숨은 신호가 든 질문의 98.49%를 거절했다. 정상 질문은 96.59%를 통과시켰다.

중요한 점은 어디를 감시하느냐였다. 같은 5%를 무작위로 골랐을 때는 숨은 신호 질문 거절률이 54.94%로 떨어졌다. 모든 지점을 지켜봐도 81.24%였고, 첫 층만 지켜보면 48.22%였다.

즉, 많이 들여다보는 것보다 평소에 조용한 지점을 골라 감시하는 것이 이번 실험에서는 더 잘 작동했다. 질문 글만 보고 이상한 단어를 찾는 기존 방법인 ONION은 숨은 신호 질문 거절률 72.10%, 정상 질문 통과율 94.39%였다.

그럼 사장님이 직접 검사하면 되나요?

현실적으로 어렵다. 이 방법은 챗봇이 어떤 답을 했는지만 보는 것이 아니라 AI 부품 내부의 계산값을 봐야 하기 때문이다.

숨은 신호를 모르는 상태에서 질문을 여러 개 던져 보는 것도 충분하지 않다. 평소 질문에는 정상적으로 답하도록 만들어진 부품이라면 겉으로는 문제를 찾기 어렵다.

그래서 실제 검사는 챗봇을 만들고 운영하는 업체가 해야 한다. 사장님은 어떤 부품을 썼는지, 어디서 가져왔는지, 여러 부품을 함께 붙였는지, 이상 신호를 감시하는지부터 확인하는 것이 현실적이다.

정상적인 고객 질문까지 막히면 어떻게 하나요?

이번 방법에도 한계가 있다. 정상 질문 통과율이 96.59%라는 것은 정상 질문 가운데 약 3.4%가 함께 거절될 수 있다는 뜻이다.

예를 들어 한 달에 질문 1,000개를 받는 가게 챗봇이라면 30여 개의 정상 질문이 「답할 수 없다」로 끝날 수 있다. 예약이나 가격 문의가 이런 식으로 막히면 고객 응대에도 문제가 생길 수 있다.

따라서 숨은 신호를 막는 기능만 넣을 것이 아니라, 거절된 질문을 사람이 확인하는 절차도 필요하다.

회사 API를 그대로 쓰면 괜찮은가요?

이번 연구가 직접 다룬 상황은 「공개 기본 모델에 남이 만든 부품을 붙이는 경우」다. 회사가 제공하는 기본 모델을 그대로 불러 쓰는 챗봇은 외부 부품이 끼어들 자리가 상대적으로 작다.

그렇다고 모든 위험이 사라지는 것은 아니다. 다른 부품이나 추가 기능이 AI의 행동에 영향을 줄 가능성은 별도로 살펴봐야 한다.

공개 모델에 부품을 붙이는 방식이 늘면 이런 위험도 따라 커질 것으로 예상할 수 있다. 다만 이 부분은 예상이며, 확인된 숫자는 없다.

몰래 광고를 하면 가게가 책임지나요?

이번 조사만으로 책임 주체를 정할 수는 없다. 가게 챗봇이 숨은 신호 때문에 남의 상품을 광고했을 때 가게와 운영 업체, 부품 제작자 가운데 누구에게 어떤 책임이 적용되는지는 확인하지 못했다.

광고 표시와 관련해서는 공정거래위원회가 2021년 1월부터 광고라는 사실을 숨긴 「뒷광고」를 제재하고 있다. 과징금은 관련 매출액의 2% 이하 또는 5억 원 이하다.

챗GPT는 한국에서 2026년 6월 19일부터 광고를 시범 운영하고 있으며 광고에는 표시가 붙는다. 하지만 이 기준이 가게 챗봇의 숨은 광고에 그대로 적용되는지는 이번 조사에서 확인하지 않았다.

이번 연구만으로 알 수 없는 것은 뭔가요?

가장 중요한 한계는 몰래 광고를 직접 시험하지 않았다는 점이다. 실제 시험은 안전장치 풀기, 부정적 문구 끼워 넣기, 정상 질문 거절 세 가지였다.

또 기본 모델은 7B~13B 크기의 공개 모델 5종이었고, 시험 질문은 공개 시험 세트 하나에서 나왔다. 한국어 질문은 시험하지 않았으며, 공격자가 감시 방법을 알고 이를 피하도록 부품을 만드는 경우도 다루지 않았다.

그리고 이 연구는 정식 학회 심사를 거치기 전의 사전 공개 논문이다. 따라서 98.49%라는 숫자를 모든 가게 챗봇에 그대로 적용할 수는 없다.

결국 사장님이 확인할 핵심은 간단하다. 챗봇 업체가 어떤 기본 모델과 추가 부품을 쓰는지, 부품의 출처를 기록하고 있는지, 여러 부품을 함께 쓰는지, 내부 이상 신호를 검사하는지, 검사 때문에 정상 질문이 막혔을 때 어떻게 처리하는지를 물어보면 된다.

같이 읽을 글

• 협찬 글을 인용하면 AI가 고객에게 알려줄까?
• 고객의 AI가 우리 상품을 몰래 밀어낼 수도 있나?
• 같은 AI 모델이면 어디서 사든 똑같을까?
• 챗봇은 품절 상품을 바로 알까요?

자료 출처

• LoRAScan: Detecting Backdoor Prompts in Low-Rank Adapters for Large Language Models via Down-Projection Activation Spikes(미시간공대·마이애미대·리하이대, arXiv 2608.06795, 2026.8)
• 같은 논문 HTML 본문(어댑터 75개·질문 12,475+12,475개·요소 제거 실험 표 5)
• LLM03:2025 Supply Chain(OWASP 대규모 언어 모델 앱 10대 위험, 2025, 사례 13가지·예방책 10가지)
• Colluding LoRA: Composite Fine-Tuning Attacks on LLM Safety(클라우드보안연합 CSA 연구 노트, 2026.3.16)
• 「뒷광고」 내년부터 광고주와 당사자 모두 처벌 받는다(아주경제, 2020.10, 공정위 추천·보증 심사지침)