챗GPT에게 강원도 변호사를 스무 번 물으면 같은 답이 나올까?

한 번의 추천만으로는 알기 어려운 AI 검색 결과의 반복성과 출처를 직접 측정했다

강원도에 괜찮은 변호사를 추천해 달라는 질문을 챗GPT에 20번 반복해 봤다. 가장 많이 등장한 법무법인도 20번 중 16번, 80%만 나왔다. 답변에 붙은 출처 40건 가운데 17건, 42.5%는 개별 법률사무소 홈페이지가 아니라 정부기관 사이트였다.

AI에게 한 번 물어서 나온 이름만 보고 전체 결과라고 생각하면 실제 반복 결과와 차이가 생길 수 있다.

한 번 물어본 답이 계속 같을까?

이번 측정은 2026년 9월 17일 오전 7시 39분부터 7시 51분까지 진행했다. "강원도에 괜찮은 변호사 추천해줘"라는 같은 질문을 ChatGPT Go 유료 계정에 로그인한 상태에서 임시 채팅으로 20회 반복했다.

모델 표시명은 gpt-5-6이었다. 답변에 걸린 시간은 13~18초였고 평균은 15.4초였다. 답변 길이는 636~1,056자였으며 평균은 829자였다.

항목값
질문"강원도에 괜찮은 변호사 추천해줘"
실행 횟수20회
실행 시각2026-09-17 07:39~07:51(12분)
로그인 상태ChatGPT Go 유료 계정 로그인·임시 채팅
모델 표시명gpt-5-6
걸린 시간13~18초, 평균 15.4초
답변 길이636~1,056자, 평균 829자
웹 검색 사용19/20회(95%)
지도 카드(별점 포함) 등장20/20회(100%)

그런데 답변의 내용은 매번 같지 않았다. 20회 동안 이름이 나온 법무법인과 법률사무소는 모두 22곳이었다.

어떤 변호사 이름이 자주 나왔을까?

가장 많이 등장한 곳은 법무법인 대륜이었다. 지사를 합쳐 20회 중 16회, 80% 등장했다.

하지만 20번 모두 등장한 것은 아니다. 답변의 가장 앞자리에 나온 횟수는 7회, 35%였다. 즉 많이 등장하는 이름과 매번 첫 번째로 추천되는 이름은 같은 의미가 아니었다.

두 번째로 많이 나온 곳은 김기현 법률사무소였다. 20회 중 13회, 65% 등장했고 첫 자리에는 5회, 25% 나왔다. 법무법인 지향은 8회, 변호사 정희재 법률사무소와 법무법인 신일, 변호사 김헌우는 각각 7회 등장했다.

순위이름등장 횟수등장률첫 자리로 나온 횟수
1법무법인 대륜(지사 합산)16/2080%7회(35%)
2김기현 법률사무소13/2065%5회(25%)
3법무법인 지향8/2040%0회
4변호사 정희재 법률사무소7/2035%0회
4법무법인 신일7/2035%4회(20%)
4변호사 김헌우7/2035%0회
7법률사무소 묵호5/2025%0회
7법무법인YK 강릉분사무소5/2025%0회

이 결과에서 확인할 수 있는 것은 특정 업체의 등장 자체도 매번 고정되지 않는다는 점이다. 특히 20회 가운데 한 번은 완전히 다른 법무법인 명단이 나왔다.

이름이 나오면 그 변호사 홈페이지를 보고 답한 걸까?

답변 아래에 표시된 출처를 모두 모아 보니 서로 다른 도메인은 11개였고, 인용 횟수는 총 40회였다. 여기서 눈에 띄는 것은 개별 법률사무소 홈페이지가 아닌 정부기관 사이트가 가장 많이 인용됐다는 점이다.

가장 많이 인용된 도메인은 강원특별자치도교육청의 고문변호사 명단 페이지인 law.gwe.go.kr이었다. 이 도메인이 13회 인용됐고, 전체 40건 가운데 32.5%를 차지했다.

춘천지방법원 사이트인 chuncheon.scourt.go.kr도 4회 인용됐다. 두 정부기관 도메인을 합치면 17회로 전체 출처 인용의 42.5%다.

도메인인용 횟수성격
law.gwe.go.kr13정부기관(강원특별자치도교육청 고문변호사 명단)
wonju.daeryunlaw.com6법무법인 대륜 원주분사무소 자사 홈페이지
imbeyonder.com5제3자 법률 정보 사이트
gangneung.daeryunlaw.com4법무법인 대륜 강릉분사무소 자사 홈페이지
chuncheon.scourt.go.kr4정부기관(춘천지방법원)
lawtalk.co.kr2변호사 매칭 플랫폼
yklawfirm.co.kr2법무법인YK 자사 홈페이지
lawkhk.com(추정)1김기현 법률사무소 자사 홈페이지
chuncheon.daeryunlaw.com1법무법인 대륜 춘천분사무소 자사 홈페이지
infolabs.co.kr1제3자 정보 사이트
lawus.kr1제3자 정보 사이트

따라서 AI 답변에 어떤 법무법인 이름이 들어갔다고 해서 그 이름을 해당 법무법인의 홈페이지에서 직접 가져왔다고 볼 수는 없다. 실제로 이번 측정에서는 정부기관 명단이나 제3자 법률 정보 사이트가 함께 출처로 사용됐다.

많이 나온 곳과 홈페이지가 많이 인용된 곳은 같을까?

법무법인 대륜은 20회 중 16회 이름이 나왔다. 자사 홈페이지는 원주, 강릉, 춘천 분사무소를 합쳐 11회 인용됐다. 전체 출처 40건 중 27.5%다.

반면 김기현 법률사무소는 20회 중 13회 이름이 나왔지만 자사 도메인으로 추정되는 lawkhk.com은 단 1회 인용됐다. 전체 출처의 2.5%다.

업체이름 등장률자사 도메인 인용(40건 중)
법무법인 대륜(지사 합산)80%(16/20)11회(27.5%)
김기현 법률사무소65%(13/20)1회(2.5%)
정부기관 도메인 2곳 합산해당 없음17회(42.5%)

이 차이는 이름의 등장 횟수와 홈페이지의 직접 인용 횟수가 별개의 결과라는 점을 보여준다. 어떤 업체가 답변에 자주 등장해도 그 업체의 홈페이지가 그만큼 자주 출처로 사용된다는 뜻은 아니다.

이번 결과에서 대륜은 지사 홈페이지가 여러 차례 직접 인용됐다. 원주 분사무소는 6회, 강릉 분사무소는 4회, 춘천 분사무소는 1회였다.

맨 앞에 나온 곳도 매번 같았을까?

20회 답변에서 맨 앞자리에 오른 업체는 6곳이었다. 법무법인 대륜이 7회로 가장 많이 첫 자리에 나왔고, 김기현 법률사무소가 5회, 법무법인 신일이 4회였다.

그 뒤로 법무법인 일헌이 2회, 법무법인 YK 춘천분사무소와 원앤원 법률사무소가 각각 1회였다. 이름이 20회 동안 등장한 업체가 모두 첫 자리에 오른 것은 아니다.

첫 자리 업체횟수비율(20회 중)
법무법인 대륜735%
김기현 법률사무소525%
법무법인 신일420%
법무법인 일헌210%
법무법인 YK 춘천분사무소15%
원앤원 법률사무소15%

따라서 "챗GPT에서 강원도 변호사를 검색했더니 이 업체가 첫 번째로 나왔다"는 한 번의 결과만으로 반복해서 같은 결과가 나올 것이라고 보기는 어렵다. 이번 측정에서는 첫 자리가 6곳 사이에서 나뉘었다.

웹 검색이 사용된 답변은 20회 중 19회, 95%였다. 지도 카드와 별점이 함께 등장한 경우는 20회 모두였다.

결국 이번 측정의 핵심은 단순하다. AI에게 지역 업체를 추천해 달라고 할 때 한 번의 답변만 보면 이름의 등장 빈도와 출처의 성격을 확인하기 어렵다. 같은 질문을 여러 번 반복하면 어떤 이름이 얼마나 자주 등장하는지, 그리고 그 이름이 실제로 어떤 도메인에서 인용되는지를 따로 볼 수 있다.

요점 ① 법무법인 대륜은 20회 중 16회, 80% 등장했지만 첫 자리는 7회, 35%였다. 요점 ② 출처 인용 40건 가운데 정부기관 도메인이 17건, 42.5%였다. 요점 ③ 웹 검색은 20회 중 19회, 95% 사용됐고 지도 카드는 20회 모두, 100% 등장했다. 요점 ④ 20회 동안 등장한 강원 지역 법무법인·법률사무소는 모두 22곳이었다.

같이 읽을 글

자료 출처

작성일

#측정 #챗GPT #반복측정 #강원변호사 #인용도메인 #지도카드

← 칼럼 목록
무료로 신청하기→