# 사진 속 글씨까지 AI가 읽는다면, 이제 글자는 안 써도 될까?

_사진 검색은 이미 크게 늘었지만, 해상도와 촬영 환경에 따라 정확도가 달라진다_

> 구글 렌즈는 월 200억 건을 처리하고, 사진을 그대로 읽는 모델은 정확도 81.3을 기록했다. 그래도 지금은 사진과 글자를 함께 올리는 것이 안전하다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/when-ai-can-read-photo-text
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-24

사진 속 글씨를 AI가 읽는 기술은 이미 상당한 수준까지 왔다. 구글 렌즈는 월 200억 건의 시각 검색을 처리하고 있고, 사진을 그대로 보고 문서를 찾는 모델 실험에서는 정확도 지표 81.3을 기록했다. 다만 사진의 해상도나 촬영 환경에 따라 결과가 달라지기 때문에, 지금 당장 홈페이지의 글자를 사진으로 대신해도 된다는 뜻은 아니다.

사진 한 장만 믿지 말고, 사진과 글자를 같이 올려야 한다

## 요즘 정말 사진으로 검색하는 사람이 많아졌나?

그렇다. 사진을 검색에 사용하는 일은 이미 큰 흐름이 됐다. 구글 렌즈는 2021년 30억 건 수준에서 월 200억 건 규모로 커졌고, 구글 AI 모드에서도 이미지로 시작하는 검색이 출시 이후 전월 대비 40% 넘게 늘었다.

구글 AI 모드는 2026년 5월 발표에서 월간 사용자 10억 명을 넘겼다. AI 모드에서 이미지·음성·영상을 함께 사용하는 검색도 약 6건 중 1건이고, 이미지 생성 질의는 2026년 초보다 3배 늘었다.

| 항목 | 숫자 | 시점 |
|---|---|---|
| 구글 렌즈 월 시각 검색 | 200억 건 | 2024.10 구글 공식 발표 |
| 구글 렌즈 2021년 대비 | 30억→200억 건 | 4년간 |
| 구글 AI 모드 월간 사용자 | 10억 명 돌파 | 2026.5 구글 I/O |
| AI 모드 내 이미지 검색 증가 | 전월 대비 40%↑ | 출시 후 2026 |
| AI 모드 이미지 생성 질의 | 2026년 초 대비 3배 | 2026 |
| AI 모드 중 멀티모달 검색 비중 | 약 6건 중 1건 | 2026 |

이 숫자가 보여주는 것은 분명하다. 사진은 이제 글자를 보조하는 자료에 그치지 않고, 검색을 시작하는 하나의 입력 방식이 되고 있다.

## 사진만 보고 문서까지 찾는 AI도 나온 건가?

지금까지 사진 속 글자를 검색하려면 보통 먼저 문자를 뽑아내는 문자인식, 즉 OCR 과정을 거쳤다. 사진을 글자로 바꾼 뒤 그 글자를 검색하는 방식이다.

그런데 사진 자체를 보고 필요한 문서를 찾아내는 방식도 실험되고 있다. 2024년 7월 발표된 콜팔리 실험에서는 학술·법률·임상 등 10개 종류의 문서 10,510건과 질문 4,010개를 대상으로 사진을 그대로 읽는 방식을 평가했다.

| 비교 항목 | 기존 문자인식 방식 | 사진을 그대로 읽는 방식 |
|---|---|---|
| 정확도 지표(NDCG@5) | 66.1~67.0 | 81.3 |
| 페이지당 처리 시간 | 7.22초 | 0.39초 |
| 속도 차이 | 기준 | 약 18.5배 빠름 |
| 평가 규모 | 문서 10,510건·질문 4,010개(10개 문서군) | 동일 |
| 학습에 쓴 데이터 | - | 질문-페이지 쌍 118,695개 |

결과만 보면 사진을 그대로 읽는 방식이 기존 문자인식 후 검색 방식보다 높은 정확도를 보였다. 정확도 지표인 NDCG@5가 기존 방식은 66.1~67.0이었지만 사진을 그대로 읽는 방식은 81.3이었다.

처리 속도에서도 차이가 있었다. 페이지당 7.22초가 걸리던 기존 방식에 비해 사진을 그대로 읽는 방식은 0.39초가 걸려 약 18.5배 빨랐다.

## 그런데 왜 아직 사진만 올려도 된다고 하지 않나?

핵심은 사진의 상태다. 실험에서는 화질이 인쇄물 스캔 수준인 300ppi 이상이면 사진을 그대로 읽는 AI와 기존 문자인식의 정확도가 비슷했다.

반대로 150ppi 미만에서는 사진을 그대로 읽는 AI의 정확도가 기존 문자인식보다 낮아졌다. 휴대전화로 찍은 사진은 촬영 거리와 흔들림, 조명 반사 등에 따라 이런 조건을 쉽게 벗어날 수 있다.

다른 실험에서도 사진 속 글자를 읽는 정확도는 상황에 따라 차이가 났다. 챗GPT 계열 모델의 사진 문자 인식 평균 정확도는 76.22%였고, 정돈된 법률·교육 문서에서는 약 84%까지 올라갔다.

| 조건 | 결과 |
|---|---|
| 화질 300ppi 이상(인쇄물 스캔 수준) | 사진 인식 AI와 기존 문자인식 정확도 비슷 |
| 화질 150ppi 미만(휴대전화 촬영 다수) | 사진 인식 AI 정확도가 기존 문자인식보다 낮아짐 |
| 챗GPT 계열 사진 문자 인식 평균 정확도 | 76.22% |
| 정돈된 법률·교육 문서 정확도 | 약 84% |
| 손글씨·복잡한 배경 사진 | 평균보다 낮음(구체 수치 미공개) |

손글씨나 복잡한 배경이 있는 사진에서는 평균보다 낮은 결과가 나왔다. 즉, AI가 사진 속 글자를 읽을 수 있다는 것과 사진 속 정보를 항상 정확하게 읽는다는 것은 다른 이야기다.

## 네이버도 사진 속 글자를 읽고 있나?

네이버도 스마트렌즈에 문자인식과 번역 기술을 적용하고 있다. 사진을 찍거나 올리면 사진 속 사물과 글자, 장소를 인식해 관련 정보를 보여주는 방식이다.

다만 사진 속 글자를 얼마나 정확하게 읽는지, 얼마나 많은 사람이 사용하는지에 대한 구체적인 수치는 공개돼 있지 않다. 따라서 국내에서 사진 인식 기술이 어느 정도까지 왔는지를 네이버의 공개 수치만으로 판단하기는 어렵다.

## 그럼 가게 메뉴판은 사진으로만 올려도 되나?

지금은 그렇게 하는 것보다 사진과 글자를 함께 올리는 편이 안전하다. 메뉴판이나 가격표 사진을 올리고, 같은 내용을 메뉴명과 가격으로 별도의 텍스트로 적어 두는 방식이다.

이렇게 하면 사진의 글자를 AI가 정확하게 읽지 못하는 상황에서도 텍스트로 된 정보가 남는다. 특히 가격은 오래된 사진에 적혀 있는 내용보다 최신 정보를 글자로 갱신해 두는 편이 안전하다.

| 상황 | 지금 권장 방식 |
|---|---|
| 메뉴판·가격표를 사진 한 장으로만 게시 | 사진 + 메뉴명·가격을 별도 텍스트로 병행 |
| 조명 반사·흐린 화질의 사진 | 화질을 높이거나 텍스트로 보완 |
| 오래된 가격표 사진이 남아 있는 경우 | 최신 가격을 텍스트로 갱신 |
| 손글씨 메뉴판 | 정자체 텍스트본 별도 게시 |

사진 속 글자를 AI가 읽는 기술은 앞으로도 좋아질 가능성이 있다. 하지만 지금의 기술 수준에서는 사진의 해상도와 촬영 조건에 따라 정확도가 달라지므로, 사진만으로 모든 정보를 전달하는 것보다 사진과 글자를 함께 제공하는 방식이 더 안전하다.

결국 처음의 질문으로 돌아가면 된다. 사진만 찍어도 AI가 거의 모든 글자를 읽어주는 시대는 기술적으로 가까워지고 있지만, 아직 사진이 글자를 완전히 대신한다고 볼 단계는 아니다.

요점 ① 구글 렌즈는 월 200억 건, AI 모드는 월간 사용자 10억 명을 넘겼다 ② 사진을 그대로 읽는 모델은 정확도 81.3, 기존 방식은 66.1~67.0이었다 ③ 150ppi 미만에서는 사진 인식 AI 정확도가 기존 문자인식보다 낮아졌다 ④ 챗GPT 계열 사진 문자 인식 평균 정확도는 76.22%, 정돈된 문서는 약 84%였다

## 같이 읽을 글

 

- 사진이 많은데 AI는 왜 스타일을 모를까?

- 구글 AI 검색 20억 명, 동네 가게도 신경 써야 할까?

- 네이버 검색이 AI 답변 중심으로 바뀌면 가게는 무엇을 준비해야 하나?

- AI가 홈페이지 글을 다 고쳐 주면 사람은 안 써도 될까?
 

## 자료 출처

 

- 구글 공식 블로그(2024.10, 렌즈 월 200억 건·성장세 발표)

- 서치엔진저널(2026.5, 구글 I/O 인용, AI 모드 10억 명·이미지 검색 40%↑·이미지 생성 3배·멀티모달 6분의1)

- 사진을 그대로 읽어 문서를 찾는 모델 실험(아카이브 2024.7, 비도레 벤치마크 문서 10,510·질문 4,010개)

- 비도레 벤치마크 평가 코드(일리앙 연구팀 공개)

- 사진 속 문자인식 정량 평가 실험(아카이브 2023.10, 평균 정확도 76.22%)

- 화질(ppi)에 따른 문자인식 정확도 실험(아카이브 2025.3)

- AI타임스(네이버 스마트렌즈 이미지 속 문자·상품 인식 고도화)

- 메뉴판 등록 시 사진·텍스트 병행 권장 실무 가이드