검색엔진 원리, 크롤링·색인·순위 3단계로 이해하기

검색엔진은 세 단계를 거쳐 내 사이트를 찾는다. 웹을 돌아다니며 페이지를 수집하고(크롤링), 그 내용을 정리해 목록에 등록하고(색인), 검색어에 맞춰 순서를 매긴다(순위). 이 가운데 색인에 들지 못하면 아무리 공들여 만든 페이지라도 검색 결과에는 존재하지 않는 것과 같다. 원리를 알면 '왜 내 사이트가 안 뜨는지'를 단계별로 짚을 수 있다.

핵심 요약

• 크롤링은 검색엔진이 링크를 따라 웹을 돌며 페이지를 수집하는 단계다.
• 색인은 수집한 페이지를 검색엔진의 목록에 등록하는 단계다. 여기 빠지면 검색에 아예 안 나온다.
• 순위는 같은 검색어에 맞는 페이지들 사이에서 순서를 정하는 단계다.
• 구글과 네이버는 수집·색인 방식이 조금씩 달라, 두 곳에 각각 등록해두는 편이 안전하다.

크롤링 — 검색엔진이 웹을 돌며 페이지를 줍는다

크롤링은 검색엔진의 로봇(크롤러라고 부르는 자동 수집 프로그램)이 링크를 따라 웹을 돌아다니며 페이지를 읽어오는 단계다. 한 페이지에 걸린 링크를 타고 다음 페이지로, 또 그다음으로 옮겨 다니며 새 주소를 계속 찾아낸다.

그래서 어디에도 링크가 걸려 있지 않은 페이지는 크롤러가 길을 찾지 못해 지나칠 수 있다. 새로 만든 사이트가 한동안 검색에 안 보이는 이유도 대개 여기 있다. 크롤러가 아직 방문하지 않았을 뿐이다. 사이트맵(사이트의 주소 목록을 담은 파일)을 제출하면 크롤러에게 길을 안내해 방문을 앞당긴다. 구글이 크롤링과 색인을 어떻게 설명하는지는 구글 검색 센터의 안내에서 원문으로 확인할 수 있다.

색인 — 주운 페이지를 정리해 목록에 넣는다

크롤러가 읽어온 페이지가 곧바로 검색에 뜨지는 않는다. 검색엔진은 페이지의 제목과 본문, 이미지 정보를 분석해 '이 페이지가 무엇에 관한 글인지' 정리한 뒤 거대한 목록에 등록한다. 이 목록에 오르는 것을 색인이라고 한다.

이 단계가 특히 중요하다. 색인에 들지 못한 페이지는 검색창에 정확한 제목을 넣어도 나오지 않는다. 세상에 공개돼 있어도 검색엔진의 목록에는 없으니, 검색으로는 존재하지 않는 셈이다. 페이지에 검색 차단 설정이 걸려 있거나 내용이 너무 빈약하면 색인에서 빠지기도 하므로, 검색에 안 뜬다면 색인 여부부터 확인하는 게 순서다.

순위 — 검색어에 맞춰 순서를 매긴다

색인에 오른 페이지가 여럿이면, 검색엔진은 검색어와 가장 잘 맞는 순서대로 결과를 늘어놓는다. 이 순서를 정하는 일이 순위다. 페이지 내용이 검색어와 얼마나 맞닿아 있는지, 제목과 본문이 질문에 제대로 답하는지, 다른 사이트가 얼마나 인용하는지 같은 여러 신호를 종합해 자리를 매긴다.

순위는 한 번 정해지면 고정되는 값이 아니다. 새 페이지가 계속 색인에 들어오고 사용자 반응도 쌓이면서 순서는 늘 다시 계산된다. 그래서 처음에 뒤로 밀렸어도 내용을 다듬고 시간이 지나면 위로 올라오기도 한다. 검색 노출의 전체 그림은 SEO 뜻부터, 광고 없이 검색에 노출되는 원리에서 함께 보면 좋다.

구글과 네이버, 무엇이 다를까

국내에서는 검색엔진 두 곳을 함께 챙기는 편이 좋다. 구글과 네이버는 크게 보면 같은 3단계를 거치지만, 세부 방식과 결과 화면이 다르다. 아래 표로 차이를 간추렸다.

구분	구글	네이버
등록 도구	구글 서치 콘솔	네이버 서치 어드바이저
결과 구성	웹페이지 중심	블로그·카페 등 자체 서비스 비중이 큼
크롤링 성향	링크를 따라 폭넓게 수집	자체 서비스와 등록된 사이트를 우선
색인 요청	서치 콘솔에서 요청	서치 어드바이저에서 요청

표에서 보듯 두 곳은 페이지를 모으고 보여주는 방식이 달라, 한쪽에만 등록하면 다른 쪽 사용자를 놓치기 쉽다. 두 도구에 사이트를 각각 등록해두는 게 안전하다.

검색에 내 사이트를 올리려면

원리를 알면 할 일도 분명해진다. 크롤링·색인·순위 세 단계에 맞춰 다음 순서로 점검하면, 새 사이트도 검색에 자리 잡는 시간을 앞당긴다. 검색 유입을 어떤 숫자로 관리할지는 웹사이트 목표 설정, 막연한 바람을 숫자로 바꾸는 법에서 다뤘다.

1. 검색엔진 도구에 사이트를 등록한다. 구글 서치 콘솔과 네이버 서치 어드바이저에서 소유권을 확인하고 주소를 알린다.
2. 사이트맵을 제출한다. 페이지 주소 목록을 넘겨 크롤러가 빠짐없이 방문하도록 안내한다.
3. 색인 상태를 확인한다. 도구에서 주요 페이지가 색인에 들어갔는지 보고, 빠진 페이지는 색인을 요청한다.
4. 페이지 내용을 검색어에 맞게 다듬는다. 제목과 본문이 사용자의 질문에 답하도록 고치면 순위가 서서히 오른다.

가상 예시로 살펴보겠다. 새로 문을 연 공방이 홈페이지를 만들었는데, 2주가 지나도 상호로 검색해봐도 나오지 않았다. 확인해보니 검색엔진에 사이트를 등록한 적이 없어 크롤러가 방문하지 않은 상태였다. 서치 콘솔과 서치 어드바이저에 등록하고 사이트맵을 낸 뒤로, 며칠 만에 색인이 잡히고 상호 검색 첫 화면에 떴다. 오픈 직후 무엇부터 챙길지는 웹사이트 운영 시작, 오픈 뒤 성장 로드맵 4단계에서 이어 볼 수 있다.