한없이 가벼운 네이버 검색엔진 그 이후

한없이 가벼운 네이버 검색엔진 글에서 이어지는 내용입니다.

깃헙 페이지를 네이버에 등록한 후 여러 시도에도 결국 네이버 검색로봇은 제 사이트의 수집을 거부하고 있습니다. 심지어 수동으로 수집 요청을 해도 수집 보류가 발생하고 있습니다.

어떻게든 이 문제를 해결하고 싶었습니다. 남아있는 숙제는 SEO 최적화입니다. 그래서 이 문제들을 하나씩 해결해 보기로 했습니다.

최소에 시도했던 것은 Canonical Link 를 추가한 것이었지요. 사이트의 중복 URL이 없도록 표준 URL을 알려주는 것입니다. 중복 콘텐츠가 존재한다면 검색 봇의 거부는 타당성이 있을 수 있습니다.

<link rel="canonical" href="https://foo.bar/path" />

하지만 이것 하나 만으로는 수집 문제가 해결되지 않았습니다. 여전히 네이버는 수집 보류를 선언했습니다.

그다음으로 시도했던 것은 Description 메타 데이터를 추가하는 것입니다.

<meta name="description" content="blah blah" />

Description 은 이 페이지의 단순한 소개 정도의 내용을 담는 메타데이터입니다. 따라서 웹페이지의 내용 중 당연히 필수 요소는 아닙니다. 검색엔진은 페이지 전체의 내용을 인덱싱해야 정확한 검색이 가능합니다. 수집 문제의 원인으로써는 가능성이 떨어지는 것이지요. 하지만 저는 제 불편함과 시간을 투자해서 description을 몽땅 집어넣었습니다.

하지만 그 결과도 허탕입니다. 위처럼 수집 보류는 계속 발생하고 있습니다.

다른 요소들을 최적화하면 되는 것일까요?

그런데 잠깐 이상합니다. 문제가 있다면 이 사이트 최적화 항목에서 진단을 해서 알려줘야 합니다. 하지만 위처럼 아직 수집도 제대로 하지 않은 상황입니다. 그렇다면 수집 보류는 다른 이유인 것일까요?

수집 보류는 최적화와 관련이 있는 수도 있고 없을 수도 있습니다. 네이버는 이 오류를 공식적으로 아래처럼 설명하고 있거든요.

수집 보류는 접근이 불가능해서 발생하는 문제가 아닙니다. 수집 여부를 판단하기 어렵다는 굉장히 자의적이면서도 어이없는 이유 때문에 수집이 보류됩니다.

그렇다면 그 이유를 알려줘야 하는 것이 맞지 않을까요? 하지만 네이버는 명확한 이유에 대해서는 함구하고 있습니다. 

그 아래에 적힌 내용은 '스패머들에 의해 수집 요청이 악용되는 것을 막는다'는 이야기가 있습니다. 혹시 제 페이지가 스팸으로 분류된 것은 아니겠지요? 그렇든 아니든 하루에 50회로 제한된 수집 요청이 트래픽을 그만큼 일으킨다는 의미일까요? 고작 50회로 말인가요? DDoS가 어떤 수준의 트래픽을 유발하는지는 당연히 알고는 있겠지요? 좀 어이가 없습니다.

개인적으로는 수집 보류의 원인은 네이버 내부의 우선순위에 의한 것이라는 가정 하에 아래와 같이 추측하고 있습니다.

• 최적화 수준에 따라 수집 우선순위를 조절한다.
• 네이버 도메인의 경우 우선순위를 높인다.
• 네이버 도메인 바깥 사이트의 경우 우선순위를 낮춘다.
• 기타 레퍼러 정보 등을 종합하여 크롤링 할 가치(?)가 있어 보이는 경우 우선순위를 높인다.

따라서 제 사이트가 네이버 봇의 수집 요청을 받으려면 아마 시간이 더 필요하리라 예상하고 있습니다. 하지만 솔직히 기분은 좀 나쁘지요. 네이버는 옛날부터 남들을 배척하며 자신들만의 가두리 양식장을 운영해왔고 지금도 마찬가지라 생각되니깐요. 물론 순전히 개인의 추측일 뿐입니다.

뭐가 어쨌건 네이버의 한없는 가벼움이 또다시 느껴집니다.

반대로 구글의 중후함도 느껴봅시다. 페이지 랭크가 0에 수렴하는 신규 사이트의 사이트맵을 벌써 두 번이나 크롤링 해 갔습니다. 어디어디의 누구누구 검색엔진 흉내쟁이와는 완전히 다르지요.

이 글은 아래 글로 이어집니다.

네이버 검색봇이 드디어 일 하기 시작했다