티스토리 구글 크롤링 색인 문제 해결

티스토리를 운영하면서 유입이 다음이나 카카오밖에 없는 것이 의아했다. 
구글서치콘솔에서 URL 검사를 해도 대부분의 페이지가 색인되지 않았고 
구글색인이 안되는 문제에 대해 티스토리 고객센터에 문의를 했다. 
하지만 답변은 
정상적으로 사이트맵 등록되어 있으니 문제없고 구글에서 크롤링을 아직 안해갔을 수 있으니 그저 기다리라는 답변이었다. 
하지만 그로부터 며칠이 지나도 여전한 현상. 
구글서치콘솔 -설정- 크롤링 재요청을 하면 여전히 아래와 같은 문제가 나타났다. 

구글-크롤링-문제

Crawl-delay : 20 ...
 
필요한 처방은

1. 불필요한 제한 제거: 현재 '/guestbook', '/m/guestbook', '/manage', '/owner', '/admin', '/search', '/m/search' 등 많은 경로가 차단되어 있습니다. 이 중 실제로 차단이 필요한 경로만 남기고 나머지는 제거하세요.
2. Allow 규칙 추가: 중요한 콘텐츠 페이지에 대해서는 명시적으로 'Allow' 규칙을 추가하세요.
3. User-agent 수정: 현재 'bingbot'에 대한 규칙만 있습니다. 구글봇을 위한 규칙을 추가하세요:
4. Sitemap 추가: robots.txt 파일 끝에 사이트맵 URL을 추가하세요:
5. Crawl-delay 조정: 현재 'Crawl-delay: 20'으로 설정되어 있는데, 이는 크롤링 속도를 매우 늦출 수 있습니다. 이 값을 줄이거나 제거하는 것을 고려해보세요.

 
이렇게 하라는데 티스토리에서는 robobts.txt  직접수정이 불가능한데, 어떻게 하라고???

티스토리에서는 robots.txt 파일을 직접 수정할 수 없지만, 메타 태그를 사용하여 검색 엔진 로봇의 동작을 제어할 수 있습니다. 이미지에서 보이는 robots.txt 파일의 내용을 변경하기 위해 다음과 같은 방법을 사용할 수 있습니다:

1. 티스토리 관리자 페이지에 로그인합니다.
2. '설정' > '플러그인' 메뉴로 이동합니다.
3. '메타 태그 등록' 기능을 찾아 클릭합니다.
4. 다음과 같은 메타 태그를 추가합니다:

 

 

 메타 태그 등록 화면에서 'name' 드롭다운 메뉴에 'property'라는 옵션만 보입니다. 이는 티스토리 시스템이 최근에 변경되었거나 특정 설정에 따라 제한된 옵션만 제공하고 있을 가능성이 있습니다.이런 경우 다음과 같이 진행해 보시기 바랍니다:

1. 'name' 드롭다운 메뉴에서 'property'를 선택합니다.
2. '이름을 입력하세요' 필드에 직접 'og:robots'를 입력합니다. (Open Graph 프로토콜을 사용)
3. '내용을 입력하세요' 필드에 'index, follow'를 입력합니다.
4. '메타 태그 추가' 버튼을 클릭하여 새로운 태그를 추가합니다.
5. 같은 방식으로 'property'를 선택하고 '이름을 입력하세요' 필드에 'og:googlebot'을 입력한 후, '내용을 입력하세요' 필드에 'index, follow'를 입력합니다.
   
   
   
   

 

 

일단 구글봇의 크롤링을 허용한 듯 하고 

다시 크롤링 재요청을 해보니 

 

이제는 정상작동한다~~~

 

 

 

구글-크롤링-요청

 
 
드디어 성공이다앗

단 이 방법은  Crawl-delay 를 조정할 수는 없다는.
그래도 일차관문은 넘었다.