티스토리 뷰
@ 많이 공유해주세요 @네이버 서치어드바이저 등록을 하는데 robots.txt 파일이 존재하지 않습니다라고 나오면 당황스럽죠? 여러 방식이 있습니다만 가장 간단한 방법을 아주 쉽게 알려드리겠습니다.
robots.txt 란?
검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안입니다. 이 파일은 사이트의 루트 디렉터리에 위치해야 하며 텍스트 파일 (text/plain)로 접근이 가능해야 합니다.
그러니까 robots.txt 파일이 없다면 글을 써도 로봇이 읽어가지 않기 때문에 꼭 rss, sitemap.xml과 함께 꼭 적용해줘야 합니다.
① 네이버 서치어드바이저 '웹마스터 도구'를 클릭합니다.
👇
② 간단체크를 눌러 '이곳에 url을 입력해 주세요'라는 부분에 본인의 url주소를 예시와 같이 넣어줍니다. 예를 들어 하위도메인일 경우 보안이 설정된 'https://aaa.lalala.com'과 같이 넣어줍니다. 여기서 https://를 넣어야지 http://를 넣으면 안 됩니다.
👇
👇
③ 아래와 같이 결과가 나오는데요. robots.txt가 존재하지 않습니다로 나옵니다. 당황스러우시죠? 네이버 로봇이 차단되었다는 건데요. 네이버 로봇이 수집할 수 있도록 허용만 해주면 해결되는 겁니다.
가장 간단한 방법
네이버 서치어드바이저 robots.txt을 하는 방법에는 여러 가지가 있습니다. 코드 갖다 붙여라, 파일 업데이트하라는 등의 방법을 제시하지만 별 효과가 없었습니다. 네이버 서치어드바이저 로봇의 수집허용이 되지 않았습니다.
하지만 알면 쉽고 모르면 어려운 법입니다.
제일 간단한 방법을 먼저 해보시기 바랍니다. 초록으로 표시된 '수집요청' 버튼을 누릅니다. 그러면 비어있던 공란에 오른쪽과 같이 코드가 자동으로 심어집니다. 이게 끝입니다. 네이버 서치어드바이저 로봇에게 해당사이트의 글을 수집해 가라고 허용된 겁니다.
👇
정확하게 확인해 볼까요? 상단에 사이트 '간단체크' 해봅니다. url 검색결과 : 네이버 검색로봇이 사이트에 접근해 정보를 수집할 수 있습니다라고 나옵니다.
마치며
네이버 서치어드바이저에 검색 등록할 때, rss 등록, sitemap.xml 등록은 당연히 꼭 하셔야 합니다. 그러고 나서 검색 등록 시 나올 수 있는 가장 흔한 오류 robots.txt에 대한 해결방법을 알려드렸습니다. 어렵게 파일 업로드 하지 말고 쉽게 쉽게 하는 것이 잘하는 것입니다.
★ 네이버 서치어드바이저 rss 등록하는 방법
★ 네이버 서치어드바이저 sitemap.xml 등록하는 방법