검색로봇 방문 여부 관리를 위한 robot.txt 파일 설정
검색로봇 방문 여부 관리를 위한 robot.txt 파일 설정 안녕하세요. 예스투데이입니다. 오늘은 검색로봇에 대한 이야기입니다. 네이버, 구글과 같은 포털사이트는 인터넷 상에 있는 수많은 데이터를 찾고 판단하고 정리하여 사용자에게 필요한 데이터를 제공합니다. 그런 작업을 일일이 사람이 하면 좀 더 감성적으로 작업을 할 수 있겠지만, 하루에도 어마어마한 양의 데이터가 쏟아지는 현실을 고려하면 이 모든 작업을 사람이 직접 한다는 것은 불가능에 가깝습니다. 그렇기 때문에 각 포털사이트들은 로봇을 장만하여 이러한 작업을 시킵니다. 각 포털사이트를 대표하는 검색로봇들은 지금 이 순간에도 이 세상의 웹페이지, 블로그 등을 끊임없이 누비며 유용한 데이터를 찾고 기존 정보와 비교하여 유용성을 판단하고 목록화 하여, 데..
