비박스(bWAPP) A5 Robots File

이 도구를 이용하여 허용받지 않은 서비스 대상으로 해킹을 시도하는 행위는 범죄 행위입니다. 해킹을 시도할 때에 발생하는 법적인 책임은 그것을 행한 사용자에게 있다는 것을 명심하시기 바랍니다.
 

A5 - Robots File

 

robots.txt 파일은 페이지에 대한 접근 권한을 설정하는 파일로, 웹 크롤러의 접근 범위를 설정할 수 있습니다.

 

</robots.txt 형식>

User-agent : * --> 검색로봇을 설정, *은 모든 로봇을 의미
Allow:/폴더명/ --> 지정된 폴더에 대한 접근을  허용
Disallow:/폴더명/ --> 지정된 폴더에 대한 접근을 거부

User-agent: * Disallow: /	모든 검색로봇에 대해 웹사이트 접근 차단
User-agent: Googlebot User-agent: bingbot Allow: /	Googlebot, bing 검색로봇에 대해 웹사이트 전체 접근허용
User-agent: * Disallow: /cgi-bin/ Disallow: /service/	모든 검색로봇에 대해 /cgi-bin, /service 디렉터리 접근 차단
User-agent: Googlebot Disallow: /wp-content/index.php	Google 검색로봇에 대해 /wp-content/index.php 페이지 접근 차단

 

sm_robots.php

sm_robots.php 페이지를 살펴보면 robots에 대하여 정의되어 있습니다. 위에 표를 확인하여 어떤 내용인지 살펴보시기 바랍니다.

 

/admin/ 페이지

robots.txt 파일 내에 노출된 /admin 디렉토리에 접근하면 관리자 페이지에 인증 과정 없이 직접 접근할 수 있고, 해당 페이지에는 관리자 계정 및 정보들이 노출되고 있는 것을 확인할 수 있습니다.

 

robots.txt 파일은 외부에서 크롤링이나 정보 노출을 방어하는 데 사용하고 있지만, 페이지에서 인증처리를 먼저 해주지 않는다면 역으로 공격을 당할수 있습니다.

 

하지만 무조건 robots.txt 파일을 이용하여 모든 디렉토리를 막는 것은 마케팅 및 홍보 차원에서 효과적이지 않습니다. 쇼핑몰 및 서비스를 하는 회사 입장에서는 많은 사람에게 회사를 알려야 하고, 검색 서비스를 통하여 많은 사람이 회사 페이지에 방문하게 해야 합니다. 그런데 검색 서비스에서 모든 것을 막아 버린다며 회사 입장에서는 큰 영향을 받을 수 있습니다. robots.txt 파일을 적용할 때에는 디렉터리에 대한 접근 권한 및 웹 애플리케이션 대응방안을 적용하여 기본적인 대응을 먼저 한 후에 광고 효과를 고려하여 추가 방안을 적용해야 합니다.