SpringBoot robots.txt 적용

구글 검색에서 제외하고 싶거나 

혹은 검색에 나오도록 하고 싶은 경우 robots.txt를 사용한다. 

 

네이버를 이용하거나 구글을 이용해서 작성할 수 도 있다. 

네이버 

searchadvisor.naver.com/guide/seo-basic-robots 

robots.txt 설정하기

구글 

search.google.com/search-console/welcome

Google Search Console

가이드 문서 

developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=ko

 

 

사이트를 내소유로 등록하기 애매한 상황에서 내가 구현한 방법 

Controller

java profile를 이용해서 환경별로 다르게 적용되도록 했다.

    
    
    import org.springframework.beans.factory.annotation.Value;
    
    // -------------------------------------------- 
    @Value("${spring.profiles.active}") private String profile;
    
    
    @ResponseBody
    @GetMapping("/robots.txt")
    public String robots(HttpServletRequest request) {
    	logger.info("ROBOTS.TXT 페이지 호출  ");
    	logger.info("SERVER TYPE ................. [ "+ profile + " ]");
    	if(!profile.equals("production")) {
    		return "User-agent: *\n" +
    		        "Disallow: /\n";
    	}else { 
    		return "User-agent: *\n" +
    		        "Disallow: /svcdrop/request\n";
    	}
  }