구글 검색에서 제외하고 싶거나 

혹은 검색에 나오도록 하고 싶은 경우 robots.txt를 사용한다. 

 

네이버를 이용하거나 구글을 이용해서 작성할 수 도 있다. 

네이버 

searchadvisor.naver.com/guide/seo-basic-robots 

 

robots.txt 설정하기

robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안입니다. robots.txt 파일은 항상 사이트의 루트 디렉터리에 위치해야 하며 로봇 배제 표준을 따

searchadvisor.naver.com

구글 

search.google.com/search-console/welcome

 

Google Search Console

하나의 계정으로 모든 Google 서비스를 로그인하여 Google Search Console로 이동

accounts.google.com

가이드 문서 

developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=ko

 

 

사이트를 내소유로 등록하기 애매한 상황에서 내가 구현한 방법 

Controller

java profile를 이용해서 환경별로 다르게 적용되도록 했다.

    
    
    import org.springframework.beans.factory.annotation.Value;
    
    // -------------------------------------------- 
    @Value("${spring.profiles.active}") private String profile;
    
    
    @ResponseBody
    @GetMapping("/robots.txt")
    public String robots(HttpServletRequest request) {
    	logger.info("ROBOTS.TXT 페이지 호출  ");
    	logger.info("SERVER TYPE ................. [ "+ profile + " ]");
    	if(!profile.equals("production")) {
    		return "User-agent: *\n" +
    		        "Disallow: /\n";
    	}else { 
    		return "User-agent: *\n" +
    		        "Disallow: /svcdrop/request\n";
    	}
  }	

 

환경정보 

- STS, Gradle, JPA, QueryDSL 

 

프로젝트를 Import 받은 후 gradle Task에서 초기 설정을 진행했다. 

build -> clean 

build setup -> init -> wrapper

querydsl -> cleanQuerySourcesDir -> initQuerySourcesDir 

ide -> clean Eclipse -> eclipse

queryDsl 디렉토리는 생성되었으나 Q파일이 생성이 안된다.. 

프로젝트 우클릭! -> build path 를 확인해보니 아래와 같은 에러가 뜨고있다.

Build path contains duplicate entry: 'build/generated/querydsl' for project 'MyProject'

 

source 탭으로 이동해보니 

두개의 같은 path가 있다.. 

둘다 remove 후 다시 초기 설정을 실행해보니 잘 동작한다 

아무래도 초기설정을 하며 path가 두번 잡히게 된 부분이 있었나보다

 

+ Recent posts