[Java] 크롤링 1

1. Java  URL 에서 제공하는 방식

String domain = "http://google.co.kr";

try{
	URL u = new URL(domain); // (1)
    	HttpURLConnection con = (HttpURLConnection) u.openConnection(); // (2)
        System.out.println(conn.getContentType());        
}catch(MalformedURLException e){
	System.out.println(e);
}catch(IOException e){
	System.out.println(e);
}

2. Jsoup 방식

 

		String domain = "http://google.co.kr";
		Document doc = null;        //Document에는 페이지의 전체 소스가 저장된다

		try {
			doc = Jsoup.connect(domain).get();
		} catch (IOException e) {
			e.printStackTrace();
		}

 

3. Selenium. 방식의 

	
    public static final String WEB_DRIVER_ID = "webdriver.chrome.driver"; //드라이버 ID
	public static final String WEB_DRIVER_PATH = "C:\\chromedriver.exe"; //드라이버 경로
		//드라이버 설정
		try {
			System.setProperty(WEB_DRIVER_ID, WEB_DRIVER_PATH);
		} catch (Exception e) {
			e.printStackTrace();
		}
		
		//크롬 설정을 담은 객체 생성
		ChromeOptions options = new ChromeOptions();
		//브라우저가 눈에 보이지 않고 내부적으로 돈다.
		//설정하지 않을 시 실제 크롬 창이 생성되고, 어떤 순서로 진행되는지 확인할 수 있다.
		options.addArguments("headless");
		
		//위에서 설정한 옵션은 담은 드라이버 객체 생성
		//옵션을 설정하지 않았을 때에는 생략 가능하다.
		//WebDriver객체가 곧 하나의 브라우저 창이라 생각한다.
		WebDriver driver = new ChromeDriver(options);
		
		//이동을 원하는 url
		String url = "https://www.naver.com";
		
		//WebDriver을 해당 url로 이동한다.
		driver.get(url);

 

 

각각 장점과 단점.