[Phtyhon & Crawling] 업무자동화 이미지 스크래퍼 만들기

https://www.youtube.com/watch?v=1b7pXC1-IbE 

본 작성문은 해당 영상을 참조해서 만들었습니다.

 

# selenium 라이브러리를 기본적으로 import
from selenium import webdriver
from selenium.webdriver.common.keys import Keys



#이미지 저장간 딜레이를 줘서 원활하게 파일이 저장 되도록 time 라이브러리 import
import time 

#urllib은 이미지를 저장하기 위해서 import해줬다.
import urllib.request

 

driver 변수 안에는 내가 사용한 webdriver가 크롬임을 정의해준다. 

driver.get 안에는 내가 수집할 정보가 있는 url을 넣어준다. 

elem = driver.find_element_by_name > "q"라는 이름으로 값을 입력 받고 싶을때 사용한다.

elem.send_keys > 입력하고 싶은 값 or key들을 설정할 수 있다.

 

driver = webdriver.Chrome()
driver.get("https://www.google.co.kr/imghp?hl=ko&tab=ri&ogbl")
elem = driver.find_element_by_name("q")
elem.send_keys("수집하고 싶은 이미지 주제")
elem.send_keys(Keys.RETURN)

> Chrome으로 드라이버를 실행시키고 해당하는 url을 실행시켜서 검색할 수 있는 속성을 찾아서 해당하는 텍스트를 입력하고 엔터를 칠거야 ( 컴퓨터 ) 

여기서 q값은 어디서 찾냐면 크롬같은 경우 F12를 눌러 개발자 도구를 지원한다.

개발자 도구에서 왼쪽상단에 마우스 모양의 도구가 있는데 해당 툴을 선택한 상태로 내가 찾고 싶은 지점을 

클릭하면 속성값을 볼 수 있다.

name값으로 있는 "q"

 

SCROLL_PAUSE_TIME = 1

# 스크롤 길이를 가지는 변수
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # 스크롤을 끝까지 내린다.
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # 스크롤 로드 대기
    time.sleep(SCROLL_PAUSE_TIME)

    
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
    # 스크롤의 끝지점과 길이가 일치하면 실행하는 if문
        try:
        #mye4qd는 q를 찾아냈을때와 마찬가지로 스크롤이 끝난 뒤에도 결과 더보기가 있기 때문에
        #그 버튼을 클릭하기 위한 버튼.
            driver.find_element_by_class_name(".mye4qd").click()
        except:
            break
    last_height = new_height
    
#elements와 element는 다르다 elements는 기본적으로 배열 형태로 값을 받는다. = 여러값이 들어감
images = driver.find_elements_by_css_selector(".rg_i.Q4LuWd")

count = 1

#image마다 클릭을 한뒤. 해당 이미지의 url을 복사해 이미지 파일로 저장하는 형태의 for문 .
for image in images:
    try:
        image.click()
        time.sleep(3)
        img_url = driver.find_element_by_css_selector(".n3VNCb").get_attribute("src")
        urllib.request.urlretrieve(img_url,str(count) + "test.jpg")
        count += 1 
    except:
        pass