크롤링4 [크롤링] 셀레니움_사용_1 난이도| ★☆☆☆☆ Google에서 파이썬 공식 홈페이지로 이동하기 # 모듈 import 하기 import pandas as pd import warnings warnings.filterwarnings('ignore') from selenium import webdriver from selenium.webdriver.common.action_chains import ActionChains from selenium.webdriver.common.keys import Keys import time # 경로, 드라이버, url 설정하기 # 경로 설정 path = 'C:\chromedriver_win32\chromedriver.exe' url = 'https://www.google.co.kr/' # 드라이버 설.. 2022. 4. 15. [크롤링] 셀레니움(Selenium)_다나와 크롤링하기 다나와 페이지를 사용해서 크롤링 연습하기 다나와 페이지 링크| http://www.danawa.com/ 여러 카테고리 중 PC견적 부분을 선택하여 이 부분을 크롤링할 것이고, 해당 페이지에서 PC주요부붐 중 CPU로, 각 제품을 클릭하여 그 안에 있는 제품 정보를 크롤링하여 데이터 프레임으로 만들어 csv파일로 내보내는 과정을 만들 것이다. 코드를 작성하면서 에러가 발생한 곳을 처리하면서 생각한 중요한 것 global 전역 변수를 잘 활용하고, 필요한 곳에 잘 넣어주기 작동하면서 시간 여유 잘 할당하기 driver.implicitly_wait(10) 보다는 time.sleep(1)이 더 나은 것 같다. url에 /robots.txt 을 붙여 제한되어있는지 확인하기 Allow : / -> 허용 Disall.. 2022. 4. 13. [크롤링] 셀레니움(Selenium)_사용방법 전체적인 모습from selenium import webdriver# 경로 설정path = 'C:\chromedriver_win32\chromedriver.exe' # 자신의 드라이버 위치로 설정url = '원하는 url 경로'# 드라이버 설정driver = webdriver.Chrome(path)driver.implicitly_wait(10) # seconds 기다리기# 경로 설정driver.get(url)driver.implicitly_wait(10) # seconds 기다리기#드라이버 끝내기driver.quit()from selenium import webdriver# 경로 설정path = 'C:\chromedriver_win32\chromedriver.exe' # 자신의 드라이버 위치로 설정url.. 2022. 4. 13. [크롤링] 셀레니움(Selenium)_설치방법 셀레니움(selenium) 파이어폭스, 인터넷 익스플로어, 크롬 등과 같은 브라우저를 컨트롤할 수 있게 해 준다. 설치하기 pip install selenium pip을 사용하여 selenium을 먼저 설치해준다. webdriver 셀레늄은 webdriver를 통해서 디바이스에 설치된 브라우저들을 제어할 수 있어서 설치를 해줘야 한다. Chrome WebDriver 많이 사용하는 크롬을 사용해보면, 우선 크롬 버전을 확인하고 그에 맞는 드라이버를 설치해야 한다. 크롬 버전 확인하기 크롬을 실행한 후, 우측 상단의 ⋮ 를 눌러 설정을 클릭한다. 고급의 Chrome 정보를 클릭하여 버전을 확인한다. (2022년 04월 13일 기준으로 100 버전) (2022년 07월 26일 기준으로 103 버전) 크롬 웹 .. 2022. 4. 13. 이전 1 다음
