[ Data Crawling ] 이번 포스팅은 동적 웹페이지를 크롤링할 때, 꼭 사용하게될 implicitly_wait()와 WebDriverWait()에 대해서 포스팅을 하도록 하겠습니다. ※ 해당 포스팅은 Chrome browser 기준으로 진행하였습니다. [ Import Library ] import chromedriver_autoinstaller from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC [ C..

[ Data Crawling ] 이번 포스팅은 Selenium을 이용하여 element에 값을 보내고 element를 클릭하여 데이터를 읽어오는 방법에 대해서 포스팅을 진행하도록 하겠습니다. ※ 해당 포스팅은 Chrome browser 기준으로 진행하였습니다. 이번 포스팅을 하기전 아래 링크를 참고하시면 이해에 도움이 될 수 있습니다. https://mr-doosun.tistory.com/37 [Selenium] Element를 이용하여 Text 데이터 가져오기 (온도 데이터 가져오기) [Data Crawling] [2] [ Data Crawling ] 이번 포스팅은 Web에서 Text 데이터를 읽어오는 방법에 대해서 포스팅을 하겠습니다. ※ 해당 포스팅은 Chrome browser 기준으로 진행하였습니..

[ Data Crawling ] 이번 포스팅은 Web에서 Text 데이터를 읽어오는 방법에 대해서 포스팅을 하겠습니다. ※ 해당 포스팅은 Chrome browser 기준으로 진행하였습니다. 이번 포스팅의 코드는 아래 링크의 코드를 활용하였습니다. [Selenium] Python Web Crawling 위한 Browser 세팅하기 [Data Crawling] [1] [ Data Crawling ] 이번 포스팅은 Data 수집 방법인 웹 크롤링에 대해서 포스팅을 할 것이고, 많은 웹 크롤링 방법중 Selenium을 활용하여 데이터 수집하는 방법에 대해서 포스팅을 하겠습니다. Selenium은 mr-doosun.tistory.com [ 설명 ] 예제로 Naver에 온도데이터를 가져오도록 하겠습니다. Ctrl+..

[ Data Crawling ] 이번 포스팅은 Data 수집 방법인 웹 크롤링에 대해서 포스팅을 할 것이고, 많은 웹 크롤링 방법중 Selenium을 활용하여 데이터 수집하는 방법에 대해서 포스팅을 하겠습니다. Selenium은 동적인 웹 페이지 크롤링이나 브라우저를 이용한 웹페이지 제어를 할 수 있게 해주는 라이브러리 입니다. [ 설치 ] 우선 아래 pip를 활용하여 selenium을 설치해 줍니다 pip install selenium pip install chromedriver-autoinstaller 추가로 chromedriver-autoinstaller library를 추가로 설치하는 이유는, selenium은 browser driver를 이용해야 웹 크롤링을 할 수 있습니다. 만약, Chrome..