업무 자동화(RPA)/Python | 웹 크롤링(Web Crawling)17 json으로 제공되는 데이터 크롤링하기 (API 데이터 크롤링하기) 크롤링 요구사항고방 사이트에서 '쉐어하우스' 에 올라온 집 정보들이 필요했다.https://m.gobang.kr/share 사이트에서 서울에 있는 모든 정보를 크롤링해야 한다. 문제 해결 방안일반 크롤링 방식으로는 절차가 복잡하고 데이터도 많아 어려워 보였다.따라서 API를 통해 GET 요청 받은 데이터를 크롤링 하기로 결정하였다. 1) 개발자 도구의 Network 탭에서 방들의 정보가 담긴 JSON 파일을 찾는다.팁이 있다면, Fetch/XHR 에서 찾을 수 있다. 사이트를 들어가보면 아래와 같이 뜬다.그런데 해당 페이지는 스크롤을 내리기 전까지 아래에 있는 데이터를 가져오지 않았다.그래서 새로운 요청이 또 있을 것이라고 판단! 새로 생긴 것의 api 주소를 보니 미세하게 다른 것이 있었다.[처음 화면.. 2024. 9. 22. [Python] 크롤링한 데이터 DB에 저장하기 목표- 크롤링한 데이터들을 mysql의 데이터베이스에 데이터를 넣는다. 준비물- mysql이 설치 되어 있어야 한다.mysql 계정은 root, 비밀번호는 1234 라고 가정한다. 방법1. 명령 프롬프트(cmd)를 킵니다. 2. 아래 명령어로 데이터베이스를 생성합니다.mysql -u root -p # root 계정으로 접속CREATE DATABASE dabang_data; # dabang_data DB 생성show databases; # DB 조회 3. Python에서 mysql을 접속합니다. 그리고 테이블을 생성합니다.- 터미널에서 mysqlclient 라이브러리 설치 (Python으로 mysql에 접속을 도와주는 라이브러리)pip install mysqlclient - Python 코드에서 mysql.. 2024. 9. 22. [Selenium 오류] Can not find chromedriver for currently installed chrome version. 오류 메시지아래와 같은 오류가 발생하였다.WARNING:root:Can not find chromedriver for currently installed chrome version.Message: unknown error: cannot connect to chrome at 127.0.0.1:8940from session not created: This version of ChromeDriver only supports Chrome version 122Current browser version is 128.0.6613.120문제 원인현재 chrome browser 버전과 chromedriver 버전이 차이가 나기 때문에 발생한 오류이다. 문제 해결 chrome browser 버전과 chromedriver .. 2024. 9. 10. [python selenium 오류] Message: session not created: cannot connect to chrome at 127.0.0.1:51257 from session not created: This version of ChromeDriver only supports Chrome version 128Current browser version is 127.0.6533.119 오류 어느 날 잘 되던 코드가 실행했을 때 다음과 같은 오류가 발생하였다. 이런 오류가 발생한 경우, 크롬의 버전이 새롭게 업데이트되어 생긴 오류이다.즉, 버전이 바뀌면서 크롬 드라이버와 크롬 브라우저 버전을 업그레이드 해야한다. 오류 메시지를 잘 보면 from session not created: This version of ChromeDriver only supports Chrome version 128 부분에서 알 수 잇듯 128 버전으로 업그레이드 하면 된다. Linux에서 크롬 드라이버를 최신 버전으로 업데이트 하는 방법은 아래와 같다. (Google Cloud Platform 기준)1) 기존 chromedriver 제거ls # 현재 디렉토리의 파일 조회rm -rf [파일 이름] # chromedri.. 2024. 8. 22. 이전 1 2 3 4 5 다음
