본문 바로가기

전체 글237

파이썬 배포 파일 만들기 : exe 파일 배포 방법 (Feat. 크롤링 프로그램 배포) 문제 상황파이썬(.py)으로 작성한 소스코드의 파일들을 프로그램(.exe)으로 배포하고 싶다. 배포해서 파이썬 프로그램이 설치되지 않은 일반 사용자들도 사용하게끔 프로그램 형태로 배포하고 싶을 때 사용한다. 문제 해결pyinstaller 라이브러리를 사용하여 배포한다.➀ Visual Studio Code을 키고 터미널을 킵니다.[Terminal] > [New Terminal] ➁ 터미널에서 pyinstaller 라이브러리를 설치해줍니다.pip install pyinstaller 명령어를 터미널에 입력해줍니다. ➂ 정상적으로 pyinstaller 라이브러리가 설치되었는지 확인합니다.'Successfully installed ~~~' 가 있으면 정상적으로 설치 된 것입니다. ➃ 배포할 파이썬 파일의 경로를 .. 2025. 8. 30.
[python 오류] AttributeError: partially initialized module 'requests' has no attribute 'get' 오류 해결 문제 상황작성한 크롤링 코드도 틀린 것이 없고, UTF-8 방식으로 잘 설정하였다. 그럼에도 아래 오류 메시지가 나타났다.AttributeError: partially initialized module 'requests' has no attribute 'get' (most likely due to a circularimport) 문제 해결파일명과 모듈명이 같은 경우에 발생하는 문제이다.파일명을 바꿔주면 된다.파일 이름이 requests.py 와 같이 특정 라이브러리명 이름으로 지정하지 않는 것이 좋다. 2025. 8. 30.
[웹 크롤링] 자바스크립트 페이지의 url 찾는 방법 (a href="javascript:") 문제 상황아래 사진에서 영상의 URL 링크를 가져와야 한다.영상을 가져오려면 element에서 href 요소의 값을 추출하면 된다. 그런데 해당 요소의 href 속성 값이 javascript: 로 되어 있다.그래서 이 방법으로는 URL을 추출할 수 없었다. 문제 해결➀ F12 (개발자 도구)를 켜서 [NetWork] 탭에서 [XHR]을 선택한다.➁ 일일이 [Headers] 탭에서 [General] > [Request URL] 에 있는 url에 접속해보면서 원하는 데이터가 있는 부분을 찾아 야 한다.➂ url에 접속하면 다음과 같은 json 형태의 데이터가 나온다. 원하는 데이터가 나올 때까지 모두 url을 들어가보면서 찾아야 한다. ➃ 원하는 URL을 찾았다면 해당 JSON 데이터를 파싱하여 원하는 데.. 2025. 8. 30.
대용량 네이버 뉴스 기사 크롤링 프로그램 만들기 요구사항네이버 뉴스 페이지에서 11개 언론사의 기사 정보를 2022-02~2023-11까지 추출하여 엑셀에 저장한다.단, 매일 최다 조회수를 기록한 20개 기사를 크롤링한다.총 수집해야 하는 기사 수 : 647일분의 뉴스 기사 * 당일 최다 조회수인 20개 뉴스 기사 * 11개 언론사 = 약 142,340개 사이트 분석아래 사진처럼 뉴스 기사의 조회수 순위로 보여주는 페이지에서 url을 추출하여 각각의 url에 방문하면서 정보를 추출해야했다. 구현아래와 같이 3중 for문을 활용하여 구현하였으며, selenium을 사용하였다. 1번째 for문은 언론사(전주MBC, JIBS제주방송 ... ) 을 순회하였다. 2번째 for문은 날짜마다 기사를 순회하였다. (2022년 2월 1일 ~ 2023년 11월 31일).. 2025. 8. 30.
큐넷 대기열 뚫는 꿀팁 : 넷퍼넬(NetFunnel) 대기열 우회 문제 상황 큐넷 대기열을 바로 뚫을 방법이 없을까? 정보처리기사 필기, 실기 신청 첫 날 10시가 되면 원하는 시험 장소를 고르기 위해 많은 사람들이 몰린다.이번에도 약 15만명 정도가 한꺼번에 몰린 것 같다.대기열을 뚫는데 1~2시간을 기다려야 하는데, 여기에 시간을 허비하기 아깝다. 문제 해결➀ 신청 직전 페이지에서 F12 (개발자 도구)를 킨다.➁ Console 창으로 넘어가서 아래 명령어를 입력한다.NetFunnel.TS_BYPASS = true ➂ 이제 대기열로 막혔던 페이지가 뚫린다. 다른 페이지에도 응용하기수강신청 사이트, 코로나 백신 사이트, 코레일 기차 예매 등 대기열이 존재하는 대부분 사이트는 넷퍼넬(NetFunnel) 시스템을 사용한다. 아래 코드를 기억하자.NetFunnel.TS.. 2025. 8. 30.

티스토리툴바