본문 바로가기

전체 글222

[python 오류] AttributeError: partially initialized module 'requests' has no attribute 'get' 오류 해결 문제 상황작성한 크롤링 코드도 틀린 것이 없고, UTF-8 방식으로 잘 설정하였다. 그럼에도 아래 오류 메시지가 나타났다.AttributeError: partially initialized module 'requests' has no attribute 'get' (most likely due to a circularimport) 문제 해결파일명과 모듈명이 같은 경우에 발생하는 문제이다.파일명을 바꿔주면 된다.파일 이름이 requests.py 와 같이 특정 라이브러리명 이름으로 지정하지 않는 것이 좋다. 2025. 8. 30.
[웹 크롤링] 자바스크립트 페이지의 url 찾는 방법 (a href="javascript:") 문제 상황아래 사진에서 영상의 URL 링크를 가져와야 한다.영상을 가져오려면 element에서 href 요소의 값을 추출하면 된다. 그런데 해당 요소의 href 속성 값이 javascript: 로 되어 있다.그래서 이 방법으로는 URL을 추출할 수 없었다. 문제 해결➀ F12 (개발자 도구)를 켜서 [NetWork] 탭에서 [XHR]을 선택한다.➁ 일일이 [Headers] 탭에서 [General] > [Request URL] 에 있는 url에 접속해보면서 원하는 데이터가 있는 부분을 찾아 야 한다.➂ url에 접속하면 다음과 같은 json 형태의 데이터가 나온다. 원하는 데이터가 나올 때까지 모두 url을 들어가보면서 찾아야 한다. ➃ 원하는 URL을 찾았다면 해당 JSON 데이터를 파싱하여 원하는 데.. 2025. 8. 30.
대용량 네이버 뉴스 기사 크롤링 프로그램 만들기 요구사항네이버 뉴스 페이지에서 11개 언론사의 기사 정보를 2022-02~2023-11까지 추출하여 엑셀에 저장한다.단, 매일 최다 조회수를 기록한 20개 기사를 크롤링한다.총 수집해야 하는 기사 수 : 647일분의 뉴스 기사 * 당일 최다 조회수인 20개 뉴스 기사 * 11개 언론사 = 약 142,340개 사이트 분석아래 사진처럼 뉴스 기사의 조회수 순위로 보여주는 페이지에서 url을 추출하여 각각의 url에 방문하면서 정보를 추출해야했다. 구현아래와 같이 3중 for문을 활용하여 구현하였으며, selenium을 사용하였다. 1번째 for문은 언론사(전주MBC, JIBS제주방송 ... ) 을 순회하였다. 2번째 for문은 날짜마다 기사를 순회하였다. (2022년 2월 1일 ~ 2023년 11월 31일).. 2025. 8. 30.
큐넷 대기열 뚫는 꿀팁 : 넷퍼넬(NetFunnel) 대기열 우회 문제 상황 큐넷 대기열을 바로 뚫을 방법이 없을까? 정보처리기사 필기, 실기 신청 첫 날 10시가 되면 원하는 시험 장소를 고르기 위해 많은 사람들이 몰린다.이번에도 약 15만명 정도가 한꺼번에 몰린 것 같다.대기열을 뚫는데 1~2시간을 기다려야 하는데, 여기에 시간을 허비하기 아깝다. 문제 해결➀ 신청 직전 페이지에서 F12 (개발자 도구)를 킨다.➁ Console 창으로 넘어가서 아래 명령어를 입력한다.NetFunnel.TS_BYPASS = true ➂ 이제 대기열로 막혔던 페이지가 뚫린다. 다른 페이지에도 응용하기수강신청 사이트, 코로나 백신 사이트, 코레일 기차 예매 등 대기열이 존재하는 대부분 사이트는 넷퍼넬(NetFunnel) 시스템을 사용한다. 아래 코드를 기억하자.NetFunnel.TS.. 2025. 8. 30.
파일 압축 풀기 오류 : "압축(ZIP) 폴더가 올바르지 않습니다." 해결 방법 문제 상황zip으로 압축된 파일을 압축 해제 하려고 하니 아래와 같은 경고 팝업이 뜬다.문제 원인➀ utf-8을 지원하지 않는 프로그램을 사용하여 압축해제 한 경우 - (1) 반디집이 깔려 있더라도 [압축 풀기] 를 통해서 단순히 압축 해제를 한 경우 - (2) 반디집이 아닌 일반적인 방법으로 압축 풀기를 한 경우 문제 해결반디집을 사용하여 압축 해제를 진행한다. ➀ 반디집 설치https://kr.bandisoft.com/bandizip/ 반디집 공식 홈페이지 · ALZ, EGG, 7Z, RAR 지원 무료 압축 프로그램지원 포맷 7Z, ACE, AES, ALZ, ARJ, BH, BIN, BR, BZ, BZ2, CAB, Compound(MSI), DAA(1.0), DEB, EGG, GZ, IMG, .. 2025. 8. 16.

티스토리툴바