본문 바로가기

전체 글225

[python 오류] HTTP Error 403 : Forbidden 오류 해결 방법 문제 상황이미지를 다운로드 하는 코드에서 아래와 같은 오류 메시지가 떴다.urllib.error.HTTPError: HTTP Error 403: Forbidden 이 오류는 서버가 연결을 거부해서 생긴 오류이다. '너 사람 아니지? 너 로봇(컴퓨터)지?' 라고 의심하고 연결을 거부해서 생긴 오류이다. 문제 해결로봇(코드)로 접근한 것이 아니라, 사람이 접근한 것처럼 해야 한다.그러기 위해 추가적으로 코드를 삽입한다. ➀ headers을 추가한다. [Selenium 라이브러리를 사용할 경우]opener = urllib.request.build_opener() opener.addheaders = [('User-Agent', 'Mozila/5.0')] # 나 Mozila 을 통해서 접속했어. 기계 아니야.ur.. 2025. 8. 30.
[python 오류] urllib.error.URLError: 오류 해결하기 문제 상황구글 이미지 크롤링 도중 아래와 같은 오류 메시지가 떴다.urllib.error.URLError: 문제 해결크롤링(웹 스크래퍼) 도중 SSL 오류의 경우 대부분 해당 이미지가 사이트에서 크롤링하지 못하도록 막은 것이다. 즉, 굳이 사용을 하더라도 문제가 될 수 있으므로 이런 이미지는 예외 처리를 하는 것이 현명하다. ➀ try - except 구문을 통한 예외처리를 진행한다.문제가 생긴 코드에 try-except 구문을 넣는다.try: urllib.request.urlretrieve(bigimg_src, f'구글 이미지 크롤링/{search}/{search}_{i}.jpg') # 오류 발생이 예상되는 코드except: # 오류 발생 시는 해당 이미지를 다운로드 하지 않는다. pass 2025. 8. 30.
파이썬 배포 파일 만들기 : exe 파일 배포 방법 (Feat. 크롤링 프로그램 배포) 문제 상황파이썬(.py)으로 작성한 소스코드의 파일들을 프로그램(.exe)으로 배포하고 싶다. 배포해서 파이썬 프로그램이 설치되지 않은 일반 사용자들도 사용하게끔 프로그램 형태로 배포하고 싶을 때 사용한다. 문제 해결pyinstaller 라이브러리를 사용하여 배포한다.➀ Visual Studio Code을 키고 터미널을 킵니다.[Terminal] > [New Terminal] ➁ 터미널에서 pyinstaller 라이브러리를 설치해줍니다.pip install pyinstaller 명령어를 터미널에 입력해줍니다. ➂ 정상적으로 pyinstaller 라이브러리가 설치되었는지 확인합니다.'Successfully installed ~~~' 가 있으면 정상적으로 설치 된 것입니다. ➃ 배포할 파이썬 파일의 경로를 .. 2025. 8. 30.
[python 오류] AttributeError: partially initialized module 'requests' has no attribute 'get' 오류 해결 문제 상황작성한 크롤링 코드도 틀린 것이 없고, UTF-8 방식으로 잘 설정하였다. 그럼에도 아래 오류 메시지가 나타났다.AttributeError: partially initialized module 'requests' has no attribute 'get' (most likely due to a circularimport) 문제 해결파일명과 모듈명이 같은 경우에 발생하는 문제이다.파일명을 바꿔주면 된다.파일 이름이 requests.py 와 같이 특정 라이브러리명 이름으로 지정하지 않는 것이 좋다. 2025. 8. 30.
[웹 크롤링] 자바스크립트 페이지의 url 찾는 방법 (a href="javascript:") 문제 상황아래 사진에서 영상의 URL 링크를 가져와야 한다.영상을 가져오려면 element에서 href 요소의 값을 추출하면 된다. 그런데 해당 요소의 href 속성 값이 javascript: 로 되어 있다.그래서 이 방법으로는 URL을 추출할 수 없었다. 문제 해결➀ F12 (개발자 도구)를 켜서 [NetWork] 탭에서 [XHR]을 선택한다.➁ 일일이 [Headers] 탭에서 [General] > [Request URL] 에 있는 url에 접속해보면서 원하는 데이터가 있는 부분을 찾아 야 한다.➂ url에 접속하면 다음과 같은 json 형태의 데이터가 나온다. 원하는 데이터가 나올 때까지 모두 url을 들어가보면서 찾아야 한다. ➃ 원하는 URL을 찾았다면 해당 JSON 데이터를 파싱하여 원하는 데.. 2025. 8. 30.

티스토리툴바