Python23 [Python] config.json 사용해서 민감한 정보 가리기 사용 이유API Key나 토큰, URL, 주소 등 민감한 정보를 그대로 노출하여 Github에 올릴 경우 보안 이슈가 발생할 수 있다. 필자는 디스코드 공지사항 봇을 만들면서 디스코드 봇 아이디 정보가 노출이 되면 안되므로 봇 아이디를 숨기기 위해 config.json에 넣어 숨기기로 결정했다. 많은 데이터가 들어가지 않는 경우에는 config.json 에 넣고 숨기면 된다. config.json 을 이용해서 숨기는 방법1. config.json 파일을 만든다.config.json 파일을 만들어 숨길 데이터를 객체 형태로 넣어놓는다.예를 들어 숨길 데이터의 변수 이름이 "discord_id" 이고 값이 "583014" 인 것과,변수 이름이 "gcp_user_agent_path" 이고 값이 " /home/.. 2024. 12. 11. requirements.txt 만들기 (설치된 패키지 정보 파일 만들기) requirements.txt?설치된 패키지 정보를 requirements.txt 파일을 만들어 볼 수 있다.이걸로 새로운 가상환경을 생성할 때 한 번의 명령어로 requirements.txt 파일에 있는 패키지를 설치할 수 있다. 방법1. requirements.txt 파일 만들기pip freeze > requirements.txt만약 selenium==4.23.1 이런 형태가 아니라, selenium @ file://~~~ 이런 형태로 @ file 이 붙어서 나오는 경우 아래 명령어를 사용하면 된다.pip list --format=freeze > requirements.txt 2. requirements.txt 파일로 패키지 설치하기다른 가상 환경이나 컴퓨터에서 requirements.txt 에 .. 2024. 12. 11. json으로 제공되는 데이터 크롤링하기 (API 데이터 크롤링하기) 크롤링 요구사항고방 사이트에서 '쉐어하우스' 에 올라온 집 정보들이 필요했다.https://m.gobang.kr/share 사이트에서 서울에 있는 모든 정보를 크롤링해야 한다. 문제 해결 방안일반 크롤링 방식으로는 절차가 복잡하고 데이터도 많아 어려워 보였다.따라서 API를 통해 GET 요청 받은 데이터를 크롤링 하기로 결정하였다. 1) 개발자 도구의 Network 탭에서 방들의 정보가 담긴 JSON 파일을 찾는다.팁이 있다면, Fetch/XHR 에서 찾을 수 있다. 사이트를 들어가보면 아래와 같이 뜬다.그런데 해당 페이지는 스크롤을 내리기 전까지 아래에 있는 데이터를 가져오지 않았다.그래서 새로운 요청이 또 있을 것이라고 판단! 새로 생긴 것의 api 주소를 보니 미세하게 다른 것이 있었다.[처음 화면.. 2024. 9. 22. [Python] 크롤링한 데이터 DB에 저장하기 목표- 크롤링한 데이터들을 mysql의 데이터베이스에 데이터를 넣는다. 준비물- mysql이 설치 되어 있어야 한다.mysql 계정은 root, 비밀번호는 1234 라고 가정한다. 방법1. 명령 프롬프트(cmd)를 킵니다. 2. 아래 명령어로 데이터베이스를 생성합니다.mysql -u root -p # root 계정으로 접속CREATE DATABASE dabang_data; # dabang_data DB 생성show databases; # DB 조회 3. Python에서 mysql을 접속합니다. 그리고 테이블을 생성합니다.- 터미널에서 mysqlclient 라이브러리 설치 (Python으로 mysql에 접속을 도와주는 라이브러리)pip install mysqlclient - Python 코드에서 mysql.. 2024. 9. 22. 이전 1 2 3 4 ··· 6 다음
