본문 바로가기

전체 글225

대용량 네이버 뉴스 기사 크롤링 프로그램 만들기 요구사항네이버 뉴스 페이지에서 11개 언론사의 기사 정보를 2022-02~2023-11까지 추출하여 엑셀에 저장한다.단, 매일 최다 조회수를 기록한 20개 기사를 크롤링한다.총 수집해야 하는 기사 수 : 647일분의 뉴스 기사 * 당일 최다 조회수인 20개 뉴스 기사 * 11개 언론사 = 약 142,340개 사이트 분석아래 사진처럼 뉴스 기사의 조회수 순위로 보여주는 페이지에서 url을 추출하여 각각의 url에 방문하면서 정보를 추출해야했다. 구현아래와 같이 3중 for문을 활용하여 구현하였으며, selenium을 사용하였다. 1번째 for문은 언론사(전주MBC, JIBS제주방송 ... ) 을 순회하였다. 2번째 for문은 날짜마다 기사를 순회하였다. (2022년 2월 1일 ~ 2023년 11월 31일).. 2025. 8. 30.
큐넷 대기열 뚫는 꿀팁 : 넷퍼넬(NetFunnel) 대기열 우회 문제 상황 큐넷 대기열을 바로 뚫을 방법이 없을까? 정보처리기사 필기, 실기 신청 첫 날 10시가 되면 원하는 시험 장소를 고르기 위해 많은 사람들이 몰린다.이번에도 약 15만명 정도가 한꺼번에 몰린 것 같다.대기열을 뚫는데 1~2시간을 기다려야 하는데, 여기에 시간을 허비하기 아깝다. 문제 해결➀ 신청 직전 페이지에서 F12 (개발자 도구)를 킨다.➁ Console 창으로 넘어가서 아래 명령어를 입력한다.NetFunnel.TS_BYPASS = true ➂ 이제 대기열로 막혔던 페이지가 뚫린다. 다른 페이지에도 응용하기수강신청 사이트, 코로나 백신 사이트, 코레일 기차 예매 등 대기열이 존재하는 대부분 사이트는 넷퍼넬(NetFunnel) 시스템을 사용한다. 아래 코드를 기억하자.NetFunnel.TS.. 2025. 8. 30.
파일 압축 풀기 오류 : "압축(ZIP) 폴더가 올바르지 않습니다." 해결 방법 문제 상황zip으로 압축된 파일을 압축 해제 하려고 하니 아래와 같은 경고 팝업이 뜬다.문제 원인➀ utf-8을 지원하지 않는 프로그램을 사용하여 압축해제 한 경우 - (1) 반디집이 깔려 있더라도 [압축 풀기] 를 통해서 단순히 압축 해제를 한 경우 - (2) 반디집이 아닌 일반적인 방법으로 압축 풀기를 한 경우 문제 해결반디집을 사용하여 압축 해제를 진행한다. ➀ 반디집 설치https://kr.bandisoft.com/bandizip/ 반디집 공식 홈페이지 · ALZ, EGG, 7Z, RAR 지원 무료 압축 프로그램지원 포맷 7Z, ACE, AES, ALZ, ARJ, BH, BIN, BR, BZ, BZ2, CAB, Compound(MSI), DAA(1.0), DEB, EGG, GZ, IMG, .. 2025. 8. 16.
FTP 호스팅 관리 Index참고 reference : https://www.youtube.com/watch?v=b63VQfpEqlk&list=PLQSIBdTe44xzyYFyEEId7HeJto7dr8qzp&index=5 1. CAFE24 회원가입 및 웹 호스팅 구입2. FTP 연결2-(1). visual studio 방법2-(2). FileZila 방법 1. CAFE24 회원가입 및 웹 호스팅 구입➀ FTP, SSH, DB 비밀번호는 반드시 기억➁ default 설정대로 진행➂ 대표 도메인 확인➃ 해당 도메인 주소를 입력해서 아래와 같은 화면이 뜨면 정상적으로 등록 완료 2-(1). FTP 연결 - visual studio 방법➀ extensions 에서 "ftp-simple" 설치 ➁ 설치가 완료되면 F1 키를 눌러 ft.. 2025. 8. 12.
(PC 카카오톡) 오픈채팅 분리하기 문제 상황업무용 PC로 카카오톡을 켜놓아야 할 때가 있다.그런데 오픈채팅과 일반 채팅이 분리가 되지 않아 오픈채팅 단톡방이 계속 상위에 뜬다.분리할 수 있는 방법이 없을까? 해결 방법1. PC 카카오톡 좌측 하단 [톱니바퀴] > [설정]2. [채팅] 탭 > 채팅방 관리 중 [오픈채팅 목록 분리] 체크 표시 3. 카카오톡으로 돌아오면 채팅과 오픈채팅이 분리됨을 확인할 수 있다. 2025. 7. 20.

티스토리툴바