전공 과목 이수1👨‍💻/파이썬 14

스크랩핑- 네이버 날씨 / 뉴스 헤더라인

import requests from bs4 import BeautifulSoup def create_soup(url): header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"} res = requests.get(url, headers=header) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") return soup def scrape_weather(): url = "https://search.naver.com/search.naver?sm=tab_h..

크롤링 - 유튜브 5시간짜리 보고 정리

https://www.youtube.com/watch?v=yQ20jZwDjTE # Requests import requests res=requests.get("http://naver.com") res=requests.get("http://ccssbb.tistory.com") res.raise_for_status() # 이상하면 오류발생시키기 print(res.status_code) # if res.status_code == requests.codes.ok: # 상태코드가 200이면 # print("정상입니다") # else: # print("문제가 생겼습니다") print(len(res.text)) with open("mygoogle.html","w",encoding="utf8") as f: # mygo..

파이썬 크롤링 - lxml, cssselector, requests 설치

- 네이버 뉴스스탠드 크롤링 - html내용 가져올때 copy selector 사용 피하기 # lxml 사용 기초 스크랩핑(1) import requests import lxml.html def main(): """ 네이버 메인 뉴스 스탠드 스크랩핑 메인 함수 """ # 세션 사용 권장 # session = requests.Session() # session.get('https://www.naver.com/') # 스크랩핑 대상 URL response = requests.get('https://www.naver.com/') # 신문사 링크 리스트 획득 urls = scrape_news_list_page(response) # 결과 출력 for url in urls: print(url) def scrape_..

크롤링 공부 - urllib, urlopen

사이트 링크/robots.txt 를 통해 웹페이지의 조건 확인 ** Request 요청 주의 할 점 - 서버 부하 고려 (간격을 충분히 두고 작업하기) - http통신은 한번 연결하고 통신하면 연결이 끊긴다. 일회성 # urllib import urllib.request as req # 요청 라이브러리 img_url = 'https://search.pstatic.net/common/?src=http%3A%2F%2Fblogfiles.naver.net%2FMjAyMTExMTRfMTQw%2FMDAxNjM2ODg0NTE4MzIw.8f54g2487ow0ZT69rDSjwTWUMZ0kCnp3epLtvP4z8OUg.R2svDxDvQSJV5ZWWIWYnwGnLN4efRxZZ7y3BU2R3ihkg.JPEG.catsisla..

파이썬 - 객체 지향, 클래스 개념

객체지향 - 멤버변수와 멤버함수(동작)로 구성됨. 객체들 사이에서 상호작용 추상적인개념(클래스)에 현실적인 대응역할 해주는 것이 인스턴스. 인스턴스는 클래스로부터 만들어지는 각각의 개별적인 객체. 서로 다른 속성값(서로 다른 생성자)가질 수 있음. 클래스 정의 방법 class Cat : #속성, 행위 작성 pass nabi = Cat def __init__(self, name, color="흰색'): # 생성자 함수 : self = 자기참조, name,color을 매개로 전달 nabi, nero 객체생성 출력시 자동으로 문자열로 변환되어 출력됨(포매팅 출력도 포함) 언더바 두개로 변수를 보호할 수 있음 = 캡슐화 클래스이 상속이란- 해당하는 틀에서 다른 클래스를 만드는 것. 이때 본(틀)이 되는 것을 라..

11주차과제) spyder 과제

(1) push 버튼 누르면 창꺼지면서 print출력 # -*- coding: utf-8 -*- import sys from PyQt5.QtWidgets import * from PyQt5.QtCore import QCoreApplication class Window(QWidget): def __init__(self): super().__init__() self.setGeometry(800,250,300,170) self.setWindowTitle("QPushButton") self.UI() def UI(self): self.text=QLabel("Don't Push the button", self) enterPush=QPushButton("Push",self) self.text.move(100, 50)..