전체 글 474

스크랩핑- 네이버 날씨 / 뉴스 헤더라인

import requests from bs4 import BeautifulSoup def create_soup(url): header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"} res = requests.get(url, headers=header) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") return soup def scrape_weather(): url = "https://search.naver.com/search.naver?sm=tab_h..

크롤링 - 유튜브 5시간짜리 보고 정리

https://www.youtube.com/watch?v=yQ20jZwDjTE # Requests import requests res=requests.get("http://naver.com") res=requests.get("http://ccssbb.tistory.com") res.raise_for_status() # 이상하면 오류발생시키기 print(res.status_code) # if res.status_code == requests.codes.ok: # 상태코드가 200이면 # print("정상입니다") # else: # print("문제가 생겼습니다") print(len(res.text)) with open("mygoogle.html","w",encoding="utf8") as f: # mygo..

파이썬 크롤링 - lxml, cssselector, requests 설치

- 네이버 뉴스스탠드 크롤링 - html내용 가져올때 copy selector 사용 피하기 # lxml 사용 기초 스크랩핑(1) import requests import lxml.html def main(): """ 네이버 메인 뉴스 스탠드 스크랩핑 메인 함수 """ # 세션 사용 권장 # session = requests.Session() # session.get('https://www.naver.com/') # 스크랩핑 대상 URL response = requests.get('https://www.naver.com/') # 신문사 링크 리스트 획득 urls = scrape_news_list_page(response) # 결과 출력 for url in urls: print(url) def scrape_..

크롤링 공부 - urllib, urlopen

사이트 링크/robots.txt 를 통해 웹페이지의 조건 확인 ** Request 요청 주의 할 점 - 서버 부하 고려 (간격을 충분히 두고 작업하기) - http통신은 한번 연결하고 통신하면 연결이 끊긴다. 일회성 # urllib import urllib.request as req # 요청 라이브러리 img_url = 'https://search.pstatic.net/common/?src=http%3A%2F%2Fblogfiles.naver.net%2FMjAyMTExMTRfMTQw%2FMDAxNjM2ODg0NTE4MzIw.8f54g2487ow0ZT69rDSjwTWUMZ0kCnp3epLtvP4z8OUg.R2svDxDvQSJV5ZWWIWYnwGnLN4efRxZZ7y3BU2R3ihkg.JPEG.catsisla..

임베디드시스템 LCD

- LCD화면 가로축 * 세로축 인 2차원평면. - 화면 한 개의 정보들 = frame , 초당 30frame을 출력해야 눈에 보인다 - 해상도 = 가로픽셀수 * 세로픽셀수(줄) - 픽셀수와 해상도는 비례 #픽셀 - LCD data 기본단위 - 색상정보 + 좌표(x,y) - 좌측상단이 원점인 (0,0) 부터 증가하는 형태 (--> dma제어기를 거치멘 좌측하단이 원점이 된다) - 엄청난 data를 높은 주파수로 보내야 초당 3frame출력이 가능하다. # LCD controller (video controller) - AP내 data를 lcd화면으로 내보내기 위해서 주파수를 조절해주는 장치 - LCD에 정확한 주파수로 데이터 전달이 가능 - frame단위로 data전달 - frame단위로 buffer버퍼..

DFS/BFS / 재귀

https://www.youtube.com/watch?v=7C9RgOcvkvo&list=PLRx0vPvlEmdAghTr5mXQxGpHjWqSz0dgC&index=3 https://github.com/ndb796/python-for-coding-test -->코드 깃허브 GitHub - ndb796/python-for-coding-test: [한빛미디어] "이것이 취업을 위한 코딩 테스트다 with 파이썬" 전체 [한빛미디어] "이것이 취업을 위한 코딩 테스트다 with 파이썬" 전체 소스코드 저장소입니다. - GitHub - ndb796/python-for-coding-test: [한빛미디어] "이것이 취업을 위한 코딩 테스트다 with 파이썬" 전체 소 github.com 파이썬 덱 from colle..

다양한 영상처리 기법을 트랙바로 조절해보기

lut함수 없이 -> 따라서 he트랙바 조절시 변화 없음 import cv2 as cv import numpy as np import time def printImgAtt (string): global garo global saero print("\n" + string) data = eval(string) # eval(문자열) - 실행가능한 문자열을 바로 실행시켜주는 함수 print(' type :', type(data)) # imge type = print(' shape = ', data.shape) # 영상 어레이의 크기 알아내기. image shape = (세로, 가로, 3). (행, 열, 채널) saero = data.shape[0] garo ..

인덱스 정리

클러스터링인덱스 비클러스터링인덱스 희소 -> 클러스터링만 밀집 -> 클러스터링, 비클러스터링 희소 불가능 (pdf 11.2순서인덱스 10.9페이지~) # 인덱스 갱신 인덱스가 추가되면 검색키도 추가됨. 인덱스 삭제되면 검색키도 삭제됨 # 삽입 : 밀집 주인덱스(=클러스터링인덱스) 학과로 검색키를 만들었으며 클러스터링 인덱스이고, 학과 모두 반영 되어있으므로 밀집인덱스이다. 위 그림의 주 인덱스 상황은 중복을 허용한 인덱스로 밀집인덱스를 만든 상황 1) 검색키 값이 인덱스에 없을 경우 순서에 맞게 삽입 2) 동일한 검색키값을 가지는 데이터 레코드들 중 첫번째 레코드에 대한 포인터만 가지고 있다면 별도의 인덱스 수정이 불필요 # B+ 트리 동작 구조