본문 바로가기

파이썬31

[241002] 데이터 수집 #2 Web Crawling 1. 동적페이지와 정적페이지동적페이지 (메모지) - 필요시 해당 페이지에 메모를 붙임.정적페이지 (종이책) - 항상 같은 페이지.웹 브라우저에 화면이 뜨고 이벤트가 발생하면 서버에서 데이터를 가져와 화면을 변경하는 페이지- JSON(요리의 재료): 클라이언트와 서버 간의 데이터 전송을 위해 사용 (데이터만 전송하여 클라이언트에 화면을 업데이트)웹 브라우저에 화면이 뜨면 이벤트에 의한 화면 변경이 없는 페이지- HTML(요리의 완성된 모양): 웹페이지의 내용이 담긴 코드 (구조, 텍스트, 이미지 등을 담고 있음) 2. Crawling Naver Stock Datas (네이버 증권 사이트 주가 데이터 수집더보기- 수집할 데이터 : 일별 kospi, kosdaq 주가, 일별 환율(exchange rate) 데.. 2024. 10. 2.
[241002] 데이터 수집 - Python (Class) 더보기파이썬은 컴퓨터의 CPU, RAM, SSD(HDD)를 활용하기 위한 문법이다.1. 변수선언 : RAM(메모리)를 사용하기 위한 문법 : 식별자 (PEP8)2. 데이터타입 : RAM(메모리)를 효율적으로 사용하기 위한 문법 : int, float, boolean, string, list, tuple, dict, set   - 저장공간 효율적으로 사용하게 해줌.   - 타입을 모르면 큰 저장공간에 우선 저장3. 연산자 : CPU 사용 문법 : 산술, 비교, 논리...4. 조건문 : 조건에 따라 코드를 실행 : if, elif, else5. 반복문 : 특정 코드 반복 실행할 때 사용 : while, for, break, continue, range()...6. 함수 : 반복 코드를 묶어서 작성 및 실행 .. 2024. 10. 2.
[241002] 데이터 수집 #1 Web 1. Server & Client Architecture 1) Client (URL)   - Request : Brower를 사용하여 Server에 데이터 요청 2) Server (Data_html, JSON, pdf, img ... )   - Response : Client의 Brower에서 데이터를 요청하면 그에 따라 데이터를 Client로 전송 2. HTTP Request MethodGetPost- URL에 Query를 포함- Query(데이터 노출, 전송 가능 데이터 적음)ex) 로그인 시 get : Query에 ID, PW 노출- Body에 Query를 포함- Query(데이터 노출, 전송 가능 데이터 많음) 3. HTTP Status Code  - Client와 Server가 데이터를 주고 받.. 2024. 10. 2.
[240930] 데이터 분석 #7 이변량 - 숫자 vs 범주 1. 시각화sns.kdeplot(x=feature, data=data, y=target, common_norm=False)sns.kdeplot(x=feature, data=data, y=target, multiple='fill') 2. 수치화=> 따로 없고, 그래프로 해석하면 됨.ex) 위 그래프를 보면 평균 사망율(빨간선)을 기준으로,      25-39세 사망율이 평균보다 크고, 60-80세 사망율이 평균보다 크다는 것을 알 수 있다. 2024. 10. 1.

티스토리툴바