본문 바로가기

EDA2

[Web crawling] naver API - 웹 크롤링으로 네이버 쇼핑 아이패드 가격 자동 비교! ** ⏰ 읽는 시간: 20분** 들어가기 전 크롤링(crawling) 이란? Web상에 존재하는 Contents를 수집하는 작업 (프로그래밍으로 자동화 가능) 요즘 들어 유용한 주식 자동매매, 빅데이터 수집 및 분석 등이 '웹 크롤링'을 통해 이루어진다. - HTML 페이지를 가져와서, HTML/CSS등을 파싱하고, 필요한 데이터만 추출하는 기법 - Open API(Rest API)를 제공하는 서비스에 Open API를 호출해서, 받은 데이터 중 필요한 데이터만 추출하는 기법 - Selenium, BeautifulSoup등 브라우저를 프로그래밍으로 조작해서, 필요한 데이터만 추출하는 기법이처럼 웹 크롤링에는 다양한 기법들이 있지만, 최근 악용하는 사례가 늘어 기업들이 보안으로 막는 추세이다.. 2023. 8. 17.
[Python] 서울시 CCTV 데이터 분석 - Matplotlib & Scikit-learn 활용 ** ⏰ 읽는 시간: 20분** 들어가기 전 Python에서 데이터 분석과 시각화를 쉽게 만들어주는 모듈이 있다. Matplotlib으로 그래프 시각화, Scikit-learn 에서 선형 회귀 함수를 사용해서 기본적 데이터 분석을 수행해보겠습니다. Dataset 다운로드 서울시 구별 인구통계 서울시 CCTV 설치 현황 Python Module Requirement import pandas as pd import numpy as np import matplotlib.pyplot as plt import koreanize_matplotlib from matplotlib.colors import ListedColormap 📒 데이터 기초 분석 📌 데이터 전처리 seoul_cctv 라는 이름으로 cctv 설치 .. 2023. 8. 14.

티스토리툴바