웹 크롤링1 [Web crawling] naver API - 웹 크롤링으로 네이버 쇼핑 아이패드 가격 자동 비교! ** ⏰ 읽는 시간: 20분** 들어가기 전 크롤링(crawling) 이란? Web상에 존재하는 Contents를 수집하는 작업 (프로그래밍으로 자동화 가능) 요즘 들어 유용한 주식 자동매매, 빅데이터 수집 및 분석 등이 '웹 크롤링'을 통해 이루어진다. - HTML 페이지를 가져와서, HTML/CSS등을 파싱하고, 필요한 데이터만 추출하는 기법 - Open API(Rest API)를 제공하는 서비스에 Open API를 호출해서, 받은 데이터 중 필요한 데이터만 추출하는 기법 - Selenium, BeautifulSoup등 브라우저를 프로그래밍으로 조작해서, 필요한 데이터만 추출하는 기법이처럼 웹 크롤링에는 다양한 기법들이 있지만, 최근 악용하는 사례가 늘어 기업들이 보안으로 막는 추세이다.. 2023. 8. 17. 이전 1 다음