웹개발 플러스 3주차 강의

Selennuim : request 보다 더 다양한 기능을 할 수 있는 녀석 (정보를 가져온다.)

 

브라우저 제어

- 내가 필요한 정보를 얻기 위해 로그인, 스크롤내리기 등 브라우저를 동작 시킬 때 selenium과 같은 브라우저 제어 프로그램을 이용 할 수 있다.

- 브라우저를 직접 작동 시키는 것으로 스크롤도 내리고 값을 넣을수도 있는 툴이다.

(정보를 받아오기 위해 requests를 사용 했을 때는 단순히 get으로 요청하고 돌아온 값을 가지고 활용 했었다.)

- 웹스크래핑 뿐만 아니라 브라우저 제어 기능을 응용하면 정해진 시간에 게시판에 글을 작성하는 등 다양한 업무를 자동화하는 데 쓰일 수 있습니다.

 

1. 셀레니움으로 스크랭핑 하기 (1)

 

웹스크래핑이란?

: 웹페이지에서 우리가 원하는 부분의 데이터를 가져 오는 것

- 한국에서는 같은 작업을 크롤링(crawling)이라는 용어로 혼용하여 쓰는 경우가 많다.

원래는 크롤링은 자동화하여 주기적으로 웹 상에서 페이지들을 돌아다니며 분류/색인하고 업데이터된 부분을 찾는 등의 일을 하는 것을 뜻한다.

- 구글 검색을 할 때는 web scraping으로 검색해야 우리가 배우는 페이지 추출에 대한 결과가 나온다.

- 패키지 설치

: flask, requests, selenium, pymongo, bs4

---

2. 셀레니움으로 스크랭핑 하기 (2)

-> 좋아요 갯수가 나오지 않는 문제가 발생한다. (requests로는 좋아요 갯수를 가져올 수 없다는 걸 알 수 있다.)

: 좋아요 갯수가 나오지 않는 문제를 해결하기 위해서 selenium이라는 툴을 사용한다.

 

동적인 웹페이지

:한번 HTML이 로드되고 나서 다시 ajax를 사용해서 데이터를 가져와서 페이지를 바꾸는 걸 얘기한다.

-> 좋아요 갯수는 처음 HTML이 로드 될 때는 나타나지 않기 때문에 데이터를 출력 해올수 없던 것이다.

(서버에 HTML 로드하고 나서 소스가 다시 좋아요 갯수를 요청해서 실시간 갯수를 가져오는 것이기 때문에)

진짜 브라우저를 띄워서 좋아요 갯수를 가져오는 것은 requests로는 안되고 selenium을 사용해야 한다.

---

3. 네이버 지도 API

 

1) API 정보 보기

  -  네이버 지도 API 기술문서 링크

https://navermaps.github.io/maps.js.ncp/docs/

NAVER Maps API v3

2) 사용 신청하기

https://www.ncloud.com/

NAVER CLOUD PLATFORM

3) HTML에 넣어보기

ncpClinetId를 내 clientId로 바꿔줘야 한다.

---