# example3.py
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
def get_data(keyword):
url = f"https://www.google.com/search?q={keyword}"
# 동적인 페이지는 정상적으로 가져올 수 없다!
# response = requests.get(url)
# print(response.text)
# 크롬 브라우저가 열림
# 이 때, 동적인 내용들이 모두 채워짐
driver = webdriver.Chrome()
driver.get(url)
# 열린 페이지 소스들을 받아온다.
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')
# 검색 결과 개수
# result-stats id 를 사용
result_stats = soup.select_one("#result-stats")
print(result_stats.text)
keyword = "탕수육"
get_data(keyword)
# 실행하기
python example.py
'인공지능, 머신러닝 > Django + Crawling' 카테고리의 다른 글
[Django prac][키워드 검색량 크롤링] 6. 구글에 '탕수육'을 검색한 후, 관련된 게시글 가져오기 (0) | 2024.04.19 |
---|---|
[Django prac][키워드 검색량 크롤링] 4. 구글에서 '탕수육'을 검색한 후, 페이지 자료 받아오기 (0) | 2024.04.19 |
[Django prac][키워드 검색량 크롤링] 3. quotes to scrape 사이트에서 텍스트 글 자료 가져오기 (0) | 2024.04.19 |
[Django prac][키워드 검색량 크롤링] 2. requests, BeautifulSoup, Selenium 설치 (0) | 2024.04.19 |
웹 크롤링이란? 웹 크롤링 프로세스 (0) | 2024.04.19 |