[Phython & BigData] 파이썬으로 크롤링하기 LV 1

참조한 블로그 주소

 

https://rednooby.tistory.com/102

[Python] 크롤링 예제. Lv1 단순 HTML 크롤링 풀이

 

 

https://askdjango.github.io/lv1/

해당 사이트의 LV1 크롤링 예제를 풀이해봤다. 

 

import requests 
from bs4 import BeautifulSoup

from requests.api import request

#해당 url을 입력하는게 번거로워 변수에 담기
url = 'https://askdjango.github.io/lv1/'


#해당 Url의 통신상태값을 확인
response = requests.get(url)

#통신값을 text에 담기
html = response.text

#bs 모듈을 사용해 사람이 html형식으로 리턴
soup = BeautifulSoup(html,'html.parser')

#문서 전체가 아닌 항목들의 이름과 Url값을 받아와야 함
#for문을 사용해서 li class=course 라는 이름을 가진 항목들을 하나씩 출력한다.
#a[href]를 사용한 이유는 url도 가져오기 위해서인데.. 아쉽게도 내 생각처럼 안됐다. 
#>.text로 하면 텍스트로 인식되는 객체만 가져오기 때문. .text를 없애면 url도 나오지만 형식이 이상함
for tag in soup.select('li[class=course]>a[href]'):
    print(tag.text)

실행값

장고 2.0 주요 변경내역 살펴보기
(기초편) 장고 차근차근 시작하기 2/E
(중급편) 장고 기본인증 뽀개기
(중급편) 장고 Form/ModelForm 제대로 알고 쓰기
(중급편) 클래스 기반 뷰 잘 알고 쓰기
(배포) 빠르게 살펴보는 Azure PaaS를 활용한 인프라 스트레스없는 웹서비스 배포
(초급) Pandas 워밍업
(초급) 10 Minutes to Pandas 따라하기
Google Dialogflow와 파이썬/장고를 활용하여, 카카오톡 챗봇 만들기 (초급편)
개발환경 구축하기
파이썬 차근차근 시작하기
크롤링 차근차근 시작하기
파이썬으로 업무 자동화
장고 - 기본편
장고걸스 튜토리얼
장고 - Form/ModelForm 잘 알고 쓰기
장고 - 클래스 기반 뷰. 잘 알고 쓰기
장고 - 결제 시스템 연동
장고 - 웹 프론트엔드 시작편
장고 - 다양한 위젯 만들기
장고 - API 서버 만들기 및 초간단 안드로이드 앱 만들기
장고 - 하이브리드 앱 만들기
장고 - 서비스 배포하기
장고 - 실전편 (Feat. 배달의 민족 St. 만들기)
장고 - 실전편 (Feat. 인스타그램 St. 만들기)