IT 지식 저장소

LV3는 JS를 크롤링 하는 예제였다. import requests import re import json url_level3 = 'https://askdjango.github.io/lv3/' html = requests.get(url_level3).text #print(html) result = re.search(r'var s1_courses = (.+?);',html,re.S) json_str = result.group(1) course_s1 = json.loads(json_str) for course in course_s1: print('{name}{url}'.format(**course)) JS를 웹크롤링 하기 위해서는 정규식을 사용해야한다. 일반적으로 JS는 마침표에 ;를 찍기 때문에 이를 활용..

import requests from bs4 import BeautifulSoup url_level1 = 'https://askdjango.github.io/lv1/' html = requests.get(url_level1).text soup = BeautifulSoup(html,'html.parser') for a_tag in soup.select('li[class=course]>a'): print(a_tag.text,a_tag['href']) 기존에 작성한 코드가 잘못된 것 같아서 다시 작성했다. 이제 제목뿐만 아니라 링크도 출력가능

문제주소 : https://askdjango.github.io/lv2/ import requests import json #from bs4 import BeautifulSoup from requests.api import request #lv2는 ajax . 비동기 방식이기 때문에 일반적으로 json파일 안에 데이터더미가 들어있다. url = 'https://askdjango.github.io/lv2/data.json' #해당 json파일을 text화 response = requests.get(url).text #json loader로 해당 text를 우리가 확일 할 수 있는 값으로 변경 data_list = json.loads(response) #출력 print(data_list) 출력결과 {'s2':..

참조한 블로그 주소 https://rednooby.tistory.com/102 [Python] 크롤링 예제. Lv1 단순 HTML 크롤링 풀이 본 게시글은 nomade.kr에서 제공하는 크롤링 예제를 가지고 풀이한 게시글 입니다. 문제주소 https://askdjango.github.io/lv1/ 1. 페이지 탐색 이 페이지의 리스트들을 크롤링 하려고 합니다. 먼저 탐색하기 rednooby.tistory.com https://askdjango.github.io/lv1/ 해당 사이트의 LV1 크롤링 예제를 풀이해봤다. import requests from bs4 import BeautifulSoup from requests.api import request #해당 url을 입력하는게 번거로워 변수에 담기 ..

크롤링에 하기에 앞서 BeautifulSoup라는 모듈을 사용했다. import requests from bs4 import BeautifulSoup 이를 활용해 크롤링 하는법은 생각보다 간단하다. url = 'https://kin.naver.com/search/list.nhn?query=%ED%8C%8C%EC%9D%B4%EC%8D%AC' 가장먼저 크롤링 하고자 하는 페이지의 url을 복사하고 request함수를 통해서, 크롤링과정중 통신상태 값을 변수에 담아준다. response = requests.get(url) if문을 통해서 서버의 통신상태가 양호하면 BeutifulSoup를 통해 받아온 데이터를 변수에 담아온다. print(soup)를 통해 url안에 담겨있는 사이트의 디자인이나 정보들을 한번에..

정규표현식 -특정한 규칙을 가진 문자열의 패턴을 표현하는 데 사용하는 표현식 -복잡한 문자열을 처리할 때 사용 -텍스트에서 특정 문자열을 검색하거나 치환할 때 사용 -파이썬만 아니라 문자열을 사용하는 모든 언어에서 사용 사용법 -컴파일 하는 방법 검색할 패턴을 컴파일 하여 사용 같은 문자를 여러 번 검색하는 경우에 사용하는 방법 매번 검색 패턴을 지정하지 않아도 되기 때문에 검색 속도가 빠름 -컴파일 하지 않는 방법 검색할 때마다 패턴을 설정하는 방법 검색할 패턴이 매번 다른 경우에 사용 -검색 패턴에 raw문자인 r 사용 문자열 안에 있는 백슬러시 문자를 특수한 의미를 가진(에스케이프) 문자가 아닌 백슬러시 문자 그대로 인식되기 때문 #컴파일 하여 사용 pt = re.compile(r'10') prin..

##지역 평균 기온.txt 파일을 읽어서 딕셔너리를 만들고 그래프로 표시 ## 지역 기온 구분은 , 표 \n은 replace활용 삭제 import matplotlib.pyplot as plt f = open("지역평균기온.txt","r",encoding='utf-8') data= f.readlines() dict = {} for i in range(len(data)): data[i] = data[i].replace('\n','') dic = data[i].split(',') dict[dic[0]] = dic[1] print(dict) x = list(map(int,dict.values())) y = list(dict.keys()) print(x) plt.plot(y,x) plt.show() f.close..

파일열기 파일객체 = open ( 파일 이름 , 모드) 모드 파생 파일쓰기 w:쓰기모드 open한 파일명으로 내용이 파일처리 됨 f = open ("test.txt","w") inData = input("기 록 내 용 을 입 력 하 세 요 ") f.write(inData+"\n") inData = input("기 록 내 용 을 입 력 하 세 요 ") f.write(inData) f.close a:추가모드 (update) f = open ("test.txt","a") inData = input("기 록 내 용 을 입 력 하 세 요 ") f.write(inData+"\n") inData = input("기 록 내 용 을 입 력 하 세 요 ") f.write(inData) f.close 파일출력 함수 : wr..

모듈 -함수나 변수 또는 클래스 들을 모아 놓은 파일 -다른 파이썬 프로그램에서 불러와 사용할 수 있게끔 만들어진 파이썬 파일 모듈 불러오기 -import 모듈이름 -import 모듈이름 as 별명 -from 모듈이름 import 모듈함수 대표적 모듈 -mataplotblie.pyplot -numpy -pandas -reqeust 모듈 예제 #홀수 def is_odd(n): if n % 2 == 1 : return True else : return False #짝수 def is_even(n): if n % 2 == 0 : return True else : return False #소수 : 1과 자기 자신만을 약수로 갖는 1보다 큰 자연수 def is_prime(n): for i in range (2,n)..