[python] 뉴스 기사 크롤링 (newspaper 모듈)

newspaper 모듈이란?

newspaper는 사용자가 지정한 url에서 text를 추출해주는 모듈이다.

 

newspaper 모듈 설치

python2와 python3 각각의 모듈 설치 방법이 다르니 아래 참고

# python 2
pip install newspaper

# python 3
pip install newspaper3k

 

newspaper 모듈을 이용한 뉴스 기사 크롤링

#사용자가 입력한 url에서 text를 크롤링 해주는 패키지 import
from newspaper import Article

#크롤링할 url 주소
url = 'http://www.hani.co.kr/arti/society/health/986131.html'

#한국어이므로 language='ko'
article = Article(url, language='ko')
article.download()
article.parse()

#기사 제목 가져오기
print(article.title)
>>코로나19 신규 확진자 470명…이틀 연속 400명대

#기사 text
print(article.text)
>>중앙방역대책본부 10일 0시 기준

지역발생 452명, 국외유입 18명

송영구 강남세브란스병원장이 9일 병원 대강당에서 코로나19 아스트라제네카 백신을 맞고 있다. 강남세브란스병원은 이날부터 소속 보건의료인 2천여명을 대상으로 아스트라제네카 백신을 접종하고 있다. 연합뉴스

10일 코로나19 신규 확진자가 470명 발생했다. 신규 확진자 수는 전날(446명)에 이어 이틀 연속 400명대로 집계됐다.

중앙방역대책본부는 이날 0시 기준으로 코로나19 국내 발생 신규 확진자는 452명, 국외유입 사례는 18명이라고 밝혔다. 이로써 국내 코로나19 누적 확진자는 9만3733명에 이른다.

국내 신규 확진자 452명 가운데 354명(78.3%)이 수도권에서 나왔다. 서울 132명, 경기 199명, 인천 23명이다. 비수도권에서는 울산 21명, 강원 20명, 충북 18명, 부산 7명, 경남 7명, 충남 6명, 전북 5명, 경북 4명, 전남 3명, 대전 3명, 제주 2명, 대구 1명, 광주 1명이 발생했다.

국외 유입 확진자 18명 가운데 5명은 검역 단계에서, 13명은 지역사회 격리 중에 확진됐다. 내국인은 9명, 외국인은 9명이다.

격리 중인 코로나19 환자 수는 55명 늘어 7773명이다. 위중증 환자는 전날보다 5명 줄어 123명이다. 사망자는 3명 늘어 누적 1648명이다.

최하얀 기자 chy@hani.co.kr

 

 

+ 형태소 분석기를 이용한 문장 추출

from konlpy.tag import Kkma

kkma = Kkma()
sentences = kkma.sentences(article.text)
print(sentences)

['중앙 방역대책본부 10일 0시 기준 지역발생 452명, 국외 유입 18명 송영 구 강 남세 브란 스병 원장이 9일 병원 대강당에서 코로나 19 아 스트라 제네 카 백신을 맞고 있다.', '강남 세 브란 스병 원은 이날부터 소속 보건의료인 2천여명을 대상으로 아 스트라 제네 카 백신을 접종하고 있다.', '연합 뉴스 10일 코로나 19 신규 확 진자가 470명 발생했다.', '신규 확 진자 수는 전날 (446 명 )에 이어 이틀 연속 400명 대로 집계됐다.', '중앙 방역대책본부는 이날 0시 기준으로 코로나 19 국내 발생 신규 확 진자는 452명, 국외 유입 사례는 18명이라고 밝혔다.', '이로써 국내 코로나 19 누적 확 진자는 9만 3733명에 이른다.', '국내 신규 확 진자 452명 가운데 354명 (78.3%) 이 수도권에서 나왔다.', '서울 132명, 경기 199명, 인천 23명이다.', '비수도권에서는 울산 21명, 강원 20명, 충북 18명, 부산 7명, 경남 7명, 충남 6명, 전 북 5명, 경북 4명, 전 남 3명, 대전 3명, 제주 2명, 대구 1명, 광주 1명이 발생했다.', '국외 유입 확 진자 18명 가운데 5명은 검역 단계에서, 13명은 지역사회 격리 중에 확 진됐다.', '내국인은 9명, 외국인은 9명이다.', '격리 중인 코로나 19 환자 수는 55명 늘어 7773명이다.', '위중 증 환자는 전날보다 5명 줄어 123명이다.', '사망자는 3명 늘어 누적 1648명이다.', '최 하얀 기자 chy@hani .co .kr']

 

 

---

참고

• excelsior-cjh.tistory.com/92