cactusroom

requests 로 사이트에 요청을 보내고 Beautifulsoup으로 html을 다루는 방법까지 소개했다. https://ryuhyun.tistory.com/63 [파이썬] 웹 크롤링 시작하기 2. BeautifulSoup로 html 다루기 파이썬 requests 모듈로 웹사이트에 요청을 보내는 방법에 대해 정리한 것에 이어서 웹사이트 내의 정보들을 수집하기 위해서 해당 사이트의 html을 다루는 툴로 BeautifulSoup 모듈을 소개한다. https:// ryuhyun.tistory.com 코로나 확진자 정보 수집을 위해 질병관리청 보도자료 게시글 링크(url)들을 수집하려고 한다. 질병관리청에서는 매일 보도자료를 통해 코로나19 발생과 예방접종 등 관련 현황들에 대해 정보를 공개하고 있다. ht..

파이썬 requests 모듈로 웹사이트에 요청을 보내는 방법에 대해 정리한 것에 이어서 웹사이트 내의 정보들을 수집하기 위해서 해당 사이트의 html을 다루는 툴로 BeautifulSoup 모듈을 소개한다. https://ryuhyun.tistory.com/56 [파이썬] requests 모듈로 웹 스크래핑 시작하기 (requests.get()으로 요청 보내기) requests 모듈은 파이썬 웹 스크래핑에서 활용되는 모듈로, http에 응답을 요청해서 받을 수 있다. requests 모듈이 설치되어있는지 확인하고 설치를 진행하기 위해 아래와 같이 설치 명령어 pip install ryuhyun.tistory.com requests 모듈로 해당 사이트로부터 정보를 수집가능한 것을 확인하고, 사이트의 htm..

인구 관련 통계를 처음 찾다보면 너무 여러 곳에서 각자 따로 인구를 집계하는 것처럼 보인다. 주민등록인구가 따로 있고, 총조사인구가 따로 있고, 센서스인구는 또 뭔지.. 인구 관련 통계를 정리해보고자 한다. 우리나라에서 하는 인구 조사는 두 종류가 있다. - 행정안전부의 '주민등록인구' - 통계청의 '인구총조사'(총조사인구) 주민등록인구는 행정안전부의 주민등록시스템에 등록된 현황통계를 자동 집계하여 월별로 안내하고 있고, 총조사인구는 통계청에서 전수, 표본으로 따로 집계해서 발표하는 인구통계이다. 센서스는 총조사라는 의미로, 센서스인구는 총조사인구와 같은 말이다. 인구총조사는 1925년에 최초로 실시된 이래로 5년마다 조사가 이루어져 왔고, 전수조사의 경우 2015년부터 전산 기반의 등록센서스 방식으로 ..

https://ryuhyun.tistory.com/59 좌표체계 기본 2. 데이텀(타원체, 중심)과 측지계 변환 https://ryuhyun.tistory.com/58 좌표체계 기본 1. 지오이드와 타원체(Bessel, GRS80, WGS84 등) 지구의 형상은 완벽한 구형이 아니라, 실제로는 굉장히 울퉁불퉁하다. 울퉁불퉁한 지구상에 위치를 표현하기 위 ryuhyun.tistory.com 지구상의 위치를 표현하는 방법은 크게 아래와 같이 두 종류로 구분된다. 1. 3차원 구 상의 위치를 표현 -> 지리좌표계(GCS, Geographic Coordinate Systems) 2. 2차원 평면상에 위치를 표현 -> 투영좌표계(PCS, Projected Coordinate Systems) 1) GCS(지리좌표계..

https://ryuhyun.tistory.com/58 좌표체계 기본 1. 지오이드와 타원체(Bessel, GRS80, WGS84 등) 지구의 형상은 완벽한 구형이 아니라, 실제로는 굉장히 울퉁불퉁하다. 울퉁불퉁한 지구상에 위치를 표현하기 위해서 가상의 지구 표면을 가정한다. 가상의 표면은 '중력 방향에 직각'인 표면으 ryuhyun.tistory.com 이어지는 글이다. 원하는 지역의 지오이드 형상에 잘 맞는 '준거타원체(reference ellipsoid)' 를 정해서 활용할 때, 타원체의 위치 기준을 정하는 것이 필요하다. 이때 필요한 타원체와 타원체의 중심에 대한 정보를 데이텀(datum, 측지계)라고 한다. 지역측지계의 경우 지오이드의 중심과 타원체의 중심은 다를 수 있다. 지오이드상의 특정 지..

지구의 형상은 완벽한 구형이 아니라, 실제로는 굉장히 울퉁불퉁하다. 울퉁불퉁한 지구상에 위치를 표현하기 위해서 가상의 지구 표면을 가정한다. 가상의 표면은 '중력 방향에 직각'인 표면으로 구성된다. * 중력방향에 직각인 면 = 모든 표면에서 중력이 같은 면 = '등중력포텐셜면' ** 중력포텐셜(gravitational potential) : 주어진 위치에서 단위 질량의 입자가 가지는 중력 위치 에너지 중력 방향에 직각인 가상의 표면을 '지오이드(geooid)'라 한다. 평균해수면과 일치하고 지구상에서 높이(해발고도)를 측정하는 기준이 되는 면이다. 실제 지표면과 지오이드를 비교해 보면, 대륙에서는 지표면보다 낮고 해양에서는 지표면보다 높게 나타난다. 지오이드는 모든 표면에서 중력(에너지)이 같은 등에너지..

좌표계가 정의되어 있지 않은 경우 카달로그의 System Toolboxes - Data Management Tools - Define projection 에서 좌표를 정의할 수 있다. ArcGIS 에서는 동일한 작업을 반복할 경우 Batch 프로세스를 지원하는데, 좌표 정의에서도 좌표를 정의해야 할 파일이 많은 경우 Batch 프로세스가 가능하다. *ArcGIS의 batch processing 관련 문서 https://desktop.arcgis.com/en/arcmap/latest/analyze/executing-tools/a-quick-tour-of-batch-processing.htm A quick tour of batch processing—ArcMap | Documentation desktop.a..

requests 모듈은 파이썬 웹 스크래핑에서 활용되는 모듈로, http에 응답을 요청해서 받을 수 있다. requests 모듈이 설치되어있는지 확인하고 설치를 진행하기 위해 아래와 같이 설치 명령어 pip install 로 확인해본다. pip install requests requests 모듈이 설치되어있지 않다면 설치가 진행되며, 이미 설치된 경우는 Requrement already satisfied.. 이하의 메세지가 뜬다. requests 모듈이 잘 설치되었다면, import 해서 모듈을 불러온다. import requests requests.get() 을 사용해서 요청을 보낼 수 있다. 어떤 사이트에 요청을 보내 볼까? 코로나 관련 정보 수집을 위해, 질병관리청에 요청을 보내보고자 한다. 질병관..

얼마전부터 운영중인 일상 블로그의 검색유입이 아무리 생각해도 늘지를 않아서, html 을 확인해보니 구글, 네이버 검색 등록 당시 삽입해놓은 html이 전부 누락되어 있다. 찾아보니, 티스토리 스킨 변경을 하면서 html 태그가 변경될 수 있다고 한다. 먼저, 구글 서치 콘솔에서 url이 잘 수집되고 있는지 확인해본다. https://search.google.com/search-console/ Google Search Console Search Console 도구와 보고서를 사용하면 사이트의 검색 트래픽 및 실적을 측정하고, 문제를 해결하며, Google 검색결과에서 사이트가 돋보이게 할 수 있습니다. search.google.com 들어가보니 역시나 html 에서 구글 검색 태그가 삭제된 듯, 구글 콘..

두 날짜 간의 소요일수를 구하려면, 그 두 날짜 셀이 전부 년월일 형태 '날짜' 형식을 갖추고 있어야 한다. 날짜 형식의 셀로 변환하는 함수는 DATE로 소개했다. DATE(년,월,일) 값을 입력하면 엑셀 날짜 형식으로 변환된다. https://ryuhyun.tistory.com/53 [엑셀] 년월일 날짜 형식으로 변환하기(DATE 함수) LEFT, MID, RIGHT 함수를 활용해 셀에서 특정 위치의 글자들을 추출하는 방법을 소개했다. https://ryuhyun.tistory.com/52 [엑셀] 셀 텍스트 왼쪽으로부터, 오른쪽으로부터, 중간에서 일부 추출하기(LEFT, RIGHT, ryuhyun.tistory.com 엑셀 날짜 형식으로 변환된 두 셀을 단순히 빼기 연산 하면 두 시점 간의 소요일수를..