본문 바로가기
728x90
반응형

python81

[Python Data Analysis] 8. DataFrame 데이터 슬라이싱 지난 포스팅에서는 DataFrame에 작성된 데이터에 대한 간략 분석 정보 및 기본 통계 내용에 대해 알아보았다. 이번 포스팅에서는 방대한 DataFrame에서 분석자가 실제로 필요한 데이터만 추출하는 슬라이싱에 대해 알아보려 한다. 슬라이싱은 거창한 것이 아니다. Python에서 List나 Tuple 등을 많이 사용해봤다면 알 수 있는 [:] 문법이 주를 이루기 때문에 Array형태의 변수 타입을 많이 다뤄보셨던 분들이라면 큰 어려움 없이 익숙해 질 수 있을 것이다. 이번 포스팅에서는 필자가 앞서 포스팅 한 내용 중 loc, iloc, df[]와 관련된 내용을 조금 더 상세히 다루려 한다. 오늘은 매서드 자체 기능에 대해 살펴보는 것이 아니라, DataFrame의 슬라이싱 코딩의 포맷을 알아보기 위함이.. 2021. 11. 17.
[Python Data Analysis] 7. DataFrame 데이터 정보 확인 및 기본 통계 이번 포스팅에서는 DataFrame으로 변환한 정보들의 개괄적인 내용에 대해 알아보려 한다. DataFrame의 index, column이 무엇으로 구성되어 있는지, 아니면 DataFrame의 크기는 어떤지 등에 대해 아는 것만으로도 분석하려는 데이터에 대한 대략적인 이해가 가능하기 때문이다. 본 포스팅에서는 조금 더 깊게 들어가, 숫자 형태로 구성된 특정 필드값에 대해 기본적인 통계 개념을 적용할 수 있는 매서드와 클래스 변수들도 확인해보려 한다. 오늘의 포스팅에서 확인하려는 내용은 아래와 같다. [ 데이터 정보 확인 ] # pandas.DataFrame.index : DataFrame의 Index 정보 표시 # pandas.DataFrame.columns : DataFrame의 column(필드) 정.. 2021. 11. 14.
[Python Data Analysis] 6. DataFrame 파일 입출력 지난 포스팅에서는 DataFrame의 index와 관련된 매서드에 대해 간략하게 알아보았다. 이번 포스팅에서는 데이터가 작성된 파일을 읽어들여 DataFrame으로 만들거나 DataFrame을 특정 파일로 저장하는 방법에 대해 조금 더 깊게 알아보려 한다. 앞서서 pandas 모듈에 대해 포스팅할 때 간략하게 언급했지만, 특정 데이터 정보만을 추출하는 부분과 데이터를 파일로 저장하는 내용이 누락되어 있어서 말이다... 오늘 포스팅에서 확인할 내용은 아래와 같다. ** 파일 읽기/쓰기의 경우, 데이터 분석에 많이 사용하는 csv, text, excel에 대해서만, 그 중에서도 csv에 대해 중점적으로 살펴볼 예정이다. [ 데이터 파일 읽어오기 ] # pandas.read_csv("파일명") : "파일명"의.. 2021. 11. 8.
[Python Data Analysis] 5. DataFrame, Index 관련 매서드 지난 포스팅에서는 데이터 분석 모듈인 Python Pandas의 가장 기본이 되는 객체형인 DataFrame의 구조와, 이를 탐색하는 방법에 대해 간략하게 알아보았다. DataFrame은 기본적으로 행인 Index와 열인 Column으로 이루어진 2차원 구조, 즉 표의 형태를 이루고 있음을 확인할 수 있었다. 이번 포스팅에서는 DataFrame의 Index와 관련된 매서드 및 활용법에 대해 알아보려 한다. Index의 경우, 각 행의 고유번호를 의미하는 경우가 많은데(순번, 수험번호, ID 등), 이 때문에 특정 정보를 나타내는 가장 대표적인 정보라고 볼 수 있다. 데이터베이스에서는 보통 Primary Key의 개념으로 많이 사용된다. 오늘 학습할 매서드는 아래와 같다. # pandas.DataFrame.. 2021. 11. 3.
[Python Data Analysis] 4. DataFrame 객체 이번 포스팅에서는 Pandas의 기본 객체인 DataFrame에 대해 알아보려 한다. 이전의 포스팅에서 살펴봤듯이, Pandas 모듈은 여러 형태의 파일에 기록된 데이터를 DataFrame이라 불리는 표 형태의 객체로 불러들일 수 있다. DataFrame을 살펴보기 위해, 지난 포스팅에서 사용한 json 파일로부터 내용을 추출하여 DataFrame 객체로 변환을 먼저 진행했다. 본격적으로, DataFrame 구조를 알아보고, 이 객체를 어떻게 활용할 수 있는지 알아보도록 하자. 1. DataFrame의 정보 확인 데이터에 사용하는 표는 2차원 구조를 띄고 있다. 일반적으로 이 2차원 표에서 가로축은 개별 데이터에 대한 정보가 작성되고, 새로 축은 개별 데이터 중, 특정 정보의 집합을 나타낸다. 가로축의 .. 2021. 11. 2.
[Python Data Analysis] 3. Pandas 모듈 Python을 통해 데이터를 분석하면서 반드시 설치해야되는 패키지(모듈)로는 pandas가 있다. 이 pandas 모듈은, 특정 조건을 만족하는 List, Tuple 뿐만 아니라, Excel, CSV, 심지어 분석이 가능한 포맷이라면 클립보드에 복사된 내용까지도 분석할 수 있다. 따라서, 빅데이터 분석기사 실기 시험 시 Python으로 응시를 한다고 하면, 반드시 pandas 패키지의 사용법을 숙지하고 있어야 한다. 1. Pandas 패키지 설치 pip install 명령어를 사용하여 pandas 패키지를 설치하자. windows 사용자는 cmd로 이동하여 pip 명령어를 사용하자. # 명령어: pip install pandas 설치가 완료되면, Python 인터렉티브 모드에서 아래와 같이 pandas .. 2021. 9. 20.
[Python Data Analysis] 2. Python 정규표현식(REGEX) 지난 포스팅에서 문서 내 특정 문자 또는 패턴이 들어간 내용만 별도로 추출할 수 있도록 도와주는 Python의 re 모듈에 대해 알아보았다. re 모듈을 조금이나마 테스트 해 보신 분들이라면 알겠지만, 이 모듈의 능숙한 사용을 위해서 정규표현식 문법에 어느정도 익숙해 질 필요가 있다. 따라서 이번 포스팅에서는 문서 내 추출하고 싶은 문자열의 패턴을 정규표현식으로 작성하는, 정규표현식 문법에 대해 알아보려 한다. 정규표현식에서 패턴 검색에 사용하는 문자열은 대부분 특수문자 또는 이스케이프 문자를 많이 사용한다. 이들 문자를 사용하면 숫자/숫자가 아닌 문자, 공백/공백이 아닌 문자 등등을 연속적으로 배치하여 찾고자 하는 내용만 매우 쉽게 뽑아낼 수 있다. 이번 포스팅에서는 가장 기본적으로 사용되나, 익히면 .. 2021. 9. 12.
13. [Python] 비밀번호 입력 시, Asterisk(* 별표)가 출력되는 코드 작성 바로 직전에 필자가 작성한 python 포스팅에서, 필자가 만드는 Python 프로그램에 비밀번호 입력 시 * 이 화면에 표시되도록 만드는 코드를 작성하게 된 이유에 대해 서두에 언급했다. 그 내용을 정리하자면, - 고객사 내부 Windows PC에서 사용될 프로그램이므로, Python이 설치되어 있지 않은 경우를 대비해 실행 파일 형태로 컴파일이 되어야하며, - 그렇기 때문에 되도록이면 추가 모듈 설치 없이 Python 기본 모듈로만 비밀번호 입력 시 *이 출력되도록 만들어야 한다. 라는 것이다. 1. Python의 비밀번호 입력 모듈 getpass의 문제점. Python은 getpass라고 불리는 비밀번호 입력 모듈을 제공한다. getpass모듈 내에는 동일한 이름의 getpass() 함수가 정의되어.. 2021. 8. 7.
8. Python - msvcrt 모듈로 키보드 입력 및 화면 출력 조정 필자가 최근 Python으로 필자 회사에서 사용중인 솔루션의 분석 결과를 별도로 추출할 수 있는 프로그램을 개발하고 있다. 사실 필자의 업무 영역에서 많이 벗어난 부분이지만, 시간은 부족하고 일은 많아지니 놀고 있는(?) 컴퓨터에게 필자 일을 조금 떠넘겨보려는 의도에서 만들고 있는 중이다. 지금 만드는 프로그램은 아무래도 고객사 내에서 사용되어야 하는 파일이기 때문에, 몇 가지 필수 조건이 존재한다. 첫 째로, window에서 돌아가야 하는 파일이어야 하며, 둘째로 python의 기본 모듈만 사용해야하며, 마지막으로 인가된 사용자만 이 프로그램을 사용하여 분석 결과를 확인할 수 있도록 하는 것이다. 너무도 당연한 이야기인데, 고객사 환경에는 python이 설치되어 있지 않을 확률이 높고, 설령 pytho.. 2021. 8. 7.
[Python Data Analysis] 1. Python의 re 모듈 Python은 다양한 분야에서 활용될 수 있는 프로그래밍 언어이다. 기존에 많이 사용하던 Java나 C와는 달리 문법 자체가 워낙 익히기 쉬운 구조라, 일반적인 프로그램 코딩은 물론이거나와, RasberryPi 코딩, 머신 러닝 등 폭 넓게 이용되는 언어다. 특히 기존의 프로그래밍언어로는 작업이 어려웠던 자료의 수집과 수집된 자료의 분석, 분석 결과의 저장 작업, 즉 통계를 위한 수집과 분석 작업에도 사용 빈도가 높아짐에 따라, 국내 기사 자격증 중 하나인 빅데이터 분석기사의 실기에서도 R과 함께 주요 프로그래밍 언어로 지정되어 있다. 필자 역시, 빅데이터 분석기사 취득을 위한 실기 시험 준비 뿐만 아니라 최근에 회사 업무에서 대용량의 데이터를 처리할 일이 많아지는 바람에 Python을 이용한 데이터 분.. 2021. 8. 3.
[Python Django] 5. Django의 기본 파일 살펴보기 - urls.py(2) 지난 포스팅에서는 Django 웹 사이트의 호출된 URL 주소와 연결된 페이지를 정의하는 views.py 파일의 기본적인 부분에 대해 알아보았다. 필자가 간단하게 만든 html 페이지가 특정 URL 주소(/test/)와 맵핑되어 화면에 출력되는 내용까지 확인해보았다. 이제, urls.py와 views.py 파일을 사용하면 URL과 특정 페이지의 매핑을 진행하는 것은 어렵지 않을 듯 하다. 따라서 필자는 지금까지 진행했던 실습내용을 싹 다 밀어버리고, python.org의 url에 맞춰, Django 웹 사이트를 구축해보려고 한다. python.org의 매인 페이지의 주소는 단순하게 python.org로 표시된다. 그리고 아래의 About, Download를 클릭하면, 이 매인 페이지 URL 뒤에 /abo.. 2021. 7. 24.
[Python Django] 4. Django의 기본 파일 살펴보기 - views.py(1) 지난 포스팅까지 Django 프로젝트 실행 시 나타나는 기본 파일 중 자주 사용하는 settings.py와 urls.py에 대해 살펴보았다. 두 파일의 역할을 간략하게나마 다시 정리하자면, settings.py는 Django 웹 서버의 기본 설정 진행과 관련된 파일이고, urls.py는 웹 서버의 하위 주소를 관리하는 파일이라고 생각하면 되겠다. 이번 포스팅에서는 Django의 어플리케이션 생성 시 나타나는 기본 파일 중 views.py에 대해 살펴보려한다. 갑작스럽게 어플리케이션이라는 말이 나와 당황스러운 분이 있으실텐데, Django의 어플리케이션은 웹 서버 내에서 사용할 특정 기능들을 의미한다. 예를 들어, 필자의 웹 사이트에서 블로그와 갤러리를 운영한다고 가정하면, 필자 웹 서버의 어플리케이션은 .. 2021. 6. 27.
728x90
반응형

티스토리툴바