전체 글

K-Means 알고리즘 데이터 준비 from sklearn.preprocessing import scale from sklearn.cluster import KMeans import matplotlib.pyplot as plt import numpy as np import pandas as pd %matplotlib inline from sklearn.datasets import load_iris iris = load_iris() iris 데이터로 K-평균 알고리즘을 실습해볼 것이다. iris.keys() [Out] dict_keys(['data', 'target', 'frame', 'target_names', 'DESCR', 'feature_names', 'filename']) iris의 key에는 위..

막대그래프 geom_bar() install.packages("ggplot2") # 처음에 한 번만 설치 library(ggplot2) # libarary() 함수를 사용해서 불러오기만 하면 됨 data(diamonds) # ggplot2 패키지 안에 내장되어 있는 데이터. data() 함수 사용 > str(diamonds) tibble [53,940 x 10] (S3: tbl_df/tbl/data.frame) $ carat : num [1:53940] 0.23 0.21 0.23 0.29 0.31 0.24 0.24 0.26 0.22 0.23 ... $ cut : Ord.factor w/ 5 levels "Fair"

1) Series를 활용한 데이터 생성 s1 = pd.Series([10, 20, 30, 40, 50, 60]) s1 [Out] 0 10 1 20 2 30 3 40 4 50 5 60 위의 출력에서 첫번째 열은 index이고, 두번째 열은 values(값)이다. 여기서 type(s1)과 s1.dtype을 통하여 데이터 타입을 알아보자면, pandas.core.series.Series 형식에 int64의 데이터이다. s1.index [Out] RangeIndex(start=0, stop=6, step=1) s1.values [Out] array([10, 20, 30, 40, 50, 60], dtype=int64) Series 데이터는 index와 values 형태를 갖는데, 위처럼 각각 index와 valu..

1. 실험계획법의 개념 1. 다음 실험계획의 기본원리 중 '동일한 조건하에서 실험을 두 번 이상 행함'과 관련 있는 원리는? ==> 반복 랜덤화 : 실험순서를 무작위로 결정하는 것이고, 선택된 인자 외에 기타 원인들(실험숙련도, 실험실 기온)이 실험에 영향을 미치는 것을 방지 분할구계획 : 요인 중 환경에 의해 완전 랜덤화 하기 어려운 상태일 때 사용하는 실험설계 블록화 : 실험전체를 동질적인 여러 블록으로 나누어, 블록 내에서 인자효과를 조사하는 것 2. 같은 실험조건으로 실험을 하자면 요인의 조합을 끼리끼리 몇개의 조 또는 군으로 나누어야 하는 경우가 있다. 이때 조 또는 군을 뭐라고 하는가? ==> 블록 3. 실험을 하는 데 있어서 실험 전체의 랜덤화가 곤란한 경우에 유리한 실험방법은 ? ==> 분..

일원배치법이란? 인자(factor)가 단 하나인 실험, 하나의 요인이 특성치에 미치는 영향을 분석한다. - 일원배치법 특성 수준(level)의 수는 보통 3개 이상(인자의 각 수준이 하나의 처리가 됨) 하나의 요인이 특성치에 미치는 영향을 분석함 모든 실험조건을 무작위 순서로 시행(완전랜덤설계법) 수준수와 반복수에 제한이 없으며, 결측치가 있어도 분석에 용이 - 완전 랜덤 설계법(completely randomized design) 모든 실험을 무작위 순서로 시행 랜덤화를 통해 외부 인자의 영향 상쇄 실험 데이터가 독립이라는 가정 충족 구조 모형 수준은 처리의 수이며, 각각 동일한 반복 횟수에 따라 실험을 하게 된다. 따라서 각 수준별 합계와 평균값을 구할 수 있다. 여기서 다루는 인자 A는 모수인자라고..

[단답형] 1. 표본조사는 전체 모집단 중에서 일부의 부분집단인 표본을 조사한 후, 표본의 데이터를 이용하여 모집단의 특성을 추측하는 방법으로 전수조사에 비해 경제성, 신속성을 지니며, 보다 심도 있고 정확한 조사를 할 수 있다는 장점을 지닌다. 더욱이 파괴검사의 경우 필수적이라고 할 수 있다. * 파괴검사 : 소재를 파괴하거나 변형을 가함으로써 진행되는 실험 2. 기본단위는 표본조사에서 필요한 정보를 얻기 위해 관찰, 면접을 할 때 조사의 대상이 되는 요소로서 명확하게 정의되어야 하고, 구체적으로 확인할 수 있어야 한다. * 이 기본단위의 집합이 모집단이 된다. 3. 모집단 내의 모든 추출단위들의 목록을 추출틀이라고 한다. 4. 같은 모집단에서 동일한 표본추출 방법으로 동일한 크기의 표본을 추출할지라도..

확률표본과 표본분포 기초 통계 이론에서 기본적으로 사용되는 용어로 다음과 같은 것들이 있다. 모집단(population) : 데이터의 대상이 되는 전체 집단 표본(sample) : 모집단으로부터 일부분의 데이터를 랜덤하게 추출하여 모집단을 대표하는 것으로 삼는 일부의 데이터 표본설계(sampling design) : 모집단에서 표본을 추출하기 위한 설계 확률표본, 확률변수와 확률분포 개념 - 확률표본(random sample) : 모집단에 속한 표본점들이 표본으로 추출될 확률이 모두 동일하다는 조건하에 추출된 표본 - 확률변수(random variable) : 시행에 결과에 따라 값이 결정되는 변수 - 확률분포(probability distribution) : 확률 변수가 특정한 값을 가질 확률을 나타내..

기본 명령어 SET SET 명령어는 기존에 존재하는 SAS파일을 새로운 SAS파일로 다시 정의하거나 2개 이상의 SAS 파일을 변수별로 병합할 때도 사용할 수 있다. DATA new; SET stat.exam1; PROC PRINT DATA=new; RUN; 기존에 존재하는 stat.exam1 파일을 new 라는 파일로 재정의 한다. new 데이터 테이블을 살펴보면, stat.exam1 파일과 동일한 것을 알 수 있다. 이 SET 명령어를 통하여 다음과 같이 병합도 할 수 있다. DATA one; SET stat.exam1 stat.exam3; PROC PRINT DATA=one; RUN; stat.exam1과 stat.exam3 파일을 병합하여 one이라는 파일을 생성하였다. exam1과 exam3은 ..

주성분분석(PCA)은 차원 축소의 한 방법이다. 차원 축소(dimension reduction)란, feature 변수가 매우 많은 다차원 데이터 세트의 차원을 축소해서 새로운 차원의 데이터 세트를 만드는 방법이다. * 피처(feature) : 데이터 세트의 속성이다. 학습용 데이터 세트가 반응을 분류하거나 예측하기 위해서는 몇몇의 예측 변수 표본이 필요한데, 여기서 예측 변수를 feature 라고 한다. 차원 축소는 왜 필요할까? 일반적으로 차원이 증가할 수록 데이터 포인트 간의 거리가 기하급수적으로 멀어진다. 그렇기에 수백 개 이상의 피처로 구성된 데이터 세트의 경우 상대적으로 적은 차원에서 학습된 모델보다 예측 신뢰도가 떨어짐 또한 피처가 많을 경우 개별 피처 간의 상관관계가 높을 가능성이 큰데, ..

모자이크 플롯은 범주형 변수들 간의 관련성을 시각화 한다. mosaic 시각화는 교차점주에 대한 특징에 초점을 둔다. (예시) 성별이 남자이면서, 연령이 50대 이상, 학력이 대졸 이상인 사람은 신용도가 좋음 형태는 타일처럼 사각형의 크기에 따라서 범주형 변수의 빈도를 표현한다. install.packages("vcd") library(vcd) UCBAdmissions str(UCBAdmissions) 'data.frame': 24 obs. of 5 variables: $ X : int 1 2 3 4 5 6 7 8 9 10 ... $ Admit : chr "Admitted" "Rejected" "Admitted" "Rejected" ... $ Gender: chr "Male" "Male" "Female"..

본 과목은 2학년 2학기 전공수업이며, SAS 프로그램에 대한 내용을 다룹니다. 교재는 SAS를 활용한 통계자료분석 실습을 이용합니다. SAS 무료 버전을 기준으로 작성되었습니다. SAS파일 생성하기 SAS란, 통계 분석을 위한 통계 패키지이다. 통계 패키지에는 여러 종류가 있지만, 그 중 가장 광범위하고 체계가 잘 갖추어진 프로그램 중 하나라고 할 수 있을 것이다. SAS파일을 생성하는 2가지 방법에 대해 소개하고자 한다. 첫 번째로는 외부에서 작성되어 아스키 파일의 형태로 저장되어 있을 때 이를 SAS로 불러들여 파일을 생성하는 방법이고, 두 번째는 SAS 편집기에서 직접 자료를 입력하는 방법이다. SAS 확장편집기에서 자료 입력 DATA exam1; *$는 문자열 설정, @@는 한줄에 여러데이터 입..

데이터분석 알고리즘을 공부하기 위해서는 선형대수학을 필수적으로 알아야한다. 그러므로 이 수업에서는 선형대수의 기본적인 내용들도 담았다. 벡터의 내적 벡터란 1차원 배열을 말한다. 아래 x, y 두 벡터가 있다. 이 벡터들의 내적을 계산해보자. x = np.array((0, -1, 3, -6)) # x = (0, -1, 3, -6) y = np.array((1, 2, -3, 5)) # y = (1, 2, -3, 5) x.dot(y) y.dot(x) np.dot(x, y) x @ y 벡터의 내적은 위와 같이 계산할 수 있다. 값은 모두 동일하게 -41이 나온다. 벡터의 길이와 내적 벡터 공간에서 벡터의 길이나 사이즈를 구할 때 norm(놈)을 사용하는데 위와 같이 구할 수 있다. 피타고라스의 정리와 같은 원..