[혼공머] 5강. 데이터 전처리

 

데이터전처리 / 표준점수 / 데이터세트 나누기

데이터 준비!

import numpy as np

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]
                
fish_data = np.column_stack((fish_length, fish_weight))

fish_target = np.concatenate((np.ones(35), np.zeros(14)))

fish_data [:5] :

[[ 25.4 242. ] [ 26.3 290. ] [ 26.5 340. ] [ 29. 363. ] [ 29. 430. ]] ...

 

fish_target :

[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]

 

# 훈련세트와 테스트세트 나눠주는 라이브러리 불러오기

from sklearn.model_selection import train_test_split

 

# 데이터 세트 나눠주기

train_input, test_input, train_target, test_target = train_test_split(
    fish_data, fish_target, stratify=fish_target, random_state=42)

- startify : 타겟데이터를 보고 데이터가 적다고 판단되면 비율을 적절히 조절한다

# 기준을 맞춰라 = 데이터 전처리 작업

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker='D')
plt.xlim((0, 1000))
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

- 길이데이터들은 무게 데이터들에 비해 크기가 매우 작아서 그래프에서도 한쪽으로 쏠린 듯 출력되었다.

따라서 무게와 길이 기준을 맞춰주어야 한다.

 

mean = np.mean(train_input, axis=0)  # 평균
std = np.std(train_input, axis=0)    # 표준편차

- 평균과 표준편차를 구해준다.

- axis = 0으로 설정했으니 행을 따라 열의 통계값을 계산한다.

mean : [ 27.29722222 454.09722222]

std    : [ 9.98244253 323.29893931]

 

# 표준점수

- 데이터 전처리 작업 중 하나. 

- 각 특성값이 0에서 표준편차의 몇 배만큼 떨어져 있는지 나타냄

- (특성 - 평균mean) / 표준편차std

- z점수

# 넘파이 브로드캐스팅 적용
# 모든셀에서 mean이 알아서 빼짐
train_scaled = (train_input - mean) / std
test_scaled = (test_input - mean) / std

표준점수 구하는 과정

 

# 주의할점!

- 새로운 데이터를 그래프로 출력할때 표준점수로 변환하는 것 잊지 않기

- 훈련세트를 변환한 방식 그대로 테스트세트도 변환해야 한다

plt.scatter(train_scaled[:,0], train_scaled[:,1])
# plt.scatter(25, 150, marker='^')
new = ([25, 150] - mean) / std
plt.scatter(new[0], new[1], marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

# 학습

- 학습결과 정확도 100%인 모습

kn.fit(train_scaled, train_target)
kn.score(test_scaled, test_target) # 1.0