[혼공머] 4강. 훈련 세트와 테스트 세트

 

# 훈련 세트 테스트 세트 분리의 필요성

• 알고리즘의 성능을 제대로 평가하려면 훈련 데이터와 평가에 사용할 데이터는 각각 달라야 한다.

     ∵ 훈련에 사용되는 데이터로 평가한다면 답지를 들고 시험을 치르는 것과 같기 때문!

• 평가에 사용되는 데이터 - 테스트 세트 , 훈련에 사용되는 데이터 - 훈련 세트
• 훈련 전에 미리 데이터를 분리하자

---

# 3강과 동일하게 fish_data, fisht_target를 만든다

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

fish_data = [[l, w] for l, w in zip(fish_length, fish_weight)]
fish_target = [1]*35 + [0]*14

from sklearn.neighbors import KNeighborsClassifier

kn = KNeighborsClassifier()

 

# 도미와 빙어 데이터가 골고루 섞인 데이터를 학습해야 한다.

   -> 학습하지 않은 데이터에 대해 분류 성능이 올라간다.

 

# 훈련데이터를 넘파이 배열로 변환

import numpy as np

input_arr = np.array(fish_data)
target_arr = np.array(fish_target)

- input_arr (49, 2) 2차원 배열

- target_arr (49, ) 1차원 배열

 

# np.random.seed(x)

- 랜덤 시드를 설정하면 매번 동일하게 섞인 값을 사용할 수 있다.

np.random.seed(42)

 

# 섞인 값은 섞인 index배열을 사용

index = np.arange(49) # 0~48까지 1씩 증가하는 배열
print(index)
np.random.shuffle(index)
print(index)

 

섞이기 전 index 형태 :

[ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48]

 

섞인 index 형태 :

[13 45 47 44 17 27 26 25 31 19 12 4 34 8 3 6 40 41 46 15 9 16 24 33 30 0 43 32 5 29 11 36 1 21 2 37 35 23 39 10 22 18 48 20 7 42 14 28 38]

 

# 슬라이싱을 이용해 데이터 분리

# train : [0] ~ [34]
train_input = input_arr[index[:35]]
train_target = target_arr[index[:35]]

# test : [35] ~ [48]
test_input = input_arr[index[35:]]
test_target = target_arr[index[35:]]

 

# 잘 섞였는지 그래프를 통해 확인

import matplotlib.pyplot as plt

# [:, 0]길이, [;, 1]무게
plt.scatter(train_input[:, 0], train_input[:, 1])
plt.scatter(test_input[:, 0], test_input[:, 1])
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

# 훈련과 검증

kn = kn.fit(train_input, train_target)

kn.score(test_input, test_target) # 정확도 1.0

kn.predict(test_input)
# test_target : array([0, 0, 1, 0, 1, 1, 1, 0, 1, 1, 0, 1, 1, 0])
# 결과        : array([0, 0, 1, 0, 1, 1, 1, 0, 1, 1, 0, 1, 1, 0])

---

# 지도학습

- 훈련하기 위한 입력데이터와 정답(타깃데이터)이 필요

 

# 비지도학습

- 입력데이터만 필요

- 정답이 없으므로 입력데이터를 가지고 특징을 찾아야 함

 

+) 강화학습

- 알고리즘이 행동한 결과로 얻은 보상으로 학습