본문 바로가기

딥러닝/파이토치 딥러닝10

13장. 심층신경망2 1. 평가지표 정확도(accuracy) = (TP+TN) / (TP+FP+FN+TN)정밀도(precision) = TP / (TP+FP)재현율(recall) = TP / (TP+FN)임계값이 높으면 정밀도가 높아지고 재현율이 내려감임계값이 낮으면 재현율이 높아지지만 정밀도가 내려감 F1점수 = 2 x (Recall x Precision) / (Recall+Precision)F1점수는 임곗값이 고정되어 있을때 정밀도와 재현율을 기반으로 계산되므로, 임계값이 다르면 달라질 수 있으므로 F1 점수만으로 모델의 성능을 파악하기는 어렵다. AUROC오른쪽 빨간선아래 구간의 넓이 -> 1일때 가장 좋은 성능, 0.5일때 가장 안좋은 성능모델의 robustness 평가 -> 왼쪽 그래프에서 두 분포 사이의 거리가 멀.. 2024. 5. 15.
12장. 오버피팅을 방지하는 방법 최종 목표: 일반화 오차(generalization error) 최소화오버피팅: 학습 오차가 일반화 오차에 비해서 현격하게 낮아지는 현상언더피팅: 모델이 충분히 데이터를 학습하지 못하여 학습 오차가 충분히 낮지 않은 현상오버피팅으로 인해 학습 데이터에 편향이나 노이즈가 있을 때 이것까지 모델이 학습함으로써 오히려 모델이 일반화 수행이 어려워짐 -> 오버피팅을 피하는 법: 검증데이터셋(validation dataset) 하나의 에포크: 학습(training), 검증(validation)학습과정과 검증과정은 미니배치로 구성된 여러 이터레이션으로 구성검증과정에서는 최적화를 수행하지 않음. 즉, 역전파 계산과 경사하강법 수행 없이 손실 값만 계산 검증손실 값이 줄어드는지 확인하여 오버피팅 여부를 체크 가능 하이.. 2024. 5. 15.
11장. 최적화 하이퍼파라미터: 모델의 성능에 영향을 끼치지만 자동으로 최적화되지 않는 파라미터  1. 모멘텀모멘텀은 시작부터 매번 계산된 그래디언트를 누적하는 형태로 구현(관성을 의미)지역 최소점을 쉽게 탈출할 수 있으며 학습 속도를 가속화할 수 있음 모멘텀 그래디언트: 처음부터 현재까지의 디스카운트 파라미터가 곱해진 그래디언트의 누적 합 하지만 여전히 학습률 튜닝 필요 : 누적된 그래디언트가 파라미터 업데이트에 끼치는 영향도 설정  2. 적응형 학습률학습률을 기본 설정값을 사용하더라도 학습이 잘되는 방법 필요 - 학습률 스케줄링학습률이 크면 학습 후반에 더 나은 손실 값을 얻기 히들고,학습률이 작으면 학습 초반에 너무 더딘 학습을 하게 됨 적응형 학습률: 처음에는 큰 학습률로 가져가되, 현재 에포크의 손실 값이 지난.. 2024. 5. 9.
9장. 심층신경망 1. 심층신경망선형 회귀 또는 로지스틱 회귀는 비선형 문제를 풀 수 없음비선형 데이터를 다루기 위해서 심층신경망이 필요함.심층신경망은 세상에 존재하는 그 어떤 형태의 함수도 근사계산할 수 있음. 심층신경망: 선형계층을 쌓고, 그 사이에 비선형 활성함수를 끼워넣음 2. 역전파(back-propagation)손실함수에 대해 미분을 하여 최적의 가중치 파라미터를 찾아야 하는데,체인룰을 활용하여 효율적인 미분 계산 가능 3. 그래디언트 소실문제(gradient vanishing)입력에 가까운 계층의 가중치 파라미터가 잘 업데이트 되지 않는 문제활성함수 기울기가 1보다 작은데, 작은 그래디언트 값이 계속 곱해져서 생기는 문제 4. ReLU / leaky ReLU그랜디언트 소실 문제를 보완하기 위한 활성함수ReLU.. 2024. 5. 2.
8장. 로지스틱 회귀 선형회귀는 연속형 변수를 예측하지만 로지스틱 회귀는 주로 이진분류를 위해 사용됨 (0또는 1)로지스틱 회귀는 데이터가 어떤 범주에 속할 확률을 0~1 사이 값으로 예측하고, 그 확률에 따라 가능성이 더 높은 범주에 속하는 것으로 분류 1. 활성함수선형계층 함수 직후에 -> 활성함수를 넣어주어 전체 모델 구성 대표적인 활성함수: 시그모이드 함수, 탄에이치함수 시그모이드 함수: 0~1탄에이치: -1~1 2. 손실함수 이진분류문제를 푸는 경우 -> 이진 크로스엔트로피(BCE) 손실함수 3. 로지스틱 회귀의 수식 이때, 확률 값의 표현이라고도 볼 수 있다. 4. 실습import pandas as pdimport seaborn as snsimport matplotlib.pyplot as pltfrom sklear.. 2024. 5. 1.
7장 선형회귀(linear regression) 1. 선형 회귀 선형 회귀 : 실수 벡터 입력이 주어졌을 때 선형적 관계를 지닌 출력 실수 벡터 값을 예측하는 문제 n차원의 입력, m차원의 출력, 데이터 N개 loss값을 가중치 파라미터로 미분하여 loss 값을 낮추는 방향으로 파라미터 업데이트 -> 손실함수를 최소화하는 가중치 파라미터를 가진 선형 회귀 모델 2. 선형 회귀의 수식 선형회귀의 손실함수는 주로 MSE 손실 함수를 사용 각각의 샘플을 따로 계산하는 대신 행렬로 한꺼번에 계산 가능 W와 b로 각각 손실함수를 편미분한 후 경사하강법을 통해 업데이트 3. 선형회귀 실습 import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from sklearn.datasets im.. 2024. 4. 22.
6장 경사하강법 1. 미분, 편미분 편미분: 하나의 입력 변수에 대해서만 미분 gradient : 기울기 벡터 선형계층 미분: m차원의 벡터를 출력으로 갖는 함수 f를 n차원의 벡터 x로 미분하는 경우 2. 경사하강법 경사하강법(gradient descent): 손실함수의 출력을 최소로 만드는 입력을 찾기 위한 방법 -> 손실 함수의 출력값을 낮추기 위해 가중치 파라미터로 미분하여 얻은 그래디언트를 학습률과 곱해서 현재 가중치 파라미터에서 빼줌 ->그래디언트와 반대방향으로! 경사하강법은 지역 최소점(local minima)에 빠질 문제점이 존재하지만, 심층신경망은 가중치 파라미터의 크기가 매우 커지게 되는데, 높은 차원의 공간에서는 지역 최소점이 큰 문제가 되지는 않음. 학습률은 하이퍼파라미터로서, 잘 설정해주어야 한다.. 2024. 4. 22.
5장. 손실함수 1. 손실함수 N개의 데이터 샘플, n차원 L1 L2 : Euclidean distance RMSE MSE MSE는 L2 노름의 제곱에 상수를 곱한 2. 실습 def mse(x_hat, x): # |x|=(batch_size, dim) print((x-x_hat)**2) y=((x-x_hat)**2).mean() return y x=torch.FloatTensor([[1,1],[2,2]]) x_hat=torch.FloatTensor([[0,0],[0,0]]) print(mse(x_hat,x)) #2.5 torch.nn.function 사용 import torch.nn.functional as F F.mse_loss(x_hat,x) #2.5 F.mse_loss(x_hat,x, reduction='sum').. 2024. 4. 10.
4장. 선형계층 선형계층은 행렬의 곱과 벡터의 덧셈으로 이루어짐! 1. 행렬곱(matmul) x=torch.FloatTensor([[1,2],[3,4],[5,6]]) y=torch.FloatTensor([[1,2],[1,2]]) z=torch.matmul(x,y) print(z) print(z.size()) // 3x2 2. 배치행렬곱(bmm) bmm은 마지막 2개의 차원을 행렬 취급하여 병렬로 행렬 곱 연산 수행 x=torch.FloatTensor(3,3,2) y=torch.FloatTensor(3,2,3) z=torch.bmm(x,y) print(z.size()) #3x3x3 3. 선형계층 W=torch.FloatTensor([[1,2],[3,4],[5,6]]) b=torch.FloatTensor([2,2]) def.. 2024. 4. 10.

티스토리툴바