인공신경망 모델의 구조와 동작원리

공신경망(Neural Network) 기본 개념 정리

1. 전체 구조

 

 

 

인공신경망은 크게 3가지 층으로 구성된다.

• 입력층(Input Layer)
• 은닉층(Hidden Layer)
• 출력층(Output Layer)

---

2. 입력층 (Input Layer)

입력층의 뉴런 수는
입력 데이터의 feature(특성) 개수와 동일하다

예:

• 키, 몸무게 → 2개
• 이미지(28x28) → 784개

---

3. 출력층 (Output Layer)

출력층의 구조는 문제 유형에 따라 결정된다.

• 회귀 → 1개
• 이진 분류 → 1개 (sigmoid)
• 다중 분류 → 클래스 개수 (softmax)

 입력층과 출력층은 비교적 명확하게 정해지는 편이다.

---

4. 은닉층 (Hidden Layer)

은닉층은 모델의 성능을 결정하는 핵심 요소이다.

• 층의 개수 (depth)
• 뉴런 수 (width)

 정답이 정해져 있지 않기 때문에 실험 또는 선행 연구를 참고하여 설계한다

---

5. 뉴런 (Neuron)의 구조

각 층은 여러 개의 뉴런으로 구성되며,
각 뉴런은 다음과 같은 연산을 수행한다.

 

가중치(weight) × 입력값 + bias

---

6. 가중치 초기화 (Initialization)

학습을 시작하기 전, 가중치는 초기값이 필요하다.

• Xavier Initialization
• He Initialization

 이미 널리 사용되는 방법들이 존재한다.

---

7. 활성 함수 (Activation Function)

뉴런의 출력에 비선형성을 추가하는 역할을 한다.

대표적으로:

• ReLU (은닉층에서 많이 사용)
• Sigmoid (이진 분류 출력층)
• Softmax (다중 분류 출력층)

 상황에 따라 적절히 선택해야 한다.

---

8. 손실 함수 (Loss Function)

모델의 예측값과 실제값의 차이를 수치로 나타낸다.

예:

• MSE (회귀)
• Cross Entropy (분류)

모델이 얼마나 틀렸는지 측정하는 기준

---

9. 옵티마이저 (Optimizer)

손실 함수를 최소화하기 위해
기울기(gradient)를 이용해 가중치를 업데이트

 

대표적으로:

• SGD
• Adam

---

10. 학습 관련 개념

• Epoch
  → 전체 데이터를 몇 번 반복 학습할지
• Batch Size
  → 한 번에 학습에 사용하는 데이터 수

---

🔄 전체 학습 흐름

 

전체 흐름은 다음과 같다:

---

1. 입력 데이터 전달 (Forward Propagation)

입력층 → 은닉층 → 출력층으로 데이터가 전달됨

---

2. 예측값 계산

모델이 결과를 출력

---

3. 손실 계산

예측값과 실제값 비교 → loss 계산

---

4. 역전파 (Backpropagation)

오차를 기반으로 기울기 계산

---

5. 가중치 업데이트

옵티마이저를 이용해 weight, bias 수정

---

6. 반복

이 과정을 epoch 수만큼 반복