일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Python Challenge
- Apache2
- HTML
- 딥러닝
- 코딩
- flag
- 역전파
- 리뷰
- 신경망
- 파이썬
- picoCTF
- PHP
- 오차역전파법
- 우분투
- 신경망 학습
- 설치
- 기울기
- PostgreSQL
- AdaGrad
- 책
- CTF
- PICO CTF
- 백준
- 소프트맥스 함수
- 순전파
- 아파치
- sgd
- FastAPI
- Python
- C언어
Archives
- Today
- Total
목록오버플로우 (1)
Story of CowHacker
딥러닝 2.6 신경망
이번 글에서는 먼저 앞 글에서 언급한 소프트맥스 함수의 취약점을 보안한 식을 알아볼 것이다. 소프트맥스 함수에서 지수함수 ( 분자 ) 는 쉽게 아주 큰 값을 낸다. 예를 들어 e^10 은 20,000이넘고, e^100 은 0이 40개가 넘는 큰 값이 된다 이런 큰 값끼리 나눗셈을 하면 결과 수치가 불안정 해진다. 즉, 오버플로 문제가 생긴다. 이제 한번 앞에서 언급한 소프트맥스 함수를 개선 해본다. 개선전 소프트맥스 함수 일단 개선 전 소프트맥스 함수식을 본다. 소프트맥스 함수 개선 과정 첫 번째 과정에서는 C라는 임의의 정수를 분자, 분모 양쪽에 곱했다. 두 번째 과정에서는 C를 지수 함수인 exp() 안으로 옮겨 logC로 만든다. 세 번째 과정에서는 logC를 C` 라는 새로운 기호로 치환한다. 결..
공부/딥러닝
2020. 8. 5. 22:19