iOS 개발 기록 블로그

MNIST (손글씨 필기체) 데이터 우선 MNIST 데이터를 불러와봅시다. 여기서부터는 파이참 에디터를 사용하겠습니다. 1. 책 소스코드와 데이터를 다운로드 받는다. https://github.com/WegraLee/deep-learning-from-scratch GitHub - WegraLee/deep-learning-from-scratch: 『밑바닥부터 시작하는 딥러닝』(한빛미디어, 2017) 『밑바닥부터 시작하는 딥러닝』(한빛미디어, 2017). Contribute to WegraLee/deep-learning-from-scratch development by creating an account on GitHub. github.com 2. dataset 이라는 폴더를 워킹 디렉토리에 가져다둔다. (..

소프트맥스(softmax) 함수 분류를 위한 출력층 함수로 0~1 사이의 숫자를 출력하는 함수입니다. 공식은 다음과 같습니다. 소프트맥스 함수는 지수 함수를 사용하는데 이 지수함수가 쉽게 아주 큰 값을 반환합니다. e(스위스 수학자 오일러가 발견한 무리수)의 10승은 20,000이 넘고 e의 100승은 40개가 넘고 e의 1000승은 무한대를 뜻하는 inf가 출력되어 돌아오므로 컴퓨터로 계산을 할 수가 없습니다. 예) 로그함수는 수를 작게 만들고 지수함수는 수를 크게 만듭니다. 소프트맥스 함수 공식에서 상수 C를 분모, 분자에 곱해주었습니다. 임의의 array를 하나 만들고 자연상수의 제곱으로 계산한 값은 아래와 같습니다. 리스트에서 가장 큰 값을 뽑는 함수는 numpy 라이브러리의 max라는 함수가 있..

신경망의 내적 위에 신경망에서 x1과 x2가 각각 1과 2이면 y1과 y2의 값은 무엇일까? x1*1 + x2*2 = y1 x1*3 + x2*4 = y2 x1*5 + x2*6 = y3 그러면 위 신경망에서 만들어진 가중의 총합인 y값을 시그모이드 함수를 통과시켜서 나온 y_hat을 출력해보자 3층 신경망 구현하기 3층 신경망 (hidden 2층) 전체 코드 시그모이드 함수 오즈비율 그래프에서 로짓 함수에서 시그모이드 함수로 발전하였다. 오즈 비율(Odds Ratio) 그래프는 실패할 확률 대비 성공할 확률을 말합니다. 로짓 함수는 오즈비 함수에 로그를 사용한 함수를 말합니다. 시그모이드는 로짓함수에서 P(확률) 값을 계산하기 편하도록 지수 형태로 바꾼 함수입니다. 입력값 1, 2와 가중치 2행 3렬의 [..

시그모이드 함수 시그모이드 함수의 식이 왜 아래와 같을까 통계학에서 성공할 확률이 실패할 확률보다 얼마나 큰지를 나타내는 오즈비율이라는 값이 있다. 오즈 비율 = (성공 확률) / (실패 확률) 성공할 확률 P를 0~1 사이의 값으로 나타내면 실패할 확률은 1-P이다 위의 그래프에서 P(성공할 확률) 가 1에 가까우면 오즈비율 (성공할 확률이 실패할 확률보다 얼마나 큰지) 값이 급격히 커져버리는 현상이 발생한다. 급격히 커져버리는 현상을 방지하기 위해서 이 함수에 로그를 취한게 logit 함수이다. 그래프는 아래와 같다 P가 0.5 일 때 실패할 확률 대비 성공할 확률이 0이 된다 P = 0.5 일 때는, 0이 되고 P = 1 일 때는, 무한히 큰 양수, P = 0 일 때는, 무한히 큰 음수를 가지는 특..

퍼셉트론과 신경망의 차이점 1. 퍼셉트론은 원하는 결과를 출력하도록 사람이 직접 가중치를 정해줘야 한다 2. 신경망은 가중치 매개변수의 적절한 값을 기계가 데이터로부터 학습해서 자동으로 알아낸다 신경망에 들어가는 함수 1. 은닉층에 들어가는 함수 (신호를 확률로 내보내는 역할) - 계단 함수 - 시그모이드 함수 - 렐루 함수 2. 출력층에 들어가는 함수 (은닉층에서 보내온 확률을 모아 개인지 고양인지 판별) - 항등 함수 (회귀 분석) - 소프트맥스 (softmax) 함수 (분류 문제) 3. 배치 처리하는 함수 신경망 안에 은닉층에 들어가는 활성화 함수 3가지 1. 계단 함수 : 출력 신호가 0 또는 1의 값을 출력하는 함수 2. 시그모이드 함수 : 0 ~ 1 사이의 실수를 출력하는 함수 3. 렐루 함수..

예제) 아래의 식을 파이썬으로 구현하시오 식) b + x1 * w1 + x2 * w2 = ? 답) AND 게이트 예제) AND 게이트를 파이썬으로 구현하시오 보기) 답) 퍼셉트론 게이트 3가지 1. AND 2. OR 3. NAND 4. XOR : exclusive OR 라는 뜻으로 둘 중에 하나만 1일 때 1이 된다. OR 게이트 예제) 위 AND게이트 예제를 수정하여 OR 게이트 함수를 생성하시오 NAND 게이트 예제) 위 예제들을 수정하여 NAND 게이트 함수를 생성하시오 XOR 게이트 단층 신경망과 다층 신경망의 차이 1958년 로젠블래트가 퍼셉트론을 제안을 했다. 1959년 민스키가 기존 퍼셉트론의 문제점을 지적했는데 XOR 분류를 못한다는 문제점을 지적하고 인공지능의 겨울기가 시작되었다. 즉, ..

머신러닝의 종류 1. 지도학습 : 정답이 있는 상태에서 학습 예: KNN, decision tree, naivebaisys, 규칙기반, 회귀분석, 신경망 2. 비지도 학습 : 정답이 없는 상태에서 학습 예: k-means 3. 강화학습 : 보상을 통해서 학습 데이터를 만들며 학습 퍼셉트론 퍼셉트론: 인간의 뇌세포 중에 하나를 컴퓨터로 구현해본 것 1943년에 미국의 신경외과 의사인 워렌 멕컬록에 의해서 발단이 되었고 1957년에 프랑크 로젠 블라트가 퍼셉트론 알고리즘을 고안했다. 사람의 뇌의 동작을 전기 스위치의 온/오프로 흉내낼 수 있다는 이론을 증명을 했다. 간단히 말해, 인간의 신경세포 하나를 흉내를 낸 것이다. 고등학교 생물 시간에 배운 3가지 용어 1. 자극 (stimulus) 2. 반응 (re..

Table of Contents - 라인그래프 - 산포도그래프 p.41 딥러닝 실험에서는 그래프 그리기와 데이터 시각화가 중요하다 matplotlib 는 그래프를 그리기 위한 라이브러리이고, 이를 이용하면 그래프 그리기가 쉬워진다 예제) import matplotlib.pyplot as plt plt.figure() # 하나의 화면에 여러 개의 그래프를 그릴 때 필요하기 때문에 없어도 무방 plt.plot([1,2,3,4,5,6,7,6,5,4,3,2,1,0]) plt.show() 라인그래프 예제 2) 넘파이 배열을 이용해서 그래프 그리기 import matplotlib.pyplot as plt import numpy as np t = np.arange(0, 12, 0.01) plt.plot(t) plt...

교재 밑바닥부터 시작하는 딥러닝 CNN 이란 인공지능의 눈? CNN 사진 속에서 사람, 동물 등을 구별할 수 있다 다음 카카오 로드뷰에 사람 얼굴이나 차 번호 등을 개인정보 보호법 상 반드시 모자이크 처리를 해야하는데 너무 많아서 이것을 사람이 일일이 할 수가 없다. 따라서 컴퓨터에게 모자이크 처리하라고 시켜야 한다. 그 때 쓴다. 데이터를 분석한다는 것은? 회사에 돈을 벌어 주겠다. 의료 영상 데이터를 분석한다는 것은? 환자를 살리는 일이 된다. 007 영상 object detection, yolo 기술 MRI 사진 segmentation 인공지능의 입? RNN 개요 1장. 파이썬 기본 문법 2장. 퍼셉트론 (신경망의 하나의 세포를 컴퓨터로 구현) 3장. 신경망 (신경망의 활성화 함수, 3층 신경망 생..