티스토리

공대형아의 블로그

검색하기

블로그 홈

공대형아의 블로그

shinslab.tistory.com/m

Shin's Lab 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

[Tensorflow2 강의자료] 4. Gradient Tape(tf.GradientTape) tf.GradientTape Neural network를 만든다는 것은 곧 computational graph를 만든다는 것이다. 즉 node와 edge를 만들어 network computation을 만든다. 일반적인 computational graph와는 다르게 deep learning에서는 prediction과 loss를 연산하는 forward propagation과 partial derivative와 vector chain rule을 이용한 backpropagation이 존재한다. 우리가 Tensorflow와 같은 deep learning framework를 이용하는 가장 큰 이유는 이 forward/backward propagation을 쉽게 구현할 수 있도록 도와주는 Automatic Diffe.. 공감수 2 댓글수 0 2020. 9. 29.
[Tensorflow2 강의자료] 3. Tensor Operations Element-wise Operations in Tensorflow Tensorflow의 tensor operation들은 NumPy의 영향을 크게 받았다. 그리고 NumPy에서 제공하는 ndarray 끼리의 사칙연산은 element-wise operation이다. 따라서 Tensorflow에서도 다음과 같은 연산결과를 얻을 수 있다. t1 = tf.constant([10, 20, 30]) t2 = tf.Variable([1, 2, 3]) print(t1 + t2) # tf.Tensor([11 22 33], shape=(3,), dtype=int32) print(t1 - t2) # tf.Tensor([ 9 18 27], shape=(3,), dtype=int32) print(t1 * t2) # tf.Te.. 공감수 0 댓글수 0 2020. 9. 29.
[Tensorflow2 강의자료] 2. Making Tensors2 Making High-Dimension Tensors Data Science를 하다보면 element가 상당히 많은 tensor를 만들일이 많다. 이때 일일히 값을 넣어주려면 다음과 같은 문제가 발생한다. test_list = [[1, 1, 1], [1, 1, 1], [1, 1, 1], [1, 1, 1], [1, 1, 1], [1, 1, 1], [1, 1, 1], [1, 1, 1], [1, 1, 1]] t1 = tf.constant(test_list) print(t1) ''' tf.Tensor( [[1 1 1] [1 1 1] [1 1 1] [1 1 1] [1 1 1] [1 1 1] [1 1 1] [1 1 1] [1 1 1]], shape=(9, 3), dtype=int32) ''' 단순히 모든 값이 1인.. 공감수 0 댓글수 0 2020. 9. 28.
[Tensorflow2 강의자료] 1. Making Tensors Tensors in Tensorflow Tensorflow를 배우기 위해 알아야할 기본적인 tensor는 두 가지가 있다. 바로 아래의 4가지 중에 tf.Variable과 tf.constant이다. 위의 두 가지 tensor는 각각 사용하는 용도가 다른데, tf.constant는 이름에서 알 수 있듯이 immutable object이다. 즉 내용 수정이 불가능하므로 학습에 필요한 input, label등에 사용될 수 있다. 단순히 immutable의 차이점이 아니라 우리가 딥러닝을 이용하여 학습을 진행할 때 input, label에 대한 학습은 할 필요가 없기 때문에 gradient가 자동으로 구해지지 않는 역할도 한다. 한편 tf.Variable은 mutable object이다. 즉 내용의 값들이 바뀔.. 공감수 0 댓글수 0 2020. 9. 28.
Backpropagation for Logistic Regression1 Linear Model Simplification Backpropagation for Binary Cross Entropy Node Partial Derivative Chain Rule Backpropagation 공감수 1 댓글수 0 2020. 1. 30.
Backpropagation for Common Activation Functions Simgoid Activation Funcion Node Partial Derivatives Chain Rule Backpropagation Tanh Activation Funcion Node Partial Derivatives Chain Rule Backpropagation ReLU Activation Funcion Node Partial Derivatives Chain Rule Backpropagation 공감수 1 댓글수 0 2020. 1. 30.
Introduction to Common Activation Functions(Sigmoid, Tanh, ReLU) 이번 포스트에서는 Deep Learning에서 가장 많이 사용되는 activation function들인 sigmoid, tanh, ReLU에 대해서 알아본다. 실제로는 상당히 다양한 종류의 activation function들이 존재하고 2017년 Google Brain에서 개발한 Swish activation function 등, 지금도 효유적인 backpropagation을 위한 activation function들이 개발되고 있다. 이때 이 모든 activation function들을 한 번에 다루는 것은 비효율적이기도 하고, 지겨우니까 대표적인 activation function들에 대해 배우고, learning process에 접목시켜본 뒤에 다른 activation function들의 특징을.. 공감수 2 댓글수 0 2020. 1. 30.
Backpropagation for Linear Regression3 마지막 Linear Regression에 대한 Backpropagtion으로 Multivariate Linear Regression에 대한 Backpropagation 정리노트이다. Backpropagation for One Sample Model Parital Derivative Chain Rule Backpropagation Visualization Parameter Update Backpropagation for Two Samples Model Parital Derivative Chain Rule Backpropagation Visualization Parameter Update Backpropagation Vectorized form Model Parital Derivative Chain Rule.. 공감수 0 댓글수 0 2020. 1. 30.
Backpropagation for Linear Regression2 이번 포스트에서는 두 번째 model인 $y = \theta_{1} x + \theta_{0}$에 대한 backpropagation을 다뤄본다. 마찬가지로 하나의 Sample에 대한 backpropagation부터 살펴보자. Backpropagation for One Sample Model Parital Derivative Chain Rule Backpropagation Visualization Parameter Update Backpropagation for Two Samples Model Parital Derivative Chain Rule Backpropagation Visualization Parameter Update Backpropagation Vectorized form Model Parit.. 공감수 0 댓글수 0 2020. 1. 30.
Backpropagation for Linear Regression1 Linear Regression을 위한 Backpropagation은 다음과 같은 모델들을 사용하여 순서대로 진행될 것이다. $y = \theta x$ $y = \theta_{1} x + \theta_{0}$ $y = \theta_{2} x_{2} + \theta_{1} x_{1} + \theta_{0}$ 그리고 각 단계에서도 첫 번째로는 하나의 sample에 대한 backpropagation, 두 번째로는 2개의 sample에 대한 backpropagation, 마지막으로 Vectorized form의 backpropagation으로 진행될 것이다. 그러면 이번 포스트에서는 첫 번째 model부터 살펴보도록하자. Backpropagation for One Sample 먼저 forward-backward.. 공감수 1 댓글수 0 2020. 1. 30.
Backpropagation Modules Plus Node Node Partial Derivatives Chain Rule Backpropagation Minus Node Node Partial Derivatives Chain Rule Backpropagation Multiplication Node Node Partial Derivatives Chain Rule Backpropagation Square Node Node Partial Derivatives Chain Rule Backpropagation Average Node Node Partial Derivatives Chain Rule Backpropagation 공감수 0 댓글수 0 2020. 1. 30.
Chapter4 Vectorization: Notebook6 2-dim Vectorization Example3 NumPy Master Class¶Chapter4 Vectorization¶Notebook6 2-dim Vectorization Example3¶ 이번 2차원 Vectorization에서는 notebook3에서 다뤘던 DTFT를 하나의 주파수가 아닌 주파수 영역에서 구해보려고 한다. 먼저 Foureir Transform의 식을 임의의 주파수에서 구하는 식을 보면 다음과 같다. $X(f) = \sum_{n= -\infty}^{\infty} x[n]*e^{-j2 \pi fn}$ 그러면 우리의 신호를 다음과 같이 만들어보자. In [1]: import numpy as np import matplotlib.pyplot as plt import time from scipy.io import wavfile fs, .. 공감수 0 댓글수 0 2020. 1. 10.
Chapter4 Vectorization: Notebook5 2-dim Vectorization Example2 NumPy Master Class¶Chapter4 Vectorization¶Notebook5 2-dim Vectorization Example2¶ 우리가 실제 프로그램을 만들 때 Vectorization의 이득을 가장 많이 보는 부분은 행렬의 곱셈이 아닐까 싶다. 전의 Notebook에서 하나의 matrix에 대한 연산을 진행했다면 이번 시간에는 두 행렬의 곱셈에 대하여 Vectorization이 얼마나 효과적일지 살펴보기 전에 먼저 Matrix와 Vector의 Multiplication을 살펴보고 다음 notebook에서 두 행렬의 곱셈을 다뤄보도록 하자. 먼저 Matrix와 Vector의 Multiplication은 다음과 같이 연산된다. 행렬 A가 (m,n)이고 B가 (n,1)일 때 A*B를 C라 .. 공감수 0 댓글수 0 2020. 1. 9.
Chapter4 Vectorization: Notebook4 2-dim Vectorization Example1 NumPy Master Class¶Chapter4 Vectorization¶Notebook4 2-dim Vectorization Example1¶ 이제 2차원 정보의 Vectorization을 다뤄보도록 하자. Example1으로는 Image Enhancement의 종류인 Power-Law Transformation이다. 먼저 이 Power-Law Transformation이 필요한 이유를 설명하기 위해 gonzalez - digital image proccesing의 Chapter3에 나오는 이미지를 가져와보도록 하자. In [24]: import numpy as np import time import matplotlib.pyplot as plt img = plt.imread('./test_im.. 공감수 0 댓글수 0 2020. 1. 9.
Chapter4 Vectorization: Notebook3 1-dim Vectorization Example3 NumPy Master Class¶Chapter4 Vectorization¶Notebook3 1-dim Vectorization Example3¶ 이번 시간에는 마지막 1-dimensional vectorization을 다뤄보려고 한다. 왜 이렇게 많이 반복하는지 궁금한 독자들도 있겠지만 생각보다 다른 곳에서 Vectorization을 집중적으로 배워볼 기회가 흔치 않기 때문에 이 강의를 통해서라도 최대한 익숙해졌으면 하는 바람에서 3번째 예제까지 다뤄보려고 한다. 위에 보이는 것처럼 NumPy Master Class이지 않은가. 이번 시간에는 Fourier Transform을 이용하여 Vectorization을 연습해보려고 한다. 이때 모든 주파수에 대해 연산하면 2차원이 되므로 f=10일 때를 구해보.. 공감수 0 댓글수 0 2020. 1. 9.
Chapter4 Vectorization: Notebook2 1-dim Vectorization Example2 NumPy Master Class¶Chapter4 Vectorization¶Notebook2 1-dim Vectorization Example2¶ 이번 notebook에서는 1-dimensional vectorization에 익숙해져야 더 높은 차원의 vectorization을 쉽게 이용할 수 있으므로 2가지 연습을 더 해보려고 한다. 1. Mean Square Error 2. Binary Cross Entropy In [1]: import numpy as np import matplotlib.pyplot as plt import time Mean Square Error¶ 우리가 흔히 MSE라고 부르는 Mean Square Error는 다음과 같은 식을 통해 구한다. $MSE = \frac{1}{N} \.. 공감수 0 댓글수 0 2020. 1. 9.
Chapter4 Vectorization: Notebook1 1-dim Vectorization Example1 NumPy Master Class¶ Chapter4 Vectorization¶ Notebook1 Example1¶ 사실 NumPy의 ndarray에 대해서 배울 것이 훨씬 많이 남아있지만, 계속해서 그런 내용만 다루다 보면 지겹기도 하고 도대체 이런걸 배워서 뭐가 좋은지 모르는 채로 배우면 효과가 떨어지기 마련이다. 따라서 이번 Chapter4에서는 Vectorization에서 시작해서 Vectorization으로 끝나는 NumPy의 가장 큰 장점에 대해서 배워보려고 한다. 실제로 프로그래밍을 하면 초급 프로그래머에서 중급 프로그래머로 넘어가는 가장 큰 전환점이 아닐까싶다. 이 Vectorization을 얼마나 잘 하느냐에 따라서 프로그램의 성능은 차이가 생각보다 크게 벌어지므로 자세히 다뤄보도록 하자... 공감수 0 댓글수 0 2020. 1. 9.
Chapter3 Mathematical Functions: Notebook5 Handling Complex Numbers NumPy Master Class¶Chapter3 Mathematical Functions¶Notebook5 Handling Complex Numbers¶ 우리가 Engineering 분야에 대한 분석을 하면 빠질 수 없는 것이 Complex number들이다. 그리고 NumPy에서는 image number를 j로 표시한다. Engineering 분야에서 특히 전자공학에서 i대신 j를 쓰는 이유는 저자가 생각하기에 i는 current라는 매우 중요한 측정치가 사용하고 있기 때문에 하나 밀려나서 j라고 사용하는 것 같고, NumPy도 이 j를 사용하고 있다. 이 Complex number를 더 편리하게 사용하기 위해 다음과 같은 method들을 배워보도록 하자. 1. np.real() 2. np.imag(.. 공감수 0 댓글수 0 2020. 1. 9.
Chapter3 Mathematical Functions: Notebook4 Powers NumPy Master Class¶Chapter3 Mathematical Functions¶Notebook4 Powers¶ 저번 notebook에서는 $e^{x}$와 같이 exponent를 배웠다면 이번 notebook에서는 $x^{e}$와 같은 power에 대해서 배워본다. 사실 이 np.power()만 알아도 다양한 연산을 소화할 수 있게 된다. 공식 document를 찾아보면 numpy.power(x1, x2)를 사용할 때, x1, x2가 array_like인 것을 알 수 있다. 그리고 x1에는 base, x2에는 exponent가 들어가게 된다. (https://docs.scipy.org/doc/numpy-1.13.0/reference/generated/numpy.power.html) 이 arra.. 공감수 0 댓글수 0 2020. 1. 9.
Chapter3 Mathematical Functions: Notebook3 Exponents and Logarithms NumPy Master Class¶Chapter3 Mathematical Functions¶Notebook3 Exponents and Logarithms¶ 이번 시간에는 Exponent를 구하는 방법과 그 역연산인 Logarithm에 대해 배워본다. 이때 base가 natural constant와 2일때를 다룬다. 이는 우리가 앞으로 사용하는 exp, log는 보통 base가 natural constant일 때를 말하고, 우리가 computer science, imformation theory 등을 다룰 때 base는 보통 2이기 때문이다. 사실 natural logarithm을 다루는 method들 외에는 모두 np.power()로 대체할 수 있지만 다른 사람이 쓴 코드를 알아보기 위해서라도 간단히 알.. 공감수 0 댓글수 0 2020. 1. 9.
Chapter3 Mathematical Functions: Notebook2 Hyperbolic Functions NumPy Master Class¶ Chapter3 Mathematical Functions¶ Notebook2 Hyperbolic Functions¶ Trigonometric과 함께 많이 사용되는 함수들이 Hyperbolic function들이다. 이는 NumPy에서 다음과 같이 제공하고 있다. 1. np.sinh() 2. np.cosh() 3. np.tanh() 4. np.arcsinh() 5. np.arccosh() 6. np.arctanh() 이를 1-3, 4-6으로 묶어서 확인해보자. In [2]: import numpy as np import matplotlib.pyplot as plt np.sinh(), np.cosh(), np.tanh()¶ In [5]: radian_range = np.l.. 공감수 0 댓글수 0 2020. 1. 8.
Chapter3 Mathematical Functions: Notebook1 Trigonometric Functions NumPy Master Class¶ Chapter3 Mathematical Functions¶ Notebook1 Trigonometric Functions¶ NumPy에서는 물론 우리가 아는 sin, cos, tan 등 trigonometric function들을 한 번에 구할 수 있는 method들도 존재한다. trigonometric function에 대해서 살펴볼 method들은 다음과 같다. 1. np.sin() 2. np.cos() 3. np.tan() 4. np.arcsin() 5. np.arccos() 6. np.arctan() 7. np.deg2rad() 8. np.rad2deg() 위의 method들을 1-3, 4-6, 7-8로 묶어서 확인해보자. 참고로 위의 함수들의 input은 rad.. 공감수 0 댓글수 0 2020. 1. 8.
Chapter2 Arithmetic Operations: Notebook8 NumPy Methods NumPy Master Class¶ Chapter2 Arithmetic Operations¶ Notebook8 NumPy Methods¶ 우리가 여태 ndarray의 method를 배웠던 것들은 다음과 같다. 1. ndarray.max() 2. ndarray.min() 3. ndarray.argmax() 4. ndarray.argmin() 5. ndarray.mean() 6. ndarray.std() 7. ndarray.var() 8. ndarray.T 9. ndarray.squeeze() 10. ndarray.dot() 하지만 많은 사람들은 ndarray의 method 외에도 numpy의 method를 많이 사용한다. 따라서 위의 함수들은 다음과 같이 사용할 수 있다. 1. np.max(ndarray).. 공감수 0 댓글수 0 2020. 1. 8.
Chapter2 Arithmetic Operations: Notebook7 Matrix Multiplications NumPy Master Class¶Chapter2 Arithmetic Operations¶Notebook7 Matrix Multiplications¶ 이번 notebook에서는 vector들의 dot product에 이어 matrix multiplication에 대해 알아보자. 이 matrix multiplication은 특히 data science에서 많은 data를 한 번에 처리할 때 항상 사용되는 연산이다. 그리고 조심할 점은 (m,n)*(n,p)처럼 가운데 2개의 차원이 동일해야 된다는 점이다. matrix multiplication은 dot product와 마찬가지로 ndarray.dot()을 통해서 연산할 수 있다. In [2]: import numpy as np Matrix Multiplic.. 공감수 0 댓글수 0 2020. 1. 8.
Chapter2 Arithmetic Operations: Notebook6 Dot Products NumPy Master Class¶Chapter2 Arithmetic Operations¶Notebook6 Dot Products¶ Vector와 Matrix 연산에 꽃은 dot product와 matrix multiplication이 아닐까 싶다 이를 통해 우리는 table 자체의 연산이 가능하며 수많은 연산을 단번에 수행할 수 있기 때문에 선형대수학의 연산 중에서도 가장 중요하다고 할 수 있다. 그리고 우리는 이 연산을 ndarray.dot() method를 통해 할 수 있다. 이번 notebook에서는 dot product에 대해 집중적으로 다뤄보자. In [23]: import numpy as np dot product를 배우기 전에 2가지 필요한 method들을 배워보자. 바로 transpose.. 공감수 0 댓글수 0 2020. 1. 8.
Chapter2 Arithmetic Operations: Notebook5 Mean, Std and Var Values NumPy Master Class¶Chapter2 Arithmetic Operations¶Notebook5 Mean, Std, Var values¶ 우리가 data를 분석할 때 가장 먼저 사용하는 값들이 바로 mean, standard deviation, variance 값들이다. 물론 NumPy에서도 이를 쉽게 구할 수 있는 method들이 존재한다. 이들은 각각 1. ndarray.mean() 2. ndarray.std() 3. ndarray.var() 이다. In [8]: import numpy as np ndarray.mean(), ndarray.std(), ndarray.var() with 1-dim ndarray¶ In [7]: test_np = np.random.randint(low = 0,.. 공감수 0 댓글수 0 2020. 1. 8.
Chapter2 Arithmetic Operations: Notebook4 Argmax, Argmin Values NumPy Master Class¶Chapter2 Arithmetic Operations¶Notebook4 argmax, argmin values¶ 이번 notebook에서는 3,4인 argmax와 argmin을 살펴보도록 하자 1. ndarray.max() 2. ndarray.min() 3. ndarray.argmax() 4. ndarray.argmin() 1,2에서 다룬 max()와 min()은 최댓값을 뽑아주는 method들이었다면 argmax, argmin은 수학에서 다루는 것과 동일하게 max, min을 만드는 independent variable의 값을 뽑아준다. 즉 ndarray의 입장에서 봤을 때, 최댓값, 최솟값을 가지는 index를 return해준다. 이는 max(), min() met.. 공감수 0 댓글수 0 2020. 1. 8.
Chapter2 Arithmetic Operations: Notebook3 Max, min Values NumPy Master Class¶Chapter2 Arithmetic Operations¶Notebook3 Max, min values¶ 우리가 data science를 다루면 가장 많이 사용하는 것이 바로 최댓값과 최솟값을 구하는 것이다. 이럴 때 NumPy에서는 ndarray에서 바로 연산이 가능하도록 method를 만들어놨다. 이는 각각 1. ndarray.max() 2. ndarray.min() 3. ndarray.argmax() 4. ndarray.argmin() 이다. 1,2와 3,4를 묶어서 이번 notebook에서는 max, min을 먼저 살펴보도록 하자. ndarray.max() and ndarray.min()¶ In [2]: import numpy as np In [14]: test_n.. 공감수 0 댓글수 0 2020. 1. 8.
Chapter2 Arithmetic Operations: Notebook2 ndarray Multiplication, Division and Modulo NumPy Master Class¶ Chapter2 Arithmetic Operations¶ Notebook2 ndarray Multiplication, Division and Modulo¶ 우리가 Python에서 사용하는 Multiplication과 Division,Modulo는 각각 다음과 같다. In [18]: import numpy as np Python List¶ In [9]: operand1 = 10 operand2 = 3 print(operand1 * operand2) print(operand1 / operand2) print(operand1 % operand2) 30 3.3333333333333335 1 그러면 list를 이용하여 이 연산이 가능할지 알아보자. In [14]: operand.. 공감수 0 댓글수 0 2020. 1. 8.
Chapter2 Arithmetic Operations: Notebook1 ndarray Addition, Subtraction and Broadcasting NumPy Master Class¶Chapter2 Arithmetic Operations¶Notebook1 ndarray Addition and Broadcating¶Chapter2는 ndarray를 이용한 기본적인 arithmetic operation에 대해서 알아본다. 우리가 NumPy를 사용하지 않는 Pure Python을 사용할 때는 사용할 수 없는 다양한 기능들과, broadcating을 이용한 operation들을 살펴보고 실제 Mean Square Error, Cross Entropy처럼 실제 프로그래밍 중에 많이 사용되는 예제들도 살펴보도록 하자. 먼저 살펴볼 것은 가장 간단한 +,- 연산이다. 이를 통해서 먼저 ndarray의 기본적인 연산과 python list와의 차이점을 알아보고, .. 공감수 0 댓글수 0 2020. 1. 8.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.