Matrix Algebra and Neural Networks

the-lectures
machine-learning
선형 대수는 어떻게 표현을 간략하게 만드는가?
Author

JS HUHH

Published

February 22, 2024

TL; DR

선형대수는 인생을 쉽게 하지~

넋두리

선형대수는 딥러닝 알고리즘 과정을 묘사하고 이해는데 편리하고 간결한 표현 형식을 제공한다. 강의의 내용을 살펴보자.

행렬의 본질

행렬을 함수로 이해하면 좋다. 즉, 어떤 인풋이 있을 때 이를 이렇게 저렇게 변형하는 것이 형렬의 역할이다.

행렬은 변형

행렬은 변형

 

행렬 곱은 합성함수와 유사하다

행렬 곱은 합성함수와 유사하다

뉴럴넷을 행렬 연산으로 표현하기

아래의 뉴럴넷은 위의 행렬 연산

아래의 뉴럴넷은 위의 행렬 연산

 

매트릭스 표현

매트릭스 표현

pytorch의 사례 보기

파이토치 설명 중에서 다음과 같은 대목이 눈에 띈다.

선형 결합으로 구성된 뉴럴넷

선형 결합으로 구성된 뉴럴넷

 

뉴럴넷의 선형적 의미

뉴럴넷의 선형적 의미

어텐션의 행렬 표현

어텐션도 네트워크로 그리면 복잡하지만 행렬로 표현하면 간단하다!

어텐션의 행렬 표현

어텐션의 행렬 표현

 

풀어보면 이렇다!

풀어보면 이렇다!