Over-determined(방정식의 개수가 미지수보다 많은 상황) linear systems에서

최적의 해를 찾는 방법 (A: input vector, x: weight, b: label)

Over-determined linear systems을 가질 때 해를 찾을 수 있을까?

Shape 가정
A: (100 x 3)
x: (3 x 1)
b: (100 x 1)

그렇다면 이는 아래의 linear transformation으로 표현해볼 수 있다.
T: R^3 -> R^100

사진과 같이 over-determined 한 상황이라면, onto가 거의 불가능하다.
즉, A의 column space가 b를 덮는 것이 거의 불가능하다.
즉, b는 A의 column space 밖에 있을 가능성이 높다.

왜?

미지수 3개를 이용해서 A가 linear transformation을 한다고 해서 100차원을 모두 나타낼 수는 없으므로.
= 방정식의 개수가 미지수보다 많으므로

⇒ 따라서, over-determined 상황에서는 일반적으로 해가 없다.

Over-determined 상황에서도 해를 구하려면?

정확히 맞아 떨어지는 해를 구할 수는 없으므로 최적의 해를 구해야 한다.
최적의 해란?

=> Best approximation solution을 말한다.
즉, 잘 근사를 시킨 해를 구해야 한다.

좋은 해, 최적의 해란?

벡터 b와 가장 가까운 벡터를 만들 수 있도록 하는 x이다.
ㄴ> 그러한 x를 구하면 A는 linear combination을 통해 벡터를 형성하여
	 b - Ax의 길이가 가장 짧도록 하는 벡터 Ax를 만들 수 있게 되므로.

즉, b - Ax의 값이 최소가 되는 x이다.
즉, ||b - Ax||가 가장 짧게 되도록 만드는 x이다.