최소제곱법(Method of Least Squares)은 측정이나 실험을 통해 얻은 데이터 집합에 가장 적합한 수학적 모델을 결정하기 위해 사용되는 수치적 최적화 기법이다. 이 방법은 관측값과 모델에 의한 예측값 사이의 차이인 잔차(residual)를 정의하고, 모든 데이터 포인트에 대한 잔차의 제곱합을 최소화하는 매개변수를 산출하는 것을 목적으로 한다. 과학적 관측에서 발생하는 오차를 체계적으로 처리하기 위해 고안된 이 기법은 오늘날 통계학, 수치 해석, 기계 학습 등 데이터를 다루는 거의 모든 학문 분야의 기초가 되고 있다.¹⁾

수학적 정의를 위해 관측된 데이터 쌍 $ (x_i, y_i) $가 $ n $개 존재한다고 가정한다. 여기서 $ x_i $는 독립 변수, $ y_i $는 종속 변수이다. 추정하고자 하는 매개변수 벡터를 $ $라고 할 때, 모델 함수를 $ f(x, ) $로 정의하면 각 데이터 포인트에서의 잔차 $ r_i $는 다음과 같이 표현된다.

$ r_i = y_i - f(x_i, ) $

최소제곱법의 핵심인 목적 함수(objective function) $ S() $는 이 잔차들의 제곱의 합으로 구성된다.

$$ S(\beta) = \sum_{i=1}^{n} r_i^2 = \sum_{i=1}^{n} (y_i - f(x_i, \beta))^2 $$

이 함수 $ S() $를 최소화하는 매개변수 $ $를 찾는 과정이 최소제곱 추정의 본질이다. 목적 함수에서 잔차의 단순 합이 아닌 제곱합을 사용하는 이유는 크게 두 가지로 요약된다. 첫째, 잔차의 부호와 관계없이 오차의 크기를 양의 값으로 통일하여 누적할 수 있으며, 수학적으로는 미분 가능한 이차 형식(quadratic form)을 취하게 되어 최적화 문제를 해결하기 용이해진다. 둘째, 통계적 관점에서 오차가 정규 분포(normal distribution)를 따른다고 가정할 때, 최소제곱법을 통해 얻은 추정량은 최대 우도 추정법(Maximum Likelihood Estimation, MLE)에 의한 결과와 일치하는 통계적 정당성을 확보한다.²⁾

최적해를 구하기 위해서는 목적 함수 $ S() $를 매개변수 $ $에 대해 편미분하여 그 결과가 0이 되는 지점을 찾는다. 선형 모델의 경우 이 과정은 정규 방정식(normal equations)이라 불리는 일련의 선형 연립 방정식으로 귀결되며, 이는 행렬 대수를 통해 명시적인 해(closed-form solution)를 구할 수 있게 한다. 반면 비선형 모델의 경우에는 직접적인 해를 구하기 어려우므로 가우스 뉴턴 방법이나 레벤버그 마쿼트 알고리즘과 같은 반복적인 수치 최적화 기법을 동원한다.

기하학적 관점에서 최소제곱법은 선형 대수학의 직교 투영(orthogonal projection) 원리로 해석될 수 있다. 관측값들을 $ n $차원 공간의 하나의 벡터 $ $로 간주하고, 모델이 생성할 수 있는 모든 예측값의 집합을 해당 공간 내의 부분 공간(subspace)으로 정의할 때, 최소제곱해는 벡터 $ $와 이 부분 공간 사이의 유클리드 거리(Euclidean distance)를 최소화하는 점을 찾는 것과 같다. 이는 결과적으로 잔차 벡터가 모델의 열 공간(column space)과 직교할 때 달성되며, 이러한 기하학적 통찰은 데이터의 차원 축소나 신호 처리 분야에서도 중요한 이론적 배경을 제공한다.

최소제곱법(Least Squares Method)은 관측된 데이터와 수학적 모델 사이의 적합도를 측정하기 위해 잔차(residual)의 제곱합을 최소화하는 방식으로 매개변수(parameter)를 추정하는 수치해석적 최적화 기법이다. 특정 물리적 현상이나 사회적 현상을 설명하기 위해 설정된 함수 모델이 실제 측정값과 완벽하게 일치하지 않을 때, 최소제곱법은 발생한 오차를 통계적으로 가장 타당한 방식으로 처리하여 최적의 근사해를 제공한다. 이 방법론은 통계학, 계량경제학, 측량학 등 데이터를 다루는 거의 모든 학문 분야에서 회귀 분석의 기초로 활용된다.

임의의 시스템에서 독립 변수 $ x_i $에 대응하는 종속 변수의 측정값을 $ y_i $라 하고, 이를 설명하기 위한 모델 함수를 $ f(x, ) $라고 정의하자. 여기서 $ $는 모델의 특성을 결정하는 미지의 매개변수 벡터이다. 이때 각 관측점에서의 잔차 $ r_i $는 실제 측정값과 모델에 의한 예측값의 차이로 정의된다. $$ r_i = y_i - f(x_i, \beta) $$ 최소제곱법의 목적은 모든 관측치에 대한 잔차의 제곱을 합산한 목적 함수(objective function) $ S $를 최소화하는 $ $를 찾는 것이다. 목적 함수 $ S $는 다음과 같은 수식으로 표현된다. $$ S(\beta) = \sum_{i=1}^{n} r_i^2 = \sum_{i=1}^{n} (y_i - f(x_i, \beta))^2 $$

잔차를 단순히 합산하지 않고 제곱하여 합산하는 데에는 수학적 및 통계적 근거가 존재한다. 우선 잔차를 제곱함으로써 양수와 음수가 혼재된 오차들이 서로 상쇄되는 현상을 방지하고, 모든 오차가 양의 값을 가지도록 보정한다. 수학적으로는 절댓값 함수와 달리 제곱 함수는 모든 구간에서 미분 가능하므로, 미적분학을 이용하여 최솟값을 구하는 과정이 용이하다는 장점이 있다. 또한 확률론적 관점에서 측정 오차가 평균이 0이고 분산이 일정한 정규분포를 따른다고 가정할 때, 최소제곱법을 통해 얻은 추정량은 최대우도추정법(Maximum Likelihood Estimation, MLE)에 의한 추정량과 일치하게 된다.

이 방법론은 모델 함수의 형태에 따라 선형 최소제곱법(Linear Least Squares)과 비선형 최소제곱법(Non-linear Least Squares)으로 구분된다. 모델이 매개변수 $ $에 대해 선형 결합으로 이루어진 경우, 목적 함수의 편미분을 통해 유도된 정규 방정식(Normal Equation)을 풀어 단 한 번의 연산으로 전역 최적해를 구할 수 있다. 반면 모델이 비선형인 경우에는 직접적인 해를 구하기 어려우므로, 초기값을 설정한 후 반복적인 수치 계산을 통해 최적해에 수렴시키는 가우스 뉴턴 방법(Gauss-Newton method) 등의 알고리즘을 사용한다. 결과적으로 최소제곱법은 주어진 데이터의 변동성을 가장 잘 설명하면서도 특정 관측값에 과도하게 치우치지 않는 균형 잡힌 모델을 구축하는 데 핵심적인 역할을 수행한다.

오차 제곱의 합을 최소화하기 위한 목적 함수의 구성과 그 수학적 의미를 고찰한다.

벡터 공간에서 관측값 벡터를 부분 공간으로 투영하는 관점에서의 최소제곱법을 설명한다.

최소제곱법(Method of Least Squares)의 기원은 18세기 말과 19세기 초 천문학 및 측지학 분야에서 직면했던 실질적인 문제 해결 과정과 궤를 같이한다. 당시 과학자들은 천체의 궤도를 결정하거나 지구의 형상을 정밀하게 측정하기 위해 수많은 관측 데이터를 수집하였으나, 측정 기기의 한계와 환경적 요인으로 인해 발생하는 오차를 처리하는 데 어려움을 겪었다. 미지수의 개수보다 관측 방정식의 수가 더 많은 과잉 결정계(Overdetermined system) 상황에서, 모든 관측치를 완벽하게 만족하는 단일해를 구하는 것은 불가능하였다. 이에 따라 여러 관측값으로부터 가장 신뢰할 수 있는 최적의 추정치를 도출하기 위한 수학적 원리의 정립이 절실히 요구되었다.

이러한 시대적 요구에 부응하여 최소제곱법을 학계에 처음으로 공식 발표한 인물은 프랑스의 수학자 아드리앵마리 르장드르(Adrien-Marie Legendre)이다. 그는 1805년 발표한 저서 『혜성 궤도 결정의 새로운 방법(Nouvelles méthodes pour la détermination des orbites des comètes)』의 부록에서 이 원리를 제안하였다. 르장드르는 각 관측값 $ y_i $와 모델에 의한 예측값 $ f(x_i) $ 사이의 차이인 잔차(Residual)를 정의하고, 이들의 제곱합을 최소화하는 방법론을 제시하였다.

$$ S = \sum_{i=1}^{n} [y_i - f(x_i)]^2 $$

그는 잔차의 단순 합이나 절댓값의 합을 이용하는 대신 제곱합을 선택함으로써, 미분을 통해 최적해를 산출하는 과정이 수학적으로 매우 간결해진다는 점을 통찰하였다. 르장드르의 접근은 확률론적 배경보다는 수치 해석적인 편의성과 논리적 명쾌함에 초점이 맞춰져 있었다.

독일의 수학자 카를 프리드리히 가우스(Carl Friedrich Gauss)는 1809년 저술한 『태양 주변을 원추 곡선 궤도로 회전하는 천체 운동 이론(Theoria motus corporum coelestium in sectionibus conicis solem ambientium)』에서 최소제곱법을 더욱 체계적으로 발전시켰다. 가우스는 자신이 이미 1795년부터 이 방법을 사용해 왔다고 주장하며 르장드르와 우선권 논쟁을 벌이기도 하였으나, 그의 진정한 공헌은 최소제곱법에 확률론적 정당성을 부여한 데 있다. 가우스는 관측 오차가 정규 분포(Normal distribution)를 따른다는 가정하에, 최소제곱법에 의한 추정치가 최대 우도 추정법(Maximum Likelihood Estimation)과 일치함을 증명하였다. 특히 그는 1801년 실종되었던 소행성 세레스(Ceres)의 위치를 단 몇 개의 관측 자료만으로 정확히 예측해냄으로써 이 방법의 실용적 위력을 전 세계에 입증하였다.³⁾

이후 피에르시몽 라플라스(Pierre-Simon Laplace)는 1812년 발간한 『확률론의 분석적 이론(Théorie analytique des probabilités)』에서 중심극한정리(Central Limit Theorem)를 이용하여 가우스의 오차 법칙을 보완하였다. 라플라스는 수많은 독립적인 미세 오차들이 합쳐질 때 그 전체 오차의 분포가 정규 분포로 수렴한다는 사실을 밝힘으로써, 오차가 반드시 정규 분포를 따라야 한다는 가우스의 전제를 일반적인 상황으로 확장시켰다.⁴⁾ 이러한 일련의 과정을 거쳐 최소제곱법은 단순한 수치 계산 기법을 넘어 현대 통계학과 회귀 분석의 핵심적인 근간으로 자리 잡게 되었다.

18세기 천체 관측 데이터의 오차를 보정하기 위해 발생한 학문적 요구를 설명한다.

최소제곱법을 처음 발표한 르장드르와 이를 체계화하고 오차 법칙을 정립한 가우스의 업적을 비교한다.

선형 최소제곱법(Linear Least Squares)은 추정하고자 하는 매개변수(parameter)가 선형 결합의 형태로 구성된 모델에서 잔차(residual)의 제곱합을 최소화하는 기법이다. 여기서 ’선형’이라는 용어는 독립 변수와 종속 변수의 관계가 반드시 직선임을 의미하는 것이 아니라, 모델의 구조가 매개변수에 대해 선형적임을 뜻한다. 예를 들어, 다항식 회귀 모델은 독립 변수에 대해서는 비선형적일 수 있으나, 매개변수 계수에 대해서는 선형적이므로 선형 최소제곱법의 범주에 포함된다. 이러한 특성 덕분에 선형 최소제곱법은 수치적으로 닫힌 형태의 해(closed-form solution)를 가질 수 있으며, 이는 반복적인 최적화 과정이 필수적인 비선형 최소제곱법과 구별되는 가장 큰 특징이다.

모델을 행렬 형태로 표현하면 분석과 계산이 용이해진다. 관측값 벡터를 $ $, 설계 행렬(design matrix)을 $ $, 추정할 매개변수 벡터를 $ $, 그리고 오차항 벡터를 $ $이라 할 때, 선형 모델은 $ = + $으로 정의된다. 이때 최소제곱법의 목적 함수(objective function) $ S() $는 다음과 같이 관측값과 모델 예측값의 차이인 잔차 벡터의 유클리드 노름(Euclidean norm)의 제곱으로 설정된다.

$$ S(\boldsymbol{\beta}) = \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 = (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^T (\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) $$

이 함수는 매개변수 $ $에 대한 2차 형식(quadratic form)이며, 수학적으로 볼록 함수(convex function)의 성질을 가지므로 전역 최솟값(global minimum)이 존재함이 보장된다.

최적의 매개변수 추정량 $ $를 구하기 위해 목적 함수를 $ $에 대해 편미분하여 0으로 놓는다. 이를 전개하면 다음과 같은 식을 얻는다.

$$ \frac{\partial S}{\partial \boldsymbol{\beta}} = -2\mathbf{X}^T(\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) = \mathbf{0} $$

위 식을 정리하면 정규 방정식(Normal Equations)이라 불리는 선형 연립 방정식 체계인 $ ^T = ^T $를 도출할 수 있다. 만약 설계 행렬 $ $가 풀 랭크(full rank)를 만족하여 $ ^T $의 역행렬이 존재한다면, 최적해는 다음과 같이 유일하게 결정된다.

$$ \hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y} $$

여기서 $ (^T){-1}^T $는 $ $의 무어-펜로즈 유사역행렬(Moore-Penrose pseudoinverse)로 해석될 수 있다.

기하학적 관점에서 선형 최소제곱법은 선형 대수학의 투영(projection) 이론으로 설명된다. 관측값 벡터 $ $는 일반적으로 설계 행렬 $ $의 열벡터들이 생성하는 부분 공간인 열공간(column space) 내에 존재하지 않는다. 최소제곱법은 $ $를 이 열공간 위로 수직 투영하여, 열공간 내의 벡터 중 $ $와 가장 가까운 벡터 $ = $를 찾는 과정이다. 이때 잔차 벡터 $ = - $는 열공간의 모든 벡터와 직교하며, 이러한 직교성(orthogonality) 원리는 정규 방정식의 유도 과정과 논리적으로 일치한다.

선형 최소제곱법을 통해 얻은 추정량은 통계적으로도 우수한 성질을 지닌다. 오차항이 서로 독립이고 동일한 분산을 가지며 기댓값이 0이라는 조건을 만족할 때, 선형 최소제곱 추정량은 모든 선형 불편 추정량 중에서 분산이 가장 작은 최선 선형 불편 추정량(Best Linear Unbiased Estimator, BLUE)이 된다. 이를 가우스-마르코프 정리(Gauss-Markov theorem)라 하며, 현대적 해석을 통해 그 효율성이 재입증된 바 있다⁵⁾. 또한 오차항이 정규 분포를 따른다고 가정할 경우, 이 추정량은 최대 가능도 추정법(Maximum Likelihood Estimation, MLE)으로 구한 결과와 동일해진다. 이러한 성질들은 선형 최소제곱법이 통계학 및 계량 경제학 등 다양한 학문 분야에서 데이터 분석의 근간이 되는 핵심 도구로 자리 잡게 된 이론적 토대가 된다.

최적해를 구하기 위해 유도되는 선형 연립 방정식인 정규 방정식의 도출 과정을 설명한다.

관측 행렬과 설계 행렬을 이용해 최적 매개변수 벡터를 산출하는 행렬 연산 과정을 기술한다.

하나의 독립 변수와 하나의 종속 변수 사이의 관계를 최소제곱법으로 추정하는 기초 모델을 다룬다.

여러 개의 독립 변수가 존재하는 상황에서 매개변수를 동시에 추정하는 확장된 모델을 설명한다.

비선형 최소제곱법(Non-linear Least Squares, NLS)은 모델 함수가 매개변수(parameter)에 대하여 비선형적인 구조를 가질 때, 관측값과 모델 예측값 사이의 잔차(residual) 제곱합을 최소화하는 매개변수를 찾는 수치적 최적화 기법이다. 선형 최소제곱법에서는 정규 방정식을 통해 단 한 번의 행렬 연산으로 유일한 해를 도출할 수 있는 것과 달리, 비선형 모델에서는 매개변수와 종속 변수 간의 관계가 복잡하여 대수적인 폐쇄형 해(closed-form solution)를 직접 구하는 것이 일반적으로 불가능하다. 따라서 초기 추정값으로부터 시작하여 점진적으로 최적해에 접근하는 반복적 최적화 알고리즘을 필수적으로 수반한다.

비선형 최소제곱법의 목적 함수 $ S $는 $ n $개의 데이터 쌍 $ (x_i, y_i) $와 매개변수 벡터 $ $를 갖는 모델 함수 $ f(x_i, ) $에 대하여 다음과 같이 정의된다. $$ S(\boldsymbol{\beta}) = \sum_{i=1}^{n} [y_i - f(x_i, \boldsymbol{\beta})]^2 $$ 이 함수를 최소화하기 위해 매개변수 $ $에 대한 1차 편미분 값이 0이 되는 지점을 찾아야 하지만, $ f $의 비선형성으로 인해 결과 방정식은 매개변수에 대한 비선형 연립 방정식이 된다. 이를 해결하기 위해 수치 해석적 접근에서는 현재의 매개변수 값 $ ^{(k)} $ 주변에서 모델 함수를 테일러 전개(Taylor expansion)를 통해 선형적으로 근사한다. 이때 모델 함수의 각 성분을 매개변수로 미분한 야코비 행렬(Jacobian matrix)이 중요한 역할을 수행하며, 이를 통해 비선형 문제를 국소적인 선형 문제로 치환하여 해를 갱신한다.

비선형 최소제곱 문제를 해결하는 가장 기본적인 알고리즘은 가우스 뉴턴 방법(Gauss-Newton method)이다. 이 방법은 목적 함수의 헤세 행렬(Hessian matrix)을 야코비 행렬의 곱으로 근사하여 계산 복잡도를 줄이면서도 빠른 수렴 속도를 도모한다. 그러나 가우스 뉴턴 방법은 초기값이 실제 최적해에서 멀리 떨어져 있거나 야코비 행렬이 특이 행렬에 가까울 경우 수렴이 보장되지 않는다는 단점이 있다. 이러한 한계를 극복하기 위해 제안된 레벤버그 마쿼트 알고리즘(Levenberg-Marquardt algorithm)은 가우스 뉴턴 방법과 경사 하강법을 결합한 형태를 취한다. 이 알고리즘은 감쇠 인자를 도입하여 초기 단계에서는 안정적인 하강을 유도하고, 해에 근접할수록 가우스 뉴턴 방식으로 전환되어 효율적인 수렴을 달성한다⁶⁾.

비선형 최소제곱법을 적용할 때 주의해야 할 핵심적인 요소는 초기값의 설정과 국소 최적해(local optimum) 문제이다. 선형 문제와 달리 비선형 목적 함수는 여러 개의 극솟값을 가질 수 있으므로, 잘못된 초기값에서 시작할 경우 전체 영역에서의 최솟값인 전역 최적해(global optimum)가 아닌 부적절한 지점에서 수렴이 멈출 수 있다. 또한, 통계적 관점에서 비선형 최소제곱 추정량은 표본의 크기가 충분히 클 때 최대 우도 추정법(Maximum Likelihood Estimation, MLE)의 결과와 일치하는 점근적 유효성을 갖지만, 소표본에서는 추정량의 편향이 발생할 수 있다는 점에 유의해야 한다⁷⁾. 이러한 수치적, 통계적 특성으로 인해 비선형 최소제곱법은 물리적 모델링, 생물학적 반응 속도 분석, 위성 항법 시스템의 위치 결정 등 정밀한 매개변수 추정이 요구되는 다양한 학문 분야에서 핵심적인 도구로 활용되고 있다.

초기값을 설정하고 점진적으로 최적해에 접근하는 수치 해석적 방법의 필요성을 설명한다.

테일러 전개를 통해 비선형 함수를 선형화하여 해를 찾는 기본적인 반복법을 다룬다.

가우스 뉴턴 방법과 경사 하강법을 결합하여 수렴의 안정성을 높인 알고리즘을 설명한다.

최소제곱법을 통해 얻은 추정량의 통계적 우수성과 전제 조건을 분석한다.

일정한 가정 하에서 최소제곱 추정량이 최선 선형 불편 추정량이 됨을 증명한다.

결정 계수와 잔차의 분포를 통해 모델이 데이터를 얼마나 잘 설명하는지 평가하는 지표를 다룬다.

최소제곱법이 이상치에 민감하게 반응하는 한계점과 이를 보완하기 위한 개념을 소개한다.

기본적인 최소제곱법의 한계를 극복하기 위해 변형된 다양한 기법들을 소개한다.

각 관측값의 신뢰도나 분산이 다를 경우 가중치를 부여하여 추정의 정확도를 높이는 방법을 다룬다.

오차항들 사이에 상관관계가 존재할 때 이를 고려하여 매개변수를 추정하는 기법을 설명한다.

과적합을 방지하기 위해 목적 함수에 벌점항을 추가하는 릿지 회귀와 라쏘 회귀의 원리를 다룬다.

최소제곱법(Method of Least Squares)은 관측 데이터에 포함된 오차(Error)를 통계적으로 처리하여 최적의 해를 도출하는 방법론으로서, 자연과학과 사회과학을 막론하고 현대 학문의 거의 모든 영역에서 필수적인 분석 도구로 활용된다. 이 기법은 단순히 데이터를 함수에 맞추는 수치적 수단을 넘어, 불확실성이 존재하는 시스템 내에서 가장 신뢰할 수 있는 정보를 추출하는 이론적 근거를 제공한다.

측량학(Geodesy) 및 위성 항법 시스템(Global Navigation Satellite System, GNSS) 분야에서 최소제곱법은 지표면의 위치 결정과 궤도 산출의 핵심적인 알고리즘이다. 지표상의 한 점을 결정하기 위해 수행되는 삼각 측량이나 다각 측량 과정에서는 미지수의 수보다 많은 과잉 관측이 이루어지며, 각 관측값은 기기적 한계나 환경적 요인으로 인해 서로 일치하지 않는 모순을 발생시킨다. 이때 최소제곱법은 관측 방정식의 잔차(Residual) 제곱합을 최소화함으로써 각 관측점의 최확값(Most probable value)을 산출한다. 특히 글로벌 위치 결정 시스템(Global Positioning System, GPS) 수신기가 4개 이상의 위성으로부터 신호를 받아 사용자의 3차원 좌표와 시각 오차를 계산할 때, 비선형 방정식을 선형화한 후 반복적인 최소제곱 연산을 수행하여 정밀한 위치 정보를 제공한다.

경제학 및 계량경제학(Econometrics)에서는 변수 간의 인과관계를 규명하고 미래 가치를 예측하기 위한 회귀 분석(Regression analysis)의 표준적 추정 방식으로 자리 잡고 있다. 애덤 스미스 이후의 고전 경제학적 가설들을 실증적으로 검증하기 위해, 연구자들은 수집된 통계 자료에 최소제곱법을 적용하여 모델의 매개변수를 추정한다. 가우스-마르코프 정리(Gauss-Markov theorem)에 의해 일정한 통계적 가정이 충족될 경우, 최소제곱 추정량은 최선 선형 불편 추정량(Best Linear Unbiased Estimator, BLUE)이 됨이 수학적으로 증명되어 있다. 이는 경제 정책의 효과 분석이나 국내총생산(Gross Domestic Product, GDP) 성장률 예측 등 높은 신뢰도가 요구되는 의사결정 과정에서 최소제곱법이 가장 우선적으로 고려되는 이유이다.

현대 기계 학습(Machine Learning)과 인공지능(Artificial Intelligence) 분야에서 최소제곱법은 데이터를 학습시키는 최적화(Optimization) 기법의 근간을 이룬다. 가장 기본적인 지도 학습 모델인 선형 회귀(Linear regression)는 입력 데이터와 출력 타깃 사이의 관계를 최소제곱법을 통해 학습한다. 모델의 예측값과 실제값의 차이를 정의하는 손실 함수(Loss function)로 평균 제곱 오차(Mean Squared Error, MSE)를 사용하는 것은 최소제곱법의 원리를 직접적으로 계승한 것이다. 복잡한 인공 신경망(Artificial Neural Network)의 학습 과정에서 사용되는 경사 하강법(Gradient Descent)이나 다양한 정규화 기법들 역시, 근본적으로는 고차원 공간에서의 오차 제곱합을 최소화하려는 수치 해석적 시도에서 파생된 것이다.

물리학과 천문학 등 기초 과학 분야에서도 최소제곱법의 위상은 독보적이다. 실험실에서 얻은 데이터로부터 플랑크 상수나 중력 상수와 같은 물리적 상수를 정밀하게 추출할 때, 실험 오차를 배제하고 이론값에 가장 근접한 수치를 얻기 위해 이 방법이 사용된다. 천문학에서는 케플러의 법칙을 따르는 천체의 궤도 요소를 결정하거나, 우주 마이크로파 배경 복사 데이터를 분석하여 우주의 나이와 구성 성분을 추정하는 등 거시적 우주 모델의 타당성을 검증하는 데 핵심적인 역할을 수행한다. 이처럼 최소제곱법은 데이터로부터 객관적인 진리를 도출하려는 모든 정량적 연구의 기초적인 방법론으로 기능하고 있다.

지표면의 위치 결정 및 위성 신호의 오차 보정 과정에서 수행되는 최소제곱 연산을 설명한다.

경제 지표 간의 상관관계를 규명하고 미래 가치를 예측하기 위한 회귀 분석 도구로서의 역할을 다룬다.

데이터 학습 과정에서 손실 함수를 최소화하는 최적화 기법의 근간으로서 최소제곱법의 위상을 고찰한다.