小二乘法原理（Least Squares Principle）是统计学和数学中的一个基本原理，主要用于回归分析中。它的核心思想是通过最小化误差的平方和来寻找最佳的参数估计值。
具体来说，小二乘法原理是这样的：
假设我们有一个模型，它依赖于一些未知参数 (theta)，并且我们有一组观测数据 (x_1, x_2, ..., x_n) 和相应的响应变量 (y_1, y_2, ..., y_n)。我们的目标是找到参数 (theta) 的最佳估计值，使得模型预测的值与实际观测值之间的差异最小。
在这个模型中，我们通常假设响应变量 (y_i) 可以表示为：
[ y_i = f(x_i; theta) + epsilon_i ]
其中 (f(x_i; theta)) 是由参数 (theta) 和输入 (x_i) 确定的模型预测值，(epsilon_i) 是误差项。
小二乘法原理的目标是最小化误差项的平方和，即：
[ S(theta) = sum_{i=1
