2.6. А что не крутится?

Рассмотрим подробнее геометрию линейных преобразований

Возьмём стандартный базис и рассмотрим преобразование заданное такой матрицей:
$A = \begin{pmatrix} 3 & -1 \\ 2 & 0 \end{pmatrix}$

На видео будет видно, как оно действует
Но вот сразу фотки, где видно начало и конец преобразования

Если обратить внимание на жёлтый и фиолетовый вектора, то можно заметить, что они не поменяли своего направления при трансформации (только жёлтый вектор удвоился)

Можно убедиться в этом, прямо умножив:

$\begin{pmatrix} 3 & -1 \\ 2 & 0 \end{pmatrix} \begin{pmatrix} 1 \\ 1 \end{pmatrix} = \begin{pmatrix} 3 \cdot 1 + (-1) \cdot 1 \\ 2 \cdot 1 + 0 \cdot 1 \end{pmatrix} = \begin{pmatrix} 3 - 1 \\ 2 + 0 \end{pmatrix} = \begin{pmatrix} 2 \\ 2 \end{pmatrix} = 2*\begin{pmatrix} 1 \\ 1 \end{pmatrix}$

$\begin{pmatrix} 3 & -1 \\ 2 & 0 \end{pmatrix} \begin{pmatrix} 1 \\ 2 \end{pmatrix} = \begin{pmatrix} 3 \cdot 1 + (-1) \cdot 2 \\ 2 \cdot 1 + 0 \cdot 2 \end{pmatrix} = \begin{pmatrix} 3 - 2 \\ 2 + 0 \end{pmatrix} = \begin{pmatrix} 1 \\ 2 \end{pmatrix}$

Тут ещё важно понять, что любые вектора того же направления так же остаются на месте и умножаются на те же числа
Например, если вектор (1, 1) умножается на 2,, то и (2, 2) тоже будет умножаться на 2 

Такие вектора называются собственными, попробуем изучить их свойства

Формально определение собственного вектора такое:
$Av = \lambda v$
То есть, при применении преобразования вектор умножается на число $\lambda$ (при этом, не меняя направление)

Если мы перекинем всё влево и вынесем v, то получим: 
$(A - \lambda * E)v = 0$, где

 $E = \begin{pmatrix} 1 & 0 & 0 & \cdots & 0 \\ 0 & 1 & 0 & \cdots & 0 \\ 0 & 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & 1 \end{pmatrix}$

- единичная матрица

Как мы помним, вектор может обнулиться, только если матрица вырождена
Поэтому, чтобы равенство было верным, матрица $(A - \lambda * E)$ должна быть вырождена:

$det (A - \lambda *E) = 0$
То есть, наша задача найти такое $\lambda$, при котором преобразование будет "схлопывать простанство"
Этот определитель называется "характеристический многочлен"
Через это уравнение мы получаем $\lambda_i$ - собственные значения
И далее решаем систему уравнений:
$(A - \lambda_i*E)v = 0$

Так мы получим собственные векторы

*На практике часто используются другие численные алгоритмы поиска собственных векторов, но это уже не относится к теме нашего курса

Важное для данных свойство таких векторов:
Если матрица симметричная, то собственные вектора, отвечающие разным собственным значениям будут перпендикулярны и если мы возьмём эти вектора за базис, то матрица будет диагональной

Как пример, возьмём симметричную матрицу:
$A = \begin{pmatrix} 1 & 3 \\ 3 & 1 \end{pmatrix}$

Процесс поиска векторов я писать не буду, вот сразу они:

$\mathbf{v}_1 = \begin{pmatrix} 1 \\ 1 \end{pmatrix} \quad \mathbf{v}_2 = \begin{pmatrix} 1 \\ -1 \end{pmatrix}$

Проверим:
$\begin{pmatrix} 1 & 3 \\ 3 & 1 \end{pmatrix} \begin{pmatrix} 1 \\ 1 \end{pmatrix} = \begin{pmatrix} 1 \cdot 1 + 3 \cdot 1 \\ 3 \cdot 1 + 1 \cdot 1 \end{pmatrix} = \begin{pmatrix} 1 + 3 \\ 3 + 1 \end{pmatrix} = \begin{pmatrix} 4 \\ 4 \end{pmatrix} = 4*\begin{pmatrix} 1 \\ 1 \end{pmatrix}$

$\begin{pmatrix} 1 & 3 \\ 3 & 1 \end{pmatrix} \begin{pmatrix} 1 \\ -1 \end{pmatrix} = \begin{pmatrix} 1 \cdot 1 + 3 \cdot (-1) \\ 3 \cdot 1 + 1 \cdot (-1) \end{pmatrix} = \begin{pmatrix} 1 - 3 \\ 3 - 1 \end{pmatrix} = \begin{pmatrix} -2 \\ 2 \end{pmatrix} = -2 * \begin{pmatrix} 1 \\ -1 \end{pmatrix}$

Чтобы добавить какую-то наглядность, вот фото этого преобразования:

Жёлтый вектор смотрит туда же, фиолетовый в противоположную сторону

Посчитаем новую матрицу по уже известной нам формуле:
$A' = С^{-1} A С = \begin{pmatrix} 1/2 & 1/2 \\ 1/2 & -1/2 \end{pmatrix} \begin{pmatrix} 1 & 3 \\ 3 & 1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \begin{pmatrix} 4 & 0 \\ 0 & -2 \end{pmatrix}$

Как мы видим, матрица диагональная, как и ожидалось
Причём, на диагонали стоят собственные значения

Я так подробно про это рассказал, потому что это очень важно для данных

На этом основан широко используемый алгоритм PCA (метод главных компонент)
Его часть мы уже рассматривали ранее, когда говорили про замену координат

Полностью алгоритм выглядит так:
 

1. Центрирование данных

Из значения каждого признака вычитается его среднее арифметическое. Это сдвигает облако точек так, чтобы его центр оказался в начале координат
Это очень важный шаг, если его пропустить, алгоритм, скорее всего, перестанет работать

2. Построение матрицы ковариации

На основе центрированных данных рассчитывается матрица ковариации C
Элементы на главной диагонали показывают дисперсию отдельных признаков, а внедиагональные элементы — ковариацию (взаимосвязь) между парами признаков
Наша задача сделать так, чтобы матрица стала диагональной
Это будет означать, что нет лишней зависимости между данными
По прошлому шагу мы узнали, что если матрица симметрична, то её можно диагонализировать
А наша матрица C как раз симметрична

3. Диагонализация

Остаётся найти собственные вектора и взять их за новый базис
Получится ортогональный базис (где вектора перпендикулярны друг другу)
Благодаря этому, признаки не будут зависеть друг от друга

Представьте линейное преобразование «сдвиг» (shear), которое смещает верхнюю часть картинки вправо, оставляя нижнюю неподвижной. Какое утверждение верно для собственных векторов этого преобразования?