1.3. Меняем точку зрения

Данные с которыми мы обычно работаем не зависят от того, как мы на них посмотрим.
Если есть какое-то скопление точек, от того, что мы поменяем точку зрения, это скопление не должно распадаться.
Пришло время разобраться с заменой координат.
Сначала разберём алгебраическую часть, в конце урока будет пример использования в данных.

Замена координат это просто другой взгляд на уже имеющиеся вектора.
Стрелки в пространстве как были, так и остались, но мы начинаем их измерять с другой точки зрения (более длинной/короткой линейкой, под другим углом и тд).

Сначала нужно понять, что вообще такое координаты вектора.
Алгебраически координаты это коэффициенты, которые появляются при выражении вектора через базис, то есть:
$x = (3, 4) = e_1x^1 + e_2x^2$

$(x^1, x^2)$ - как раз числа, являющиеся координатами.

Но мы здесь за геометрией пришли, как это можно представить нагляднее?

Возьмём любой базис и любой вектор, который мы хотим выразить.
Попробуем выражать его последовательно.
Вычтем из нужного вектора какой-нибудь базисный вектор столько раз, сколько нужно, чтобы оставшуюся часть можно было выразить без этого базисного вектора.

Посмотрим на картинку:

Если вычесть из вектора $v$ вектор $e_1$ чуть больше одного раза, то $v$ совпадёт по направлению с $e_2$
То, сколько раз нужно вычесть $e_1$- первая координата вектора $v$

Аналогично это можно представить как проекцию (не обязательно перпендикулярную)
Если взять фонарь и посветить на вектор $v$ "вдоль" вектора $e_2$, то "тень" на векторе $e_1$ будет проекцией $v$ на $e_1$
И то, во сколько раз проекция больше вектора $e_1$ и называется первой координатой вектора

В больших размерностях мы фонариком светим не вдоль одного вектора, а вдоль всех, кроме одного

Что будет, если поменять точку зрения?
Взять другой базис и попробовать уже в нём записать имеющиеся вектора.

Сначала нужно рассчитать новые координаты базисных векторов.
Для этого нужно спроецировать повёрнутые вектора ${e'}_1$ и ${e'}_2$ на изначальные $e_1$ и  $e_2$ (то есть, просто выразить их в координатах).
А чтобы найти координаты уже имеющегося стороннего вектора в новой системе нужно спроецировать этот вектор на новые базисные вектора ${e'}_1$ и ${e'}_2$.

Посмотрим, что будет, если умножить вектор $e_1$ на 2.
Не трудно понять, что тогда первая координата нашего вектора $v$ уменьшится в 2 раза (раз линейка увеличилась в 2 раза)
Аналогичным образом работают и остальные преобразования.
Поэтому, чтобы получить новые координаты имеющегося вектора нужно сделать как бы всё "наоборот", относительно того, как мы меняли базис.

Рассмотрим простой пример: повернём базис на угол $\alpha$

Новые координаты находятся по формулам (это просто тригонометрия, сильно вдумываться в формулы не нужно):
$\begin{array}{l}e_{1'} = \cos\alpha \cdot e_1 - \sin\alpha \cdot e_2 = (\cos\alpha, -\sin\alpha) \\ e_{2'} = \sin\alpha \cdot e_1 + \cos\alpha \cdot e_2 =(\sin\alpha, \cos\alpha) \\\end{array}$

Мы уже пришли к выводу, что для пересчёта координат вектора нужно сделать обратную операцию
В данном случае это поворот на угол $-\alpha$:

$\begin{array}{l}{x'} = x * cos{(-\alpha)} - y*sin{(-\alpha)} = x * cos{\alpha} + y*sin{\alpha} \\ {y'} = x * sin{(-\alpha)} + y*cos{(-\alpha)} = -x * sin{\alpha} + y*cos{\alpha}\end{array}$

Вот так несложно мы получили новые координаты

Здесь и начинают появляться матрицы.
Дело в том, что выражение одного набора координат вектора через другой в обычной записи писать очень громоздко (особенно в больших размерностях).
Матрицы становятся очень удобным инструментом работы с такими преобразованиями.

Тут важно не запутаться с тем, что мы пересчитываем: координаты новых базисных векторов базиса или координаты уже имеющегося вектора в новом базисе

Координаты новых базисных векторов в старом базисе:

$\begin{matrix} e_{1'} = c_{1'}^1 e_1 + \dots + c_{1'}^n e_n, \\ \dots \space \dots \space \dots \space\dots \space\dots \space\dots \space \\ e_{n'} = c_{n'}^1 e_1 + \dots + c_{n'}^n e_n, \end{matrix}$

Мы так их алгебраически и задаём
Но писать такие системы сложения долго, выглядят они громоздко, да и в код это вставлять неудобно
Поэтому, это же можно сильно удобнее переписать и в матричном виде:

$(e_{1'} \dots e_{n'}) = (e_1 \dots e_n) \begin{pmatrix} c_{1'}^1 & \dots & c_{n'}^1 \\ \vdots & \ddots & \vdots \\ c_{1'}^n & \dots & c_{n'}^n \end{pmatrix} = (e_1 \dots e_n)C$

Здесь C - матрица замены координат 
По столбцам этой матрицы записаны координаты новых базисных векторов

Например, тот поворот, который мы недавно получили в матричном виде запишется так:
$(e_{1'} \quad e_{2'}) = (e_1 \quad e_2) \begin{pmatrix} \cos\alpha& -\sin\alpha\\ \sin\alpha& \cos\alpha\end{pmatrix} = (e_1 \quad e_2)C = (e_1 \quad e_2)R(\alpha)$

Помните, что для подсчёта координат вектора нужно сделать обратную операцию?
Так вот, в матрицах это буквально так и происходит, нужно, всего лишь, обратить матрицу! (нам сейчас не сильно важно, как это делается, да и в коде это обычно одна строчка)

$\begin{pmatrix} x^{1'} \\ \vdots \\ x^{n'} \end{pmatrix} = C^{-1} \begin{pmatrix} x^{1} \\ \vdots \\ x^{n} \end{pmatrix}$

Наш поворот в данном случае будет записан вот так:

$\begin{pmatrix} x' \\ y' \end{pmatrix} = \begin{pmatrix} \cos\alpha& \sin\alpha\\ -\sin\alpha& \cos\alpha\end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = R^{-1}(\alpha)\begin{pmatrix} x \\ y \end{pmatrix}$

*Я записываю базисные векторы в строку, а координаты векторов в столбец, это просто соглашение.

Поворот лишь частный пример преобразования, на следующем видео показаны различные преобразования и соответствующие им изменение координат вектора.

 

Что же с Data science?

Представьте, что вы работаете с датасетом о недвижимости и у вас есть два признака:

• Площадь дома (в м²)

• Стоимость дома (в у.е.)

Очевидно, что эти признаки сильно зависимы (коррелированы): чем больше площадь, тем выше цена. Если нанести точки на плоскость, они вытянутся вдоль диагонали — это похоже на «сплюснутое облако».

Теперь спросим себя: можно ли найти такой новый базис, в котором эти два признака станут независимыми (некоррелированными)? Оказывается, да — это называют главными компонентами (PCA).

Геометрический смысл:

• Мы поворачиваем оси так, чтобы первая новая ось (первая главная компонента) указывала вдоль "главного" направления (как бы вдоль самой длинной части облака).

• Вторая новая ось перпендикулярна первой и «ловит» оставшийся разброс (в нашем примере — отклонения от общей линии цена–площадь).

В этом новом базисе координаты точек:

• Первая координата — это проекция на главную ось (грубо говоря, «общий размер» объекта).

• Вторая координата — это отклонение от пропорциональности (например, аномально дорогой или дешёвый дом для своей площади).

И, что важно, эти две новые координаты уже не коррелируют между собой — мы «выпрямили» исходную зависимость.

*Ещё, этот алгоритм часто работает с алгоритмом из предыдущего урока (где мы "сжимали" пространство для сжатия данных).
Можно сначала найти самые важные направления (например, 30 из 100) и остальные 70 просто схлопнуть.
Да, часть данных потеряется, но основа останется.
Часто оставшиеся данные могут даже мешать создавая лишний шум.

Заметно подробнее мы разберём эти два алгоритма чуть позже.

Представьте, что вы анализируете данные о росте людей. Изначально рост был записан в метрах (базисный вектор $e_1$ равен 1 метру). Вы решили изменить систему координат и перевели данные в сантиметры. То есть ваш новый базисный вектор $e_{1'}$ стал в 100 раз короче старого ($e'_1 = 0.01e_1$).

Что произойдет с числовым значением координаты (числом метров/сантиметров) конкретного человека в новой системе координат?

Мы переходим к новому базису. Новые базисные векторы выражаются через старые следующим образом:
$\begin{array}{l}e'_1 = 2e_1 + 3e_2 \\e'_2 = -1e_1 + 4e_2\end{array}$

Запишите получившуюся матрицу перехода C
(Нужно написать 4 числа, сначала левое верхнее, потом правое верхнее, потом левое нижнее, потом правое нижнее через, пробел)
Пример: 
Матрица $C = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}$ запишется как: 1 2 3 4

В целом, когда мы пользуемся какими-либо алгоритмами работы с данными очень важно отслеживать, зависят ли они от выбора базиса.
Если алгоритм явно показывает какую-то информацию, но его выводы меняются при повороте, то есть два варианта:
1. Алгоритм не особо рабочий и нужно разобраться, почему поворот резко меняет его выводы.
2. У данных есть жёсткая привязка к конкретным осям. В таком случае это всё равно нужно помечать при работе.

Например, если наша задача найти кластеры в данных (скопления точек), чаще всего сами скопления они не зависят от точки обзора.
Классический алгоритм k-means, в стандартной реализации, устойчив к поворотам пространства, но не устойчив к его масштабированию, поэтому, за этим нужно строго следить.
В будущих уроках этот алгоритм будет подробнее разобран.