Справка сзв м что это: СЗВ-М в 2022 году: сроки сдачи, заполнение, бланк новой формы и образец

Рассмотрим случайную точку X, и мы хотим знать, лежит ли она на правой стороне плоскости или на левой стороне плоскости (положительной или отрицательной).

Чтобы найти это, сначала предположим, что эта точка является вектором (X), а затем мы создадим вектор (w), перпендикулярный гиперплоскости. Предположим, что расстояние вектора w от начала координат до границы решения равно «c». Теперь возьмем проекцию вектора X на w.

Мы уже знаем, что проекция любого вектора или другого вектора называется скалярным произведением. Следовательно, мы берем скалярное произведение векторов x и w. Если скалярное произведение больше, чем «с», мы можем сказать, что точка лежит на правой стороне. Если скалярное произведение меньше «с», то точка находится слева, а если скалярное произведение равно «с», то точка лежит на границе решения.

Вы, должно быть, сомневаетесь, почему мы взяли этот перпендикулярный вектор w к гиперплоскости? Итак, нам нужно расстояние вектора X от границы решения, и на границе может быть бесконечное количество точек, от которых можно измерить расстояние. Вот почему мы приходим к стандарту, мы просто берем перпендикуляр и используем его в качестве эталона, а затем берем проекции всех других точек данных на этот перпендикулярный вектор, а затем сравниваем расстояние.

В SVM также есть понятие маржи. В следующем разделе мы увидим, как мы находим уравнение гиперплоскости и что именно нам нужно оптимизировать в SVM.

Все мы знаем, что уравнение гиперплоскости имеет вид w. x+b=0, где w — вектор, нормальный к гиперплоскости, а b — смещение.

Чтобы классифицировать точку как отрицательную или положительную, нам нужно определить решающее правило. Мы можем определить правило принятия решения как:

Если значение w.x+b>0, то мы можем сказать, что это положительная точка, в противном случае это отрицательная точка. Теперь нам нужны (w,b) такие, чтобы поле имело максимальное расстояние. Допустим, это расстояние равно «d».

Для расчета d нам нужно уравнение L1 и L2. Для этого примем несколько предположений, что уравнение L1 равно w.x+b=1 , а уравнение L2 равно w.x+b=-1 . Теперь вопрос приходит

1. Почему величина равная, почему не взяли 1 и -2?

2. Почему мы взяли только 1 и -1, а не любое другое значение, например 24 и -100?

3. Почему мы взяли эту линию?

Попробуем ответить на эти вопросы:

1. Мы хотим, чтобы наша плоскость находилась на одинаковом расстоянии от обоих классов, что означает, что L должна проходить через центр L1 и L2, поэтому мы берем величину равной.

2. Допустим, уравнение нашей гиперплоскости 2x+y=2, мы видим, что даже если мы умножим все уравнение на какое-то другое число, линия не изменится (попробуйте построить на графике). Следовательно, для математического удобства мы принимаем его равным 1,9.0003

3. Теперь главный вопрос, а почему именно эту строку надо считать? Чтобы ответить на этот вопрос, я попытаюсь воспользоваться помощью графиков.

Предположим, что уравнение нашей гиперплоскости 2x+y=2:

Давайте создадим запас для этой гиперплоскости,

Если умножить эти уравнения на 10, мы увидим, что параллельная линия (красная и зеленая) приближается к нашей гиперплоскости. Для большей ясности посмотрите на этот график (https://www.desmos.com/calculator/dvjo3vacyp)

Мы также наблюдаем, что если мы разделим это уравнение на 10, то эти параллельные линии станут больше. Посмотрите на этот график (https://www.desmos.com/calculator/15dbwehq9).г).

Этим я хотел показать вам, что параллельные прямые зависят от (w,b) нашей гиперплоскости, если мы умножим уравнение гиперплоскости с коэффициентом больше 1, то параллельные прямые сожмутся, а если мы умножим с коэффициентом меньше чем 1, они расширяются.

Теперь мы можем сказать, что эти линии будут двигаться, когда мы изменяем (w,b), и вот как это оптимизируется. Но что такое функция оптимизации? Давайте посчитаем.

Мы знаем, что цель SVM состоит в том, чтобы максимизировать этот запас, который означает расстояние (d). Но ограничений на это расстояние (d) немного. Давайте посмотрим, что это за ограничения.

Чтобы получить нашу функцию оптимизации, нужно учесть несколько ограничений. Это ограничение заключается в том, что «Мы рассчитаем расстояние (d) таким образом, чтобы ни одна положительная или отрицательная точка не пересекала предельную линию». Запишем эти ограничения математически:

Вместо того, чтобы выдвигать вперед 2 ограничения, мы попробуем упростить эти два ограничения до 1. Мы предполагаем, что отрицательные классы имеют y=-1 и положительные классы имеют y=1 .

Можно сказать, что для правильной классификации каждой точки всегда должно выполняться это условие:

Предположим, что зеленая точка правильно классифицирована, что означает, что она будет следовать w. x+b>=1, , если мы умножим это на y=1 , мы получим то же самое уравнение, упомянутое выше. Точно так же, если мы сделаем это с красной точкой с y=-1 , мы снова получим это уравнение . Следовательно, мы можем сказать, что нам нужно максимизировать (d) так, чтобы это ограничение выполнялось.

Возьмем 2 опорных вектора, 1 из отрицательного класса и 2 ^и из положительного класса. Расстояние между этими двумя векторами x1 и x2 будет равно (x2-x1) вектору . Что нам нужно, так это кратчайшее расстояние между этими двумя точками, которое можно найти с помощью трюка, который мы использовали в скалярном произведении. Мы берем вектор «w», перпендикулярный гиперплоскости, а затем находим проекцию вектора (x2-x1) на «w». Примечание: этот перпендикулярный вектор должен быть единичным вектором, тогда только он будет работать. Почему это должен быть единичный вектор? Это было объяснено в разделе точечного произведения. Чтобы сделать этот «w» единичным вектором, мы разделим его на норму «w».

Мы уже знаем, как найти проекцию вектора на другой вектор. Мы делаем это скалярным произведением обоих векторов. Итак, давайте посмотрим, как

Так как x2 и x1 являются опорными векторами и лежат на гиперплоскости, то они будут следовать y _i * (2.x+b)=1 поэтому мы можем записать это как:

Подставляя уравнения (2) и (3) в уравнение (1) получаем:

Следовательно, уравнение, которое мы должны максимизировать:

Теперь мы нашли нашу функцию оптимизации, но здесь есть загвоздка в том, что мы не находим этот тип идеально линейно разделимых данных в отрасли, почти ни в одном случае мы не получаем этот тип данных и, следовательно, мы не можем использовать это условие мы доказали здесь. Тип задачи, которую мы только что изучили, называется Hard Margin SVM теперь мы будем изучать мягкую маржу, которая похожа на эту, но есть еще несколько интересных приемов, которые мы используем в Soft Margin SVM.

В реальных приложениях мы не находим ни одного набора данных, который был бы линейно разделим, мы найдем либо почти линейно разделимый набор данных, либо нелинейно разделимый набор данных. В этом сценарии мы не можем использовать трюк, который мы доказали выше, потому что он говорит, что он будет работать только тогда, когда набор данных полностью линейно разделим.

Чтобы решить эту проблему, мы модифицируем это уравнение таким образом, чтобы оно допускало мало ошибочных классификаций, что означает, что оно допускало неправильную классификацию нескольких точек.

Мы знаем, что max[f(x)] также можно записать как min[1/f(x)] , общепринятой практикой является минимизация функции стоимости для задач оптимизации; следовательно, мы можем инвертировать функцию.

Чтобы составить уравнение с мягкой границей, мы добавим к этому уравнению еще 2 члена: дзета и умножить на гиперпараметр «c»

для всех , правильно классифицированных баллов. мы видим неправильно классифицированные зеленые точки, значение дзета будет расстоянием этих точек от гиперплоскости L1 и для неправильно классифицированной красной точки дзета будет расстоянием этой точки от гиперплоскости L2.

Итак, теперь мы можем сказать, что это SVM Error = Margin Error + Classification Error. Чем выше маржа, тем меньше возможная маржинальная ошибка, и наоборот.

Допустим, вы берете высокое значение «c» = 1000, это будет означать, что вы не хотите сосредотачиваться на маржинальной ошибке и просто хотите получить модель, которая не неправильно классифицирует ни одну точку данных.

Посмотрите на рисунок ниже.

Если кто-то спросит вас, какая модель лучше, та, где маржа максимальна и есть 2 неправильно классифицированные точки, или та, где маржа очень меньше, и все точки классифицированы правильно?

Ну, на этот вопрос нет правильного ответа, но мы можем использовать SVM Error = Margin Error + Classification Error, чтобы оправдать это. Если вы не хотите, чтобы в модели была какая-либо неправильная классификация, вы можете выбрать рисунок 2 . Это означает, что мы увеличим «c», чтобы уменьшить ошибку классификации, но если вы хотите, чтобы ваша маржа была максимальной, значение «c» должно быть минимальным. Вот почему «c» — это гиперпараметр, и мы находим оптимальное значение «c», используя GridsearchCV и перекрестную проверку.

Давайте двигаться дальше и теперь узнаем об очень хорошем трюке под названием «Трюк с ядром» .

Самая интересная особенность SVM заключается в том, что он может работать даже с нелинейным набором данных, и для этого мы используем «Kernel Trick», который упрощает классификацию точек. Предположим, у нас есть такой набор данных:

Источник изображения: Автор

Здесь мы видим, что не можем провести ни одной линии или, скажем, гиперплоскости, которая могла бы правильно классифицировать точки. Итак, что мы делаем, так это пытаемся преобразовать это пространство более низкой размерности в пространство более высокой размерности, используя некоторые квадратичные функции, которые позволят нам найти границу решения, которая четко разделяет точки данных. Эти функции, которые помогают нам в этом, называются ядрами, и то, какое ядро ​​использовать, определяется исключительно настройкой гиперпараметров.

Изображение 3

Ниже приведены некоторые функции ядра, которые вы можете использовать в SVM:

Ниже приведена формула ядра полинома:

Здесь d — степень многочлена, которую нам нужно указать вручную.

Предположим, у нас есть две функции X1 и X2 и выходная переменная Y, поэтому, используя полиномиальное ядро, мы можем записать ее как:

Итак, нам нужно найти X ₁ ² , X ₂ ² и X1.X2, и теперь мы видим, что 2 измерения были преобразованы в 5 измерений.

Мы можем использовать его как прокси для нейронных сетей. Уравнение:

Он просто берет ваши входные данные, сопоставляя их со значениями 0 и 1, чтобы их можно было разделить простой прямой линией.

Источник изображения: https://dataaspirant.com/svm-kernels/#t-1608054630725

3.

На самом деле он создает нелинейные комбинации наших функций, чтобы поднять ваши выборки в многомерное пространство признаков, где мы можем использовать линейную границу решения для разделения ваших классов. Это наиболее часто используемое ядро ​​в классификациях SVM, следующее формула объясняет это математически:

где,

1. «σ» — это дисперсия и наш гиперпараметр
2. || X₁ – X₂ || — Евклидово расстояние между двумя точками X₁ и X₂

Изображение 5

В основном используется для устранения перекрестного члена в математических функциях. Ниже приведена формула ядра функции Бесселя:

Он хорошо работает с задачами многомерной регрессии. Формула для этой функции ядра:

Мне хорошо известно, что у вас должны быть сомнения относительно того, как решить, какая функция ядра будет эффективно работать с вашим набором данных. Необходимо выбрать хорошую функцию ядра, поскольку от этого зависит производительность модели.

Выбор ядра полностью зависит от того, с каким набором данных вы работаете. Если это линейно разделимо, вы должны выбрать. для линейной функции ядра, так как она очень проста в использовании, а сложность намного ниже по сравнению с другими функциями ядра. Я бы рекомендовал вам начать с гипотезы о том, что ваши данные линейно разделимы, и выбрать линейную функцию ядра.

Затем вы можете перейти к более сложным функциям ядра. Обычно мы используем SVM с RBF и линейной функцией ядра, потому что другие ядра, такие как полиномиальное ядро, используются редко из-за низкой эффективности. Но что, если и линейный, и RBF дают примерно одинаковые результаты? Какое ядро ​​теперь выбираем? Давайте разберемся с этим на примере, для простоты я возьму только 2 функции, которые означают только 2 измерения. На рисунке ниже я нанес границу решения линейного SVM для 2 функций набора данных радужной оболочки:

Здесь мы видим, что линейное ядро ​​отлично работает на этом наборе данных, а теперь посмотрим, как будет работать ядро ​​RBF.

Мы видим, что оба ядра дают одинаковые результаты, оба хорошо работают с нашим набором данных, но какое из них выбрать? Линейный SVM — это параметрическая модель. Параметрическая модель — это концепция, используемая для описания модели, в которой все ее данные представлены в ее параметрах. Короче говоря, единственная информация, необходимая для прогнозирования будущего на основе текущего значения, — это параметры.

Сложность ядра RBF возрастает по мере увеличения размера обучающих данных. В дополнение к тому, что подготовка ядра RBF обходится дороже, мы также должны поддерживать матрицу ядра, а проекция в это «бесконечное» многомерное пространство, где данные становятся линейно разделимыми, также обходится дороже во время прогнозирования. Если набор данных нелинейный, то использование линейного ядра не имеет смысла, мы получим очень низкую точность, если сделаем это.

Таким образом, для такого набора данных мы можем использовать RBF даже не задумываясь, потому что он определяет границы решения следующим образом:

Для реализации набора данных мы будем использовать набор данных Income Evaluation, который содержит информацию о личной жизни человека и результат 50 000 или <= 50. Набор данных можно найти здесь (https://www.kaggle.com/lodetomasi1995/income-classification)

Задача здесь состоит в том, чтобы классифицировать доход человека при наличии необходимых исходных данных о его личной жизни.

Сначала импортируем все необходимые библиотеки.

 # Импортировать все соответствующие библиотеки

из sklearn.svm импортировать SVC

импортировать numpy как np

импортировать панд как pd

из sklearn.preprocessing импортировать StandardScaler

из sklearn.model_selection импорта train_test_split

импорт из sklearn.metrics: точность_оценки, путаница_матрица

предварительная обработка импорта из sklearn

предупреждения об импорте

предупреждения.filterwarnings("игнорировать")

Теперь давайте прочитаем набор данных и посмотрим на столбцы, чтобы лучше понять информацию.

df = pd.read_csv('income_evaluation.csv') 

 df.head() 

Я уже сделал часть предварительной обработки данных, и вы можете посмотреть весь код здесь. Здесь моя основная цель — рассказать вам, как реализовать SVM на python.

Теперь для обучения и тестирования нашей модели данные должны быть разделены на обучающие и тестовые данные.
Мы также масштабируем данные, чтобы они находились в диапазоне от 0 до 1.

 # Разделить набор данных на тестовые и обучающие данные 

 X_train, X_test, y_train, y_test = train_test_split(df.drop('доход', ось=1),df['доход'], test_size=0,2) 

Теперь давайте продолжим определение классификатора опорных векторов вместе с его гиперпараметрами. Далее мы подгоним эту модель к обучающим данным.

 # Определить классификатор опорных векторов с гиперпараметрами 

 svc = SVC (случайное_состояние = 101) 

 точность = cross_val_score(svc,X_train,y_train,cv=5) 

 svc.fit(X_train,y_train) 

 print("Оценка поезда:"np.mean(accuracies)) 

 printf("Оценка теста:"svc.score(X_test,y_test)) 

Модель обучена, и теперь мы также можем наблюдать за выходными данными.

Ниже вы можете увидеть точность набора данных теста и обучения

Вы даже можете гипертюнинговать свою модель по следующему коду:

 сетка = {

 'С':[0.01,0.1,1,10], 

 'ядро': ["линейный","поли","rbf","сигмоид"], 

 'степень' : [1,3,5,7], 

 «гамма»: [0,01,1] 

 } 

 свм = СВК () 

 svm_cv = GridSearchCV (svm, сетка, cv = 5) 

 svm_cv.fit(X_train,y_train) 

 print("Лучшие параметры:", svm_cv.best_params_) 

 print("Оценка поезда:", svm_cv.best_score_) 

 print("Оценка теста:", svm_cv.score(X_test,y_test)) 

Набор данных довольно большой, и, следовательно, потребуется время для обучения, по этой причине я не могу вставить результат приведенного выше кода здесь, потому что SVM плохо работает с большими наборами данных, требуется много времени, чтобы получить обученный.

1. SVM работает лучше, когда данные являются линейными

2. Более эффективен в больших размерах

3. С помощью трюка с ядром мы можем решить любую сложную проблему

4. SVM не чувствителен к выбросам

5. Может помочь нам с классификацией изображений

1. Выбрать хорошее ядро ​​непросто

2. Не показывает хороших результатов на большом наборе данных

3. Гиперпараметрами SVM являются Cost-C и gamma. Не так-то просто точно настроить эти гиперпараметры. Трудно представить себе их влияние

В этой статье мы подробно рассмотрели очень мощный алгоритм машинного обучения, метод опорных векторов. Я обсудил его концепцию работы, математическую интуицию за SVM, реализацию на питоне, приемы классификации нелинейных наборов данных, плюсы и минусы, и, наконец, мы решили проблему с помощью SVM.

В настоящее время я учусь на последнем курсе по статистике (бакалавр статистики) и очень интересуюсь наукой о данных, машинным обучением и искусственным интеллектом. Мне нравится погружаться в данные, чтобы обнаруживать тенденции и другие ценные сведения о данных. Я постоянно учусь и мотивирован пробовать что-то новое.

Открыт к сотрудничеству и работе.

При возникновении любых сомнений и вопросов, не стесняйтесь обращаться ко мне по электронной почте

Свяжитесь со мной в LinkedIn и Twitter

Источник изображения:

• Изображение 1: https://www.javatpoint.com/machine-learning-support-vector-machine-algorithm
• Изображение 2: https://byjus.com/maths/dot-product-of-two-vectors/
• Изображение 3: https://medium.com/@zxr.nju/what-is-the-kernel-trick-why-is-it-important-98a98db0961d
• Изображение 4: https://www.oreilly.com/library/view/machine-learning-quick/9781788830577/fc007e8f-36a8-4d27-8e22-5d4d82270cdf.xhtml
• Изображение 5: https://dataaspirant.com/svm-kernels/#t-1608054630725
• Изображение 6: https://www.kdnuggets.com/2016/06/select-support-vector-machine-kernels.