Как правильно заполнить сзв м: сроки сдачи, заполнение, бланк новой формы и образец — Контур.Экстерн

Самая интересная особенность SVM заключается в том, что он может работать даже с нелинейным набором данных, и для этого мы используем «Kernel Trick», который упрощает классификацию точек. Предположим, у нас есть такой набор данных:

Источник изображения: Автор

Здесь мы видим, что не можем провести ни одной линии или, скажем, гиперплоскости, которая могла бы правильно классифицировать точки. Итак, что мы делаем, так это пытаемся преобразовать это пространство более низкой размерности в пространство более высокой размерности, используя некоторые квадратичные функции, которые позволят нам найти границу решения, которая четко разделяет точки данных. Эти функции, которые помогают нам в этом, называются ядрами, и то, какое ядро ​​использовать, определяется исключительно настройкой гиперпараметров.

Изображение 3

Ниже приведены некоторые функции ядра, которые вы можете использовать в SVM:

Ниже приведена формула ядра полинома:

Здесь d — степень многочлена, которую нам нужно указать вручную.

Предположим, у нас есть две функции X1 и X2 и выходная переменная Y, поэтому, используя полиномиальное ядро, мы можем записать ее как:

Итак, нам нужно найти X ₁ ² , X ₂ ² и X1.X2, и теперь мы видим, что 2 измерения были преобразованы в 5 измерений.

Мы можем использовать его как прокси для нейронных сетей. Уравнение:

Он просто берет ваши входные данные, сопоставляя их со значениями 0 и 1, чтобы их можно было разделить простой прямой линией.

Источник изображения: https://dataaspirant.com/svm-kernels/#t-1608054630725

3.

На самом деле он создает нелинейные комбинации наших функций, чтобы поднять ваши выборки в многомерное пространство признаков, где мы можем использовать линейную границу решения для разделения ваших классов. Это наиболее часто используемое ядро ​​в классификациях SVM, следующее формула объясняет это математически:

где,

1. «σ» — это дисперсия и наш гиперпараметр
2. || Х₁ – Х₂ || — Евклидово расстояние между двумя точками X₁ и X₂

Изображение 5

В основном используется для устранения перекрестного члена в математических функциях. Ниже приведена формула ядра функции Бесселя:

Он хорошо работает с задачами многомерной регрессии. Формула для этой функции ядра:

Мне хорошо известно, что у вас должны быть сомнения относительно того, как решить, какая функция ядра будет эффективно работать с вашим набором данных. Необходимо выбрать хорошую функцию ядра, поскольку от этого зависит производительность модели.

Выбор ядра полностью зависит от того, с каким набором данных вы работаете. Если это линейно разделимо, вы должны выбрать. для линейной функции ядра, так как она очень проста в использовании, а сложность намного ниже по сравнению с другими функциями ядра. Я бы рекомендовал вам начать с гипотезы о том, что ваши данные линейно разделимы, и выбрать линейную функцию ядра.

Затем вы можете перейти к более сложным функциям ядра. Обычно мы используем SVM с RBF и линейной функцией ядра, потому что другие ядра, такие как полиномиальное ядро, используются редко из-за низкой эффективности. Но что, если и линейный, и RBF дают примерно одинаковые результаты? Какое ядро ​​теперь выбираем? Давайте разберемся с этим на примере, для простоты я возьму только 2 функции, которые означают только 2 измерения. На рисунке ниже я нанес границу решения линейного SVM для 2 функций набора данных радужной оболочки:

Здесь мы видим, что линейное ядро ​​отлично работает на этом наборе данных, а теперь посмотрим, как будет работать ядро ​​RBF.

Мы видим, что оба ядра дают одинаковые результаты, оба хорошо работают с нашим набором данных, но какое из них выбрать? Линейный SVM — это параметрическая модель. Параметрическая модель — это концепция, используемая для описания модели, в которой все ее данные представлены в ее параметрах. Короче говоря, единственная информация, необходимая для прогнозирования будущего на основе текущего значения, — это параметры.

Сложность ядра RBF возрастает по мере увеличения размера обучающих данных. В дополнение к тому, что подготовка ядра RBF обходится дороже, мы также должны поддерживать матрицу ядра, а проекция в это «бесконечное» многомерное пространство, где данные становятся линейно разделимыми, также обходится дороже во время прогнозирования. Если набор данных нелинейный, то использование линейного ядра не имеет смысла, мы получим очень низкую точность, если сделаем это.

Таким образом, для такого набора данных мы можем использовать RBF даже не задумываясь, потому что он определяет границы решения следующим образом:

Для реализации набора данных мы будем использовать набор данных Income Evaluation, который содержит информацию о личной жизни человека и результат 50 000 или <= 50. Набор данных можно найти здесь (https://www.kaggle.com/lodetomasi1995/income-classification)

Задача здесь состоит в том, чтобы классифицировать доход человека при наличии необходимых исходных данных о его личной жизни.

Сначала импортируем все необходимые библиотеки.

 # Импорт всех соответствующих библиотек

из sklearn.svm импортировать SVC

импортировать numpy как np

импортировать панд как pd

из sklearn.preprocessing импортировать StandardScaler

из sklearn.model_selection импорта train_test_split

импорт из sklearn.metrics: точность_оценки, путаница_матрица

предварительная обработка импорта из sklearn

предупреждения об импорте

предупреждения.filterwarnings("игнорировать")

Теперь давайте прочитаем набор данных и посмотрим на столбцы, чтобы лучше понять информацию.

df = pd.read_csv('income_evaluation.csv') 

 df.head() 

Я уже сделал часть предварительной обработки данных, и вы можете посмотреть весь код здесь. Здесь моя основная цель — рассказать вам, как реализовать SVM на python.

Теперь для обучения и тестирования нашей модели данные должны быть разделены на обучающие и тестовые данные.
Мы также будем масштабировать данные, чтобы они находились в диапазоне от 0 до 1.

 # Разделить набор данных на тестовые и обучающие данные 

 X_train, X_test, y_train, y_test = train_test_split(df.drop('доход', ось=1),df['доход'], test_size=0,2) 

Теперь давайте продолжим определение классификатора опорных векторов вместе с его гиперпараметрами. Далее мы подгоним эту модель к обучающим данным.

 # Определить классификатор опорных векторов с гиперпараметрами 

 svc = SVC (случайное_состояние = 101) 

 точности = cross_val_score(svc,X_train,y_train,cv=5) 

 svc.fit(X_train,y_train) 

 print("Оценка поезда:"np.mean(точность)) 

 printf("Оценка теста:" svc.score(X_test,y_test)) 

Модель обучена, и теперь мы также можем наблюдать за выходными данными.

Ниже вы можете увидеть точность набора данных теста и обучения

Вы даже можете гипертюнинговать свою модель по следующему коду:

 сетка = {

 'С':[0.01,0.1,1,10], 

 'ядро' : ["линейный","поли","rbf","сигмоид"], 

 'степень' : [1,3,5,7], 

 'гамма': [0.01,1] 

 } 

 свм = СВК () 

 svm_cv = GridSearchCV (svm, сетка, cv = 5) 

 svm_cv.fit(X_train,y_train) 

 печать ("Лучшие параметры:", svm_cv.best_params_) 

 print("Оценка поезда:", svm_cv.best_score_) 

 print("Оценка теста:", svm_cv.score(X_test,y_test)) 

Набор данных довольно большой, и, следовательно, потребуется время для обучения, по этой причине я не могу вставить результат приведенного выше кода здесь, потому что SVM плохо работает с большими наборами данных, требуется много времени, чтобы получить обученный.

1. SVM работает лучше, когда данные являются линейными

2. Более эффективен в больших размерах

3. С помощью трюка с ядром мы можем решить любую сложную проблему

4. SVM не чувствителен к выбросам

5. Может помочь нам с классификацией изображений

1. Выбрать хорошее ядро ​​непросто

2. Не показывает хороших результатов на большом наборе данных

3. Гиперпараметрами SVM являются Cost-C и gamma. Не так-то просто точно настроить эти гиперпараметры. Трудно представить себе их влияние

В этой статье мы подробно рассмотрели очень мощный алгоритм машинного обучения, метод опорных векторов. Я обсудил его концепцию работы, математическую интуицию за SVM, реализацию на питоне, приемы классификации нелинейных наборов данных, плюсы и минусы, и, наконец, мы решили проблему с помощью SVM.

В настоящее время я учусь на последнем курсе по статистике (бакалавр статистики) и очень интересуюсь наукой о данных, машинным обучением и искусственным интеллектом. Мне нравится погружаться в данные, чтобы обнаруживать тенденции и другие ценные сведения о данных. Я постоянно учусь и мотивирован пробовать что-то новое.

Открыт к сотрудничеству и работе.

При возникновении любых сомнений и вопросов, не стесняйтесь обращаться ко мне по электронной почте

Свяжитесь со мной в LinkedIn и Twitter

Источник изображения:

• Изображение 1: https://www.javatpoint.com/machine-learning-support-vector-machine-algorithm
• Изображение 2: https://byjus.com/maths/dot-product-of-two-vectors/
• Изображение 3: https://medium.com/@zxr.nju/what-is-the-kernel-trick-why-is-it-important-98a98db0961d
• Изображение 4: https://www.oreilly.com/library/view/machine-learning-quick/9781788830577/fc007e8f-36a8-4d27-8e22-5d4d82270cdf.xhtml
• Изображение 5: https://dataaspirant.com/svm-kernels/#t-1608054630725
• Изображение 6: https://www.kdnuggets.com/2016/06/select-support-vector-machine-kernels. html
• Изображение 7: https://www.kdnuggets.com/2016/06/select-support-vector-machine-kernels.html
• Изображение 8: https://www.kdnuggets.com/2016/06/select-support-vector-machine-kernels.html
• Изображение 9: https://www.kdnuggets.com/2016/06/select-support-vector-machine-kernels.html

Медиафайлы, показанные в этой статье, не принадлежат Analytics Vidhya и используются по усмотрению Автора.

Полное руководство по методу опорных векторов (SVM) | by Marco Peixeiro

Понять его внутреннюю работу и внедрить SVM в четырех различных сценариях

Мы увидели, как подойти к проблеме классификации с помощью логистической регрессии, LDA и деревьев решений. Теперь для классификации вводится еще один инструмент: машина опорных векторов .

Машина опорных векторов является обобщением классификатора, называемого классификатор максимальной маржи . Классификатор максимальной маржи прост, но его нельзя применить к большинству наборов данных, поскольку классы должны быть разделены линейной границей.

Вот почему классификатор опорных векторов был введен как расширение классификатора максимальной маржи, которое можно применять в более широком диапазоне случаев.

Наконец, машина опорных векторов является просто дальнейшим расширением классификатора опорных векторов для учета нелинейных границ классов.

Может использоваться как для бинарной, так и для мультиклассовой классификации.

Объяснение теории SVM может быть очень техническим. Надеюсь, эта статья поможет вам понять, как работают SVM.

После изучения теории вы сможете реализовать алгоритм в четырех различных сценариях!

Без лишних слов, давайте приступим к делу.

Чтобы посмотреть практические видеоуроки по машинному обучению, глубокому обучению и искусственному интеллекту, посетите мой канал YouTube.

Этот метод основан на разделении классов с помощью гиперплоскости.

Что такое гиперплоскость?

В p -мерном пространстве гиперплоскость представляет собой плоское аффинное подпространство размерности p-1 . Визуально в 2D-пространстве гиперплоскость будет линией, а в 3D-пространстве — плоской плоскостью.

Математически гиперплоскость выглядит просто:

Если X удовлетворяет приведенному выше уравнению, то точка лежит на плоскости. В противном случае он должен быть на одной стороне плоскости, как показано ниже.

В общем случае, если данные можно идеально разделить с помощью гиперплоскости, то существует бесконечное количество гиперплоскостей, поскольку их можно сдвигать вверх или вниз или слегка поворачивать, не соприкасаясь с наблюдением.

Вот почему мы используем гиперплоскость максимального поля или оптимальную разделяющую гиперплоскость , которая является разделяющей гиперплоскостью, наиболее удаленной от наблюдений. Мы рассчитываем перпендикулярное расстояние от каждого тренировочного наблюдения с учетом гиперплоскости. Это известно как поле . Следовательно, оптимальной разделяющей гиперплоскостью является та, которая имеет наибольший запас.

Как видно выше, есть три точки, равноудаленные от гиперплоскости. Эти наблюдения известны как поддерживают векторы , потому что, если их положение смещается, смещается и гиперплоскость. Интересно, что это означает, что гиперплоскость зависит только от опорных векторов, а не от каких-либо других наблюдений.

Что делать, если не существует разделяющей плоскости?

В этом случае классификатор максимального поля отсутствует. Мы используем классификатор опорных векторов, который может почти разделить классы, используя мягкое поле , называемое классификатор опорных векторов. Однако дальнейшее обсуждение этого метода становится слишком техническим, и поскольку это не самый идеальный подход, мы пока пропустим эту тему.

Машина опорных векторов является расширением классификатора опорных векторов, полученным в результате расширения пространства признаков с использованием ядер . Подход ядра — это просто эффективный вычислительный подход для размещения нелинейной границы между классами.

Не вдаваясь в технические подробности, ядро ​​— это функция, которая количественно определяет сходство двух наблюдений. Ядро может быть любой степени. Использование ядра со степенью больше единицы приводит к более гибкой границе решения, как показано ниже.

Чтобы лучше понять, как выбор ядра может повлиять на алгоритм SVM, давайте реализуем его в четырех разных сценариях.

Этот проект разделен на четыре мини-проекта.

В первой части показано, как выполнять классификацию с помощью линейного ядра и как параметр регуляризации C влияет на результирующую гиперплоскость .

Затем во второй части будет показано, как работать с ядром Гаусса для создания нелинейной гиперплоскости.

Третья часть моделирует перекрывающиеся классы, и мы будем использовать перекрестную проверку , чтобы найти наилучшие параметры для SVM.

Наконец, мы выполняем очень простой классификатор спама с использованием SVM.

Приведенные выше упражнения взяты из курса Эндрю Нг, доступного бесплатно на Coursera. Я просто решаю их с помощью Python, чего инструктор не рекомендует. Тем не менее, я настоятельно рекомендую курс для всех начинающих.

Как всегда, записная книжка и данные доступны здесь.

Мини-проект 1 — SVM с линейным ядром

Прежде чем мы начнем, давайте импортируем несколько полезных библиотек:

Обратите внимание, что здесь мы импортируем loadmat , потому что наши данные представлены в матричной форме.

Затем мы сохраняем пути к нашим наборам данных в разных переменных:

Наконец, мы создадим функцию, которая поможет нам быстро построить каждый набор данных:

Отлично!

Теперь, в этой части, мы реализуем машину опорных векторов, используя линейное ядро, и увидим, как параметр регуляризации может повлиять на гиперплоскость.

Во-первых, давайте загрузим и визуализируем данные:

И вы должны увидеть:

Обратите внимание на наличие выброса слева на графике . Давайте посмотрим, как параметр регуляризации повлияет на гиперплоскость при наличии выброса.

Приведенный выше блок кода просто подбирает SVM к данным, и мы используем прогнозы для построения гиперплоскости. Обратите внимание, что мы используем параметр регуляризации, равный 1. Результат должен быть следующим:

Как видите, гиперплоскость проигнорировала выброс. Следовательно, низкий параметр регуляризации будет равен , лучше обобщить . Ошибка теста обычно выше, чем ошибка перекрестной проверки.

Теперь давайте увеличим параметр регуляризации:

И вы получите:

Теперь выброс находится на правой стороне гиперплоскости, но это также означает, что мы переобучаем. В конечном счете, эта граница не будет работать на ненаблюдаемых данных.

Мини-проект 2 — SVM с ядром Гаусса

Теперь мы знаем, что для согласования нелинейных границ нам нужно изменить функцию ядра. В этом упражнении мы будем использовать гауссовское ядро ​​ .

Во-первых, давайте нанесем на график наши данные:

И вы должны увидеть:

Перед внедрением SVM вы должны знать, что ядро ​​Гаусса выражается как: как быстро метрика подобия стремится к нулю, поскольку они дальше друг от друга.

Поэтому реализуем его следующим кодом:

И у вас должна получиться следующая гиперплоскость:

Удивительно! Гиперплоскость не является идеальной границей, но она неплохо справляется с классификацией большинства данных. Я предлагаю вам попробовать разные значения сигма , чтобы увидеть, как это влияет на гиперплоскость.

Мини-проект 3 — SVM с перекрестной проверкой

Перекрестная проверка необходима для выбора наилучших параметров настройки для оптимальной производительности нашей модели. Давайте посмотрим, как это можно применить к SVM.

Конечно, давайте посмотрим, как выглядят данные для этого упражнения:

И вы получите:

Обратите внимание, что у нас есть перекрывающиеся классы. Конечно, наша гиперплоскость не будет идеальной, но мы будем использовать перекрестную проверку, чтобы убедиться, что это лучшее, что мы можем получить:

Из приведенной выше ячейки кода вы должны получить, что лучший параметр регуляризации равен 1, а сигма должна быть 0,1. Используя эти значения, мы можем сгенерировать гиперплоскость:

И получить:

Мини-проект 4 — Классификация спама с помощью SVM

Наконец, мы обучаем классификатор спама с помощью SVM.