Заключение курса

Что дальше. Метод опорных векторов и ансамблевые методы, в том числе метод случайного леса

Здравствуйте и вновь добро пожаловать на занятия по теме «Обработка данных: машинное обучение с учителем на языке Python».

Наконец-то мы подошли к концу этого курса. Надеюсь, он дал вам более глубокое, нежели обычно, понимание различных алгоритмов машинного обучения. Когда приходится заниматься самостоятельной реализацией алгоритма, возникает необходимость задумываться о деталях, а не размахивать руками.

В заключение мы обсудим ряд возможных последующих направлений развития, когда вы уже знакомы с некоторыми классическими моделями машинного обучения и их использованием на практике.

Один из важных и очень популярных методов называется методом опорных векторов. И хотя он больше не используется так уж часто, ранее он был предпочтительнее нейронных сетей, пока не были изобретены современные методы глубокого обучения. Он не описывался в данном курсе, поскольку затрагивающие его теоретические основы сами по себе могут занять целый курс. Как и перцептрон, метод опорных векторов сыграл важную роль в истории глубокого обучения и в своё время считался современнейшим.

Другой исторически очень популярный алгоритм называется методом случайного леса. Он является примером того, что называется ансамблевыми методами. В то время как мы привыкли к типичным кривым ошибок учебного и проверочного наборов, где по мере усложнения модели ошибка учебного набора уменьшается, тогда как ошибка проверочного начинает расти, с помощью ансамблевых методов модель может получиться даже ещё более сложной, но при этом ошибка и учебного, и проверочного наборов уменьшается. Эти алгоритмы объединяют несколько более слабых моделей вроде обсуждавшихся в этом курсе деревьев решений.

В последнее годы стал очень популярным алгоритм XGBoost для выигрыша различных состязаний на Kaggle. XGBoost также является ансамблем деревьев. До него был AdaBoost – алгоритм, также показывающий очень хорошие результаты. Вообще говоря, эти ансамблевые методы будут превосходить любые единичные методы классификации, которые мы изучали в данном курсе, но, разумеется, и их теоретические основы также гораздо сложнее. Напомню, что все они включены в Sci-Kit Learn, а потому вам больше не нужно ничего изучать, чтобы начать сразу их использовать. XGBoost отсутствует в Sci-Kit Learn, но для него в Python есть соответствующая библиотека, работающая точно таким же образом. Так что ничего не надо делать, кроме как отдельно её установить.

Спасибо, что изучили данной курс и надеюсь встретиться на следующем курсе по машинному обучению с учителем!

Андрей Никитенко
Андрей Никитенко
Задать вопрос эксперту
Понравилась статья? Поделить с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: