Что такое метод перекрестной проверки в машинном обучении и его процессе?

Перекрестная проверка — это своего рода метод проверки модели, использующий машинное обучение. В основном используется подмножество набора данных, а затем оцениваются прогнозы модели с использованием дополнительного подмножества набора данных. K-кратная перекрестная проверка является одним из популярных методов, используемых в этом методе для оценки модели на подмножестве, которое не использовалось для обучения модели.

K-кратная перекрестная проверка

При K-кратной перекрестной проверке все данные делятся на k подмножеств, и метод удержания повторяется k раз, так что каждый раз, когда одно из k подмножеств используется в качестве тестового набора/проверочного набора, а другие k-1 подмножества помещаются вместе, чтобы сформировать тренировочный набор.

Этот популярный метод, потому что его легко понять всем инженерам по машинному обучению, потому что он обычно приводит к менее предвзятой или менее оптимистичной оценке навыков модели, чем другие методы, такие как простое разделение обучения/тестирования.

Процесс K-кратной перекрестной проверки

Первый процесс: Перемешайте набор данных случайным образом.

Второй процесс: Разделите набор данных на k групп.

Для каждой уникальной группы:

Шаг 1: Возьмите группу в качестве контрольного или тестового набора данных
Шаг 2: Возьмите оставшиеся группы в качестве обучающего набора данных.
Шаг 3: Подберите модель к тренировочному набору и оцените ее на тестовом наборе.
Шаг 4: Сохранить оценку и отказаться от модели

Третий процесс: Суммируйте навыки модели, используя выборку оценок модели.

Очень важно, чтобы при каждом наблюдении выборка данных относилась к отдельной группе и оставалась в этой группе на протяжении всей процедуры. Это означает, что каждому образцу предоставляется возможность использоваться в наборе удержания 1 раз и использоваться для обучения модели k-1 раз. Так как результаты k-кратной перекрестной проверки часто суммируются со средним значением оценок навыков модели.

Оставьте один вне перекрестной проверки

Точно так же LOOCV (перекрестная проверка с исключением одного) является еще одним методом перекрестной проверки, процесс проверки выполняется путем обучения всего набора данных, за исключением только одной точки данных из доступного набора данных, а затем повторяется для каждой точки данных. Преимущество использования этого метода заключается в том, что он приводит к более высоким вариациям модели тестирования, поскольку мы тестируем одну точку данных.

Узнайте больше о последних исследованиях в области машинного обучения

Недостатком использования этого метода является то, что он требует много времени на выполнение, поскольку он повторяет «количество точек данных» раз. Этот метод обычно предпочтительнее предыдущего, потому что он не требует интенсивных вычислений, количество возможных комбинаций равно количеству точек данных в исходной выборке или n.

Почему перекрестная проверка используется в машинном обучении?

Машинное обучение с перекрестной проверкой Этот метод очень полезен для оценки эффективности вашей модели, главным образом, когда вам нужно смягчить переобучение. Тем не менее, он также используется при определении гиперпараметров вашей модели с точки зрения определения времени, когда параметры дадут результаты с наименьшей ошибкой теста. Это один из наиболее широко используемых и эффективных методов проверки модели машинного обучения, используемый инженерами по машинному обучению во всем мире для создания полнофункциональной модели ИИ с наивысшим уровнем точности для безупречных результатов.

Cogito предоставляет услугу проверки машинного обучения с участием человека для беспристрастной проверки точности моделей по доступным ценам. Он специализируется на проверке моделей, разработанных для различных областей, таких как камеры видеонаблюдения с поддержкой ИИ для захвата людей и других движущихся объектов на компьютере или проверки подлинности аннотаций распознавания лиц, используемых в различных областях для обнаружения человеческих лиц и аутентификации атрибутов лица в кадре. правильная манера.

Первоначально представлено на ГОВОРИТ ВАМИ