과적합과 과소적합: 세 가지 문제 모두 해결, 원인 및 해결 방법

홈 » Python » 과적합과 과소적합: 세 가지 문제 모두 해결, 원인 및 해결 방법

기계 학습 모델에 대한 유용한 정보를 얻으려면, 버스캠을 통해 다음과 같은 기능을 수행할 수 있어야 합니다. Ese Equilibrio entre aprender de verdad y Generalizar sin memorizar es la diferencia entre un prototipo vistoso y un sistema fiable en producción.

이 문제는 사소한 문제가 아닙니다. Dos fallos clásicos lo entorpecen: 과적합(sobreajuste) y 과소적합(subajuste). El primeo aparece cuando el modelo se pega tanto a los datos de entrenamiento que confunde el ruido con la señal; 세군도, 모델의 단순성(또는 제한 없음)을 확인하면 기본적으로 후원자를 보호할 수 있습니다. En las siguientes secciones vas a ver las causas, señales, ejemplos, la relación con el sesgo y la varianza, 당신은 무기고 기술의 실제 사례를 확인하고 있습니다.

과적합과 과소적합

기업의 결합에 앞서 과적합된 모델은 반복될 수 없는 특이한 특성과 이상치를 포함합니다. Rinde de lujo en entrenamiento y flojea en Validación o test. Es como un estudiante que se aprende las respuestas de memoria: clava el simulacro, pero en el Examen real se pierde.

El underfitting es la cara opuesta. 문제가 있는 구조를 캡처할 수 있는 모델이 없습니다.: rinde mal tanto en entrenamiento como en test. Imagina ajustar una recta a datos que siguen una curva; por muy bien que la estires, no va a encajar bien. El subajuste suele venir acompañado de alto sesgo y baja varianza.

En la práctica, medimos estas situaciones con métricas en los distintos conjuntos. Diferencias grandes entre el rendimiento en entrenamiento y validación delatan sobreajuste, mientras que resultados pobres en ambos sugieren subajuste. Además, revisar la pérdida durante el entrenamiento suele dar pistas adicionales.

Sesgo y varianza: 균형 잡힌 섬세함

오류 발생 시 다음 사항을 확인하세요. sesgo (bias) y varianza (análisis de varianza). 모델의 모델이 너무 단순함을 초과하면 과소적합이 가능합니다. 다양한 모델을 사용하여 기업의 상황에 따라 변동하는 것이 매우 현명하고, 과적합에 따른 트레이드가 필요합니다.

유명한 트레이드오프 세고-바리안자 te obliga a encontrar un punto intermedio. Al incrementar la complejidad, suele bajar el sesgo pero sube la varianza; 간단하게, 반대로 발생합니다. A lo largo del entrenamiento, el sesgo tiende a disminuir mientras la varianza puede crecer, así que conviene vigilar el comportamiento en Validación y no entrenar a ciegas indefinidamente.

Ejemplo rápido: predicción de precios de vivienda. Una recta (alto sesgo) puede quedarse corta si la relación es curvilínea (과소적합); un polinomio de grado 4 que toque cada punto puede capturar el ruido(alta varianza, 과적합); 우나 curva suave de complejidad moderada (예를 들어, un polinomio de grado 2 bien Regularizado) suele dar el mejor compromiso.

Cómo identificar cada 문제

Las señales típicas del sobreajuste에는 다음이 포함됩니다. 정밀한 altísima en entrenamiento y claramente 열등한 테스트; pérdida de entrenamiento bajando mientras la pérdida de validación empieza a subir; sensibilidad extrema a pequeños cambios en la entrada; 응 전체 모델은 "ganen"이며 기업용으로 일반화되지 않았습니다..

Para el subajuste, fíjate en métricas mediocres en ambos conjuntos y en aprendizaje estancado: si tras varias épocas no mejora la puntuación, 퀴즈는 모델의 용량이 충분하지 않다는 것입니다. 일반 주의자들에 대한 예측은 다음과 같습니다: un claificador que siempre predice la clase mayoritaria o un regresor que apenas se aleja de la media.

확인이 완료되면 확인이 완료되었습니다. Una alta variabilidad entre pliegues (folds) suele apuntar a overfitting. Coherencia en la mediocridad, en cambio,huele a underfitting. 예측 오류(MAE, MSE) 또는 특정 측정 항목과 관련된 정확도가 매우 높습니다.

과적합의 원인

La Primera sospechosa es la complejidad. 다양한 장치와 다양한 장치의 매개 변수 모델 특정 지역의 특성을 파악하세요. También influye entrenar durante demasiado tiempo sin control: si no aplicas parada temprana, el modelo puede pasar de aprender 후원자 a memorizar.

변수 제어에 대한 기술을 통해 다음 사항을 확인하세요. demasiadas características irrelevantes o muy correlacionadas empujan al modelo a ver relaciones fantasma. Conjuntos pequeños o poco Representativeativos empeoran el Problema porque la muestra no enseña suficiente variación como para que el modelo Generalice.

En redes Neuronales profundas, la gran capacidad de Representativeación es un arma de doble filo. Sin Regularización y datos suficientes, las redes tienden a sobreajustar con facilidad. 포함된 측면은 tamaño de lote(배치 크기)로서 매우 정밀한 고객 기억에 기여합니다.

과소적합의 원인

El subajuste suele venir de modelos exesivamente simples para la complejidad del Problema (예를 들어, lineales sobre relaciones no lineales). 라스 Regularizaciones demasiado fuertes (L1/L2) también pueden “ahogar” el aprendizaje 단순한 초과 행위에 대한 책임을 져야 합니다.

정보를 확인하는 데 필요한 요소는 다음과 같습니다. 시 las características는 인식할 수 없습니다. 손실 요인 관련성도 없습니다., el modelo no puede aspirar a aprenderlos. Escalados inadecuados o ausencia de Normalización/estandarización 과소적합을 시도하기 전에 최적화 및 변환을 수행하는 것이 어렵습니다.

마지막으로, 돈을 많이 벌었지 아니 se entrena eltiempo suficiente (muy pocas épocas o iteraciones), 쿠안도 se retiró el modelo con parada temprana demasiado pronto, o cuando la calidad de los datos impide aprender los Patrones de fondo por ruido exesivo.

Ejemplos cotidianos para entenderlo

Imagen y visión: si una red para dígitos manuscritos memoriza píxeles concretos, puede clavar el entrenamiento y fallar con digitos escritos de otra manera (과적합). Con técnicas como 데이터 증대(rotaciones, volteos) 일반화를 선호합니다.

금융: 일련의 시간 모델을 확인하세요. cambios aleatorios del pasado que no se repiten en el futuro 정말 그렇습니다. 과소적합, ni capta ciclos ni reacciona a cambios estructurales.

Un ejemplo curioso de sobreajuste es entrenar un robots de baloncesto aimitar hasta el último detalle de un jugador concreto. El 로봇 lo hace Perfecto en secuencias conocidas, pero se queda vendido ante jugadas nuevas. Falta 일반화는 fuera del guion입니다.

기상학에서는 온도와 온도에 따라 온도를 예측할 의도가 있습니다. Esa pobreza de Variables는 과소적합을 유도합니다.: el modelo da palos de ciego aunque veas que baja el termómetro.

Por qué el sobreajuste puede ser “peor” que el subajuste

Hay un matiz teórico importante. 유엔 극단적으로 낮은 모델 podría dar siempre una Constante, ignorando el input: su error en test rondaría la varianza de la 가변 오브제티보. En cambio, un modelo sobreajustado que interpola todos los puntos del entrenamiento puede 일반적인 picos espurios entre muestras y disparar el 오류 en test de forma potencialmente descomunal.

Esto puedeverse con polinomios de alto grado o incluso con redes MLP sobreparametrizadas: al ajustarse a cada punto, “oscilan” entre observaciones y crean valores absurdos fuera de la muestra. El resultado es que la degradación del rendimiento fuera de entrenamiento no tiene un tope claro.

과적합 대 Sobreparametrización: 오류가 없습니다.

Conviene diferenciar terminos. Sobreparametrización 이는 문제의 구조를 대표하는 필수 용량 모델의 ​​클래스를 의미합니다. 피팅 ocurre cuando, dado un modelo concreto, 일반화를 통해 기업 환경에 맞게 형식을 최적화할 수 있습니다.. 정규화에 따르면, 모델에 따라 매개변수가 조정되지 않을 수도 있습니다. Las técnicas de Regularización (por ejemplo, ridge o lasso) ayudan 및 "desacoplar" ambos 개념.

평가 및 조정 모니터

el flujo en entrenamiento, validación y prueba를 나눕니다. Mira 정확도, 오류 o la métrica que toque en cada 세그먼트o. Si el entrenamiento va bien pero la validación cae, sospecha de sobreajuste; si los dos van mal, probablemente falta capacidad o datos.

유효성 검사 크루자다(k-fold)는 단일 참여에 대한 결론을 감소시킵니다. Si la media de validación es estable y la desviación entre pliegues es baja, hay más garantías de que el modelo Generaliza를 확인하세요. También es clave definir un conjunto de evaluación final (test) que no se toque durante el ajuste de hiperparámetros.

또한, vigila la distribución de los datos en el timpo. El 데이터 드리프트(cambios en la distribución de entrada) puede Convertir en inservible un modelo que ayer funcionaba: 정기적인 재검토와 모니터링 es parte de la receta, no un lujo.

Técnicas para reducir 과적합

Datos y más datos. Aumentar el Volumen y laiversidad del entrenamiento ayuda a que el modelo aprenda Patrones de fondo en lugar detallesacciales. 그래서, mejor calidad que cantidad: Depurar outliers는 왜곡과 오류를 일치시킵니다. 우선순위입니다.

정규화. L1 (올가미) 선호하는 캐릭터 선택 al llevar pesos a cero; L2(능선) reparte la penalización encogiendo los pesos sin anularlos. 탄성 망 Combina ambas y muchas veces es un buen término medio.

Arquitectura y entrenamiento. Dropout en redes neuronales apaga Neuronas aleatoriamente y evita que el modelo dependencya de rutas demasiado específicas. 엔 아르볼레스, la poda (가지치기) ylimitar profundidad o número de hojas recorta la complejidad. 템프라나 파라다: 유효성 검사의 확인 및 확인을 모니터링합니다.

Validación y selección. k 배 교차 검증 para validar 결정은 "mejor" 모델의 솔로 수행을 중단하고 방지하기 위한 것입니다. 변수 수 줄이기 o elegir mejor cuáles entran puede bajar la varianza y mejorar lainterpreabilidad.

Optimización y lotes. Lotes pequeños는 ruido "saludable" en elgrade를 도입했습니다., lo que a menudo mejora la 일반화; lotes gigantes pueden feecer el sobreajuste al seguir treectorias de optimización demasiado precisas al paisaje de entrenamiento.

Técnicas para reducir 과소적합

Capacidad del modelo. Sube la complejidad si los datos lo exigen (polinómico en vez de lineal, árboles más profundos, redes menos superficiales). La clave está en no pasarse de frenada y acompañarlo de validaciones solidas가 없습니다.

정규화 및 제한. 예외적으로 처벌을 받는 경우도 있습니다. 호흡 모델에 따라 정규화를 시작하세요.. 숫자에 따른 숫자: 간단한 모델이 필요하기 때문에 aprender가 필요합니다., siempre con un ojo en la validación para no caer en sobreajuste.

Características y preprocessesado. Amplía y mejora las características (상호작용, términos polinómicos, codificaciones adecuadas devariablecategóricas). Normaliza o estandariza para que el algoritmo no "favorezca" 변수 por escala. 많은 돈을 벌고, 필터 노이즈 eleva la señal útil.

Datos y cobertura. 대부분의 데이터는 하위 가능성을 감소시키는 대표자입니다.. Si el conjunto se queda corto, plantéate 전학 학습 NLP를 보면 NLP는 "준비 없음" 모델을 제거하고 계획을 세우기 위한 대표자 역할을 합니다.

데이터 품질, 드리프트 및 자동화

La calidad de datos manda. 정확성, 완전성, 일관성 deberían auditarse y cruzarse con fuentes fiables. 테크니카스 코모 Normalización (0-1) 또는 estandarización (미디어 0, desviación 1) evitan que el modelo prime 변수는 escala에 의해 발생합니다.

Con eltiempo, los datos cambian. El 데이터 드리프트 puede causar tanto overfitting como underfitting en el nuevo contexto. La Receta: 측정 지표를 모니터링하고, 배포를 검사하고, 실제로 데이터를 정기적으로 확인합니다.

도구 AutoML 하이퍼 매개변수 선택을 가속화하고, 캐릭터 설계 및 평가 파이프라인 생성을 가속화하고, 고급 분석을 위한 자유도를 높였습니다. 과거의 역사: Amazon Machine Learning 서비스 나중에는 현실화되지 않을 것입니다.; si trabajas con documentación antigua, tenlo presentse.

Señales clave y reglas de pulgar

En la práctica del día a día, muchos empezamos igual: dudando si el modelo está sobreajustando o si simplemente se ha quedado corto de entrenamiento. 경험적으로, se vuelve rutina mirar tres cosas: gran brecha entre train y 테스트(sobreajuste), resultados conflictemente bajos en ambos(subajuste), y varianza alta entrefolds (sobreajuste de manual).

No te confíes con métricas bonitas en entrenamiento. Una curva de pérdida que cae sin parar en train pero empeora en validación es aviso de MEMORIZACIÓN. 현재 상황에서는 정규화 작업이 필요합니다.

Ensamblados, selection de características y tamaño de lote

Los Métodos de Conjunto Ayudan. 배깅(Random Forest)은 Varianza를 줄입니다. y suele ser buen antídoto 반대 el sobreajuste; 부스팅(XGBoost와 함께) 세션 감소 y puede levantar modelos demasiado simples, aunque hay que cuidarlo para que no sobreajuste.

La 캐릭터 선택 중복되거나 관련 없는 변수를 제거합니다. 소음을 줄이다 그리고 일반화를 시도합니다. 입력된 장치의 초과로 인해 문제가 발생할 경우 효과를 개선하기 위해 노력해야 합니다.

Sobre el tamaño de lote ya lo insinuamos: lotes pequeños는 다양한 변수를 도입하여 그라디언트를 일반화할 수 있습니다.; lotes muy grandes pueden empujar a soluciones que clavan el entrenamiento pero pierden en test.

Elegir el algoritmo: empieza sencillo, escala cuando toque

문제가 있는 경우 데이터를 잃어버리고 가족의 눈부신 차이를 확인하세요. Si hay fronteras claras, SVM 또는 árboles pueden ir de maravilla. Conjuntos grandes y complejos, redes profundas o ensambles potentes of recen flexibilidad도 마찬가지입니다. k-NN으로 선형 회귀 모델을 작성합니다. 아들은 데이터 세트와 함께 해석 가능한 데이터 세트를 제공합니다.

Una estrategia efficaz es comparar 버전은 단순하고 병렬로 완료됩니다. 유효성 검사에 동의하세요. 모든 것이 완벽하게 이루어질 수 있는 방법입니다. No necesitas el modelo “más complicado”, sino el más fiable en el mundo real.

Casos de uso y consecuencias en negocio

또한, 병원이나 특정 집단에 대한 일반화를 예측할 수 있는 사람은 없습니다. Sobreajustar a Patrones locales puede ser peligroso; subajustar, inútil. 재정적인 측면에서 모델이 필요합니다. 메모리잔 바이베네스 히스토리코스 fallan al traducirlos en señales futuras.

차량의 자율성, 탐지 시스템을 통한 정찰 대상 감지 시스템 다양한 환경; memorizar imágenes concretas no sirve. NLP에서는 감정 분석이 가능합니다. aprende frases del entrenamiento “de carrerilla”, 새로운 공식이 없습니다.

A nivel de negocio, el sobreajuste da lugar a 오 탐지 (예를 들어, 사기) oa estrategias que parecían prometedoras en validación interna pero se desploman al desplegarse. El subajuste, por su parte, 생산하다 경골 예측 que apenas superan reglas triviales, minando la confianza en elequipo de datos.

Preguntas frecuentes y matices prácticos

¿ Cómo ayuda la selección de características a evitar sobreajuste? Al quitar ruido y redundancias, disminuye la varianza y mejora la 일반화. Es de las Primeras medidas a probar si sospechas entradas irrelevantes.

¿ Los ensambles는 ambos 문제를 줄입니까? 가방 판매점 바하르 바리안자 (menos sobreajuste) y 부스팅 바하르 세고 (menos subajuste). Bien ajustados, son herramientas muy potentes.

¿ Por qué las redes profundas sobreajustan con facilidad? Por su enorme capacidad. 정규화, 드롭아웃 및 추가 데이터/증강 아들은 Esenciales para Mantenerlas 정직합니다.

¿El tamaño de lote influye? 예. Lotes pequeños는 ruido beneficioso를 소개했습니다. 일반화를 선호합니다; 많은 큰 일들이 "memorizar"로 쉽게 이루어집니다.

전이 학습에 도움이 될까요? 많은. Aprovecha는 나중에 aprendidas를 대표합니다. y는 tanto el riesgo de subajuste(falta de capacidad efectiva) como de sobreajuste en 데이터 세트 pequeños를 줄입니다.

빠르게 처리할 수 있는 체크리스트

실제 녹음에 관한 내용을 확인하세요. 그랜 갭 트레인/테스트, 정기적으로 진행됨, 전체 완료, 데이터 데이터, 조기 중지, 탈락, poda en arboles, y valida con k-fold. 체 말 엔 트레인 y 테스트, 많은 용량, 많은 용량을 고려하세요, bajar regularización, mejores características, y preprocesados ​​adecuados (normalizar/estandarizar).

Y no olvides lo operativo: 모니터리자 드리프트, planifica reentrenos, cuida la calidad de datos y, si tiene sentido, AutoML에서 삭제 하이퍼 매개변수 및 평가 파이프라인을 사용하여 버스 케다의 부품 메카니즘을 자동화합니다.

균형 상태에 대한 목표: 캡타르 라 세날 신 페르세귀르 엘 루이도. 균형이 존재하며, el modelo funciona dentro y fuera del Laboratorio; Cuando se rompe, llegan los sustos. Aprender a detector las señales, aplicar las técnicas adecuadas y cuidar los datos es lo que marca la diferencia entre "que corre" y "que aporta valor".