Redes neuronales profundas para la resolución de problemas de regresión con bases de datos tabulares pequeñas
Las redes neuronales artificiales (ANN: Artificial Neural Networks) recientemente han tenido un gran impacto en la resolución de algunos problemas debido a que ha sido posible la implementación de algoritmos que requieren una gran capacidad de cómputo. Simultáneamente, enormes volúmenes de datos han sido dispuestos para el entrenamiento de estos modelos. Aunque la capacidad de cómputo ya no supone una restricción, la disponibilidad de volúmenes de datos puede ser un problema en algunos contextos en los cuales no siempre es factible obtener nuevos. En esta tesis se analizan modelos de ANN profundas con bases de datos tabulares pequeñas circunscritos a problemas de regresión. Una tarea de regresión se define como el mapeo de un valor numérico en referencia a una entrada también numérica. Se espera que cumpla con las siguientes características: carencia de sesgo, consistencia y eficiencia. Además, se ha propuesto una definición de base de datos pequeña para ANN a fines prácticos: la cantidad de parámetros de una ANN es una medida de su complejidad. El balance entre los parámetros y la cardinalidad del conjunto de observaciones indica que nos encontramos ante un problema de base de datos pequeña. Asimismo, se ha considerado que esta es una definición necesaria aunque perfectible. El estudio del la división del conjunto de datos en la evaluación del modelo se ha enfocado en las situaciones en las que se emplea un modelo de regresión (MR) construido con una ANN. Como contribución, se ha estudiado si el control del la división del conjunto de datos produce una estimación más precisa del error de generalización teniendo en consideración el mismo punto inicial. Con este propósito, se presenta un algoritmo evolutivo original que pueda controlar la división de los datos en función de una distancia. Otro de los aportes originales es la introducción de un algoritmo híbrido de optimización de hiperparámetros basado en recocido simulado. Con el algoritmo propuesto, se estudian algunos de los mecanismos de compensación entre los hiperparámetros que gobiernan la construcción del modelo, teniendo en consideración que esta dinámica en muchos casos es desconocida. Puede decirse finalmente que el control de la división del conjunto de datos a menudo reporta beneficios al reproducir fielmente la distribución estadística de datos. Asimismo, se observa la importancia de contar con algoritmos más refinados para la optimización de los hiperparámetros.
Networked Digital Library of Theses and Dissertations