{"id":{"repo_id":"minho-thes","oai_identifier":"oai:repositorium.uminho.pt:1822/101342"},"canonical_url":"https://search.dev.ndltd.org/etd/minho-thes/oai:repositorium.uminho.pt:1822/101342","repository":{"repo_id":"minho-thes","name":"Universidade do Minho","base_url":"http://repositorium.sdum.uminho.pt/oai/request"},"display":{"title":"Closed-loop metrics-based dataset optimization toward deep learning models","abstract":"Os avanços tecnológicos permitiram a exploração prática de conceitos de artificial neural network propostos na década de 1980, conduzindo a progressos significativos na visão por computador, particularmente através das Convolutional Neural Networks (CNNs). No entanto, o desempenho das CNNs depende fortemente da qualidade e diversidade dos dados. Neste contexto, têm sido propostas estratégias centradas nos dados para explorar todo o potencial de inferência dos modelos, abrangendo desde etapas iniciais de divisão e aumento de conjuntos de dados até procedimentos de avaliação posteriores, como a K-Fold Cross Validation (KFCV) . Apesar da sua adoção generalizada, algumas limitações podem ser identificadas nestas práticas padronizadas. Por um lado, os procedimentos de divisão e aumento de conjuntos de dados são tipicamente realizados sem considerar as respetivas características intrínsecas, com implicações para a representatividade inerentemente ligada a situações como padrões raros de ocorrências ou combinações específicas de primeiro plano e fundo. Por outro lado, embora técnicas baseadas em KFCV sejam geralmente eficazes, a sua natureza iterativa torna-as computacionalmente dispendiosas e temporalmente exigentes. Motivado por estes desafios, o presente trabalho investiga a engenharia e otimização de conjuntos de dados como forma de melhorar e, simultaneamente, tornar mais eficiente o treino de CNNs. Para tal, são propostas duas abordagens complementares. A primeira, inspirada em princípios de aprendizagem não supervisionada, realiza uma análise da distribuição de características intrínsecas dos dados antes do treino, permitindo uma divisão equilibrada dos dados numa única etapa de curta duração. A segunda introduz uma estratégia em malha fechada, baseada em reforço e aplicada durante o treino, que reamostra seletivamente classes sub-representadas enquanto monitoriza métricas-chave para mitigar a sobre-amostragem e a degradação do modelo. Para avaliar a robustez e capacidade de generalização, foram utilizados dois conjuntos de dados específicos de domínio: um relativo à classificação de variedades de folhas de videira e outro focado na deteção de defeitos em pontes. Os resultados mostram que a divisão de dados informada pelas características oferece uma alternativa eficiente aos métodos tradicionais. Além disso, a estratégia de reamostragem orientada por métricas, implementada num esquema de malha fechada, demonstrou ser eficaz na melhoria consistente do desempenho das CNNs, reforçando a representatividade das classes sem promover sobreajuste.","abstract_html":"Os avanços tecnológicos permitiram a exploração prática de conceitos de artificial neural network propostos na década de 1980, conduzindo a progressos significativos na visão por computador, particularmente através das Convolutional Neural Networks (CNNs). No entanto, o desempenho das CNNs depende fortemente da qualidade e diversidade dos dados. Neste contexto, têm sido propostas estratégias centradas nos dados para explorar todo o potencial de inferência dos modelos, abrangendo desde etapas iniciais de divisão e aumento de conjuntos de dados até procedimentos de avaliação posteriores, como a K-Fold Cross Validation (KFCV) . Apesar da sua adoção generalizada, algumas limitações podem ser identificadas nestas práticas padronizadas. Por um lado, os procedimentos de divisão e aumento de conjuntos de dados são tipicamente realizados sem considerar as respetivas características intrínsecas, com implicações para a representatividade inerentemente ligada a situações como padrões raros de ocorrências ou combinações específicas de primeiro plano e fundo. Por outro lado, embora técnicas baseadas em KFCV sejam geralmente eficazes, a sua natureza iterativa torna-as computacionalmente dispendiosas e temporalmente exigentes. Motivado por estes desafios, o presente trabalho investiga a engenharia e otimização de conjuntos de dados como forma de melhorar e, simultaneamente, tornar mais eficiente o treino de CNNs. Para tal, são propostas duas abordagens complementares. A primeira, inspirada em princípios de aprendizagem não supervisionada, realiza uma análise da distribuição de características intrínsecas dos dados antes do treino, permitindo uma divisão equilibrada dos dados numa única etapa de curta duração. A segunda introduz uma estratégia em malha fechada, baseada em reforço e aplicada durante o treino, que reamostra seletivamente classes sub-representadas enquanto monitoriza métricas-chave para mitigar a sobre-amostragem e a degradação do modelo. Para avaliar a robustez e capacidade de generalização, foram utilizados dois conjuntos de dados específicos de domínio: um relativo à classificação de variedades de folhas de videira e outro focado na deteção de defeitos em pontes. Os resultados mostram que a divisão de dados informada pelas características oferece uma alternativa eficiente aos métodos tradicionais. Além disso, a estratégia de reamostragem orientada por métricas, implementada num esquema de malha fechada, demonstrou ser eficaz na melhoria consistente do desempenho das CNNs, reforçando a representatividade das classes sem promover sobreajuste.","abstract_has_math":false,"creators":["Shahrabadi, Somayeh"],"institution":"Universidade do Minho","degree_name":"Doutoramento em Informática","degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":["Alves, Victor","Adão, Telmo Miguel Oliveira"],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026-02-19","date_published":"2026-02-19","updated_at":"2026-08-21T16:46:36Z","subjects":["Aprendizagem Profunda","Divisão de Dados Informada por Características","Treino de Redes Neuronais Profundas Otimizado em Malha Fechada","Deep Learning","Feature-Aware Dataset Splitting","Closed-loop Deep Neural Networks Training Optimization"],"languages":["eng"],"rights":["openAccess"],"rights_urls":["http://creativecommons.org/licenses/by-nc-nd/4.0/"],"identifier_entries":[]},"links":{"outbound_url":"https://hdl.handle.net/1822/101342","outbound_label":"Handle","outbound_source":"dc:identifier.uri"},"source_record":{"url":"http://repositorium.sdum.uminho.pt/oai/request?verb=GetRecord&metadataPrefix=dim&identifier=oai%3Arepositorium.uminho.pt%3A1822%2F101342","prefix":"dim"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:contributor.advisor","label":"Advisor","values":["Alves, Victor","Adão, Telmo Miguel Oliveira"]},{"key":"dc:creator","label":"Author","values":["Shahrabadi, Somayeh"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date.accessioned","label":"Dc Date Accessioned","values":["2026-04-28T12:30:29Z"]},{"key":"dc:date.issued","label":"Date","values":["2026-02-19"]},{"key":"dc:type","label":"Dc Type","values":["doctoralThesis"]},{"key":"thesis:degree_name","label":"Degree Name","values":["Doutoramento em Informática"]},{"key":"thesis:institution_name","label":"Thesis Institution Name","values":["Universidade do Minho"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Aprendizagem Profunda","Divisão de Dados Informada por Características","Treino de Redes Neuronais Profundas Otimizado em Malha Fechada","Deep Learning","Feature-Aware Dataset Splitting","Closed-loop Deep Neural Networks Training Optimization"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language.iso","label":"Language (ISO)","values":["eng"]},{"key":"dc:rights","label":"Dc Rights","values":["openAccess"]},{"key":"dc:rights.uri","label":"Rights URI","values":["http://creativecommons.org/licenses/by-nc-nd/4.0/"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier.uri","label":"Identifier URI","values":["https://hdl.handle.net/1822/101342"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description.abstract","label":"Abstract","values":["Os avanços tecnológicos permitiram a exploração prática de conceitos de artificial neural network propostos na década de 1980, conduzindo a progressos significativos na visão por computador, particularmente através das Convolutional Neural Networks (CNNs). No entanto, o desempenho das CNNs depende fortemente da qualidade e diversidade dos dados. Neste contexto, têm sido propostas estratégias centradas nos dados para explorar todo o potencial de inferência dos modelos, abrangendo desde etapas iniciais de divisão e aumento de conjuntos de dados até procedimentos de avaliação posteriores, como a K-Fold Cross Validation (KFCV) . Apesar da sua adoção generalizada, algumas limitações podem ser identificadas nestas práticas padronizadas. Por um lado, os procedimentos de divisão e aumento de conjuntos de dados são tipicamente realizados sem considerar as respetivas características intrínsecas, com implicações para a representatividade inerentemente ligada a situações como padrões raros de ocorrências ou combinações específicas de primeiro plano e fundo. Por outro lado, embora técnicas baseadas em KFCV sejam geralmente eficazes, a sua natureza iterativa torna-as computacionalmente dispendiosas e temporalmente exigentes. Motivado por estes desafios, o presente trabalho investiga a engenharia e otimização de conjuntos de dados como forma de melhorar e, simultaneamente, tornar mais eficiente o treino de CNNs. Para tal, são propostas duas abordagens complementares. A primeira, inspirada em princípios de aprendizagem não supervisionada, realiza uma análise da distribuição de características intrínsecas dos dados antes do treino, permitindo uma divisão equilibrada dos dados numa única etapa de curta duração. A segunda introduz uma estratégia em malha fechada, baseada em reforço e aplicada durante o treino, que reamostra seletivamente classes sub-representadas enquanto monitoriza métricas-chave para mitigar a sobre-amostragem e a degradação do modelo. Para avaliar a robustez e capacidade de generalização, foram utilizados dois conjuntos de dados específicos de domínio: um relativo à classificação de variedades de folhas de videira e outro focado na deteção de defeitos em pontes. Os resultados mostram que a divisão de dados informada pelas características oferece uma alternativa eficiente aos métodos tradicionais. Além disso, a estratégia de reamostragem orientada por métricas, implementada num esquema de malha fechada, demonstrou ser eficaz na melhoria consistente do desempenho das CNNs, reforçando a representatividade das classes sem promover sobreajuste.","Technological advancements have enabled the practical application of artificial neural network concepts proposed in the 1980s, leading to major progress in computer vision, particularly through Convolutional Neural Networks (CNNs). However, CNN architectures alone do not guarantee successful supervised learning, as performance also strongly depends on data quality and diversity. Therefore, data-centred strategies have been proposed to explore the full potential of model inference, ranging from early-stage dataset splitting and augmentation to later evaluation procedures such as k-fold cross-validation. Despite their widespread adoption, some limitations can be identified in these standardized practices. On the one hand, dataset splitting and augmentation procedures are typically performed in a feature-blind manner, often failing to address representativeness issues in which plausible but infrequent situations are underrepresented, such as rare feature patterns or specific foreground-background combinations. On the other hand, although techniques based on KFCV are generally effective, its iterative nature makes them computationally expensive and time-consuming. Motivated by these challenges, this work investigates dataset engineering and optimization to improve CNN training in a cost- and time-efficient manner. Two complementary approaches are proposed. The first, inspired by unsupervised learning principles, performs a pre-training feature distribution analysis to enable one-shot balanced data splitting. The second introduces a reinforcement-based closed-loop strategy applied during training, which selectively resamples underrepresented classes while monitoring key metrics to prevent oversampling and model degradation. To assess robustness and generalization, two domain-specific datasets were used: one addressing grapevine leaf variety classification and another focusing on bridge defect detection. The results show that feature-aware pre-training data splitting provides an efficient alternative to traditional methods. Furthermore, the proposed metrics-guided resampling strategy, implemented in a closed-loop framework, demonstrated effectiveness in consistently improving CNN performance by reinforcing class-wise representativeness while preventing overfitting."]},{"key":"dc:title","label":"Title","values":["Closed-loop metrics-based dataset optimization toward deep learning models"]}]}],"canonical_facts":{"dc:contributor.advisor":["Alves, Victor","Adão, Telmo Miguel Oliveira"],"dc:creator":["Shahrabadi, Somayeh"],"dc:date.accessioned":["2026-04-28T12:30:29Z"],"dc:date.issued":["2026-02-19"],"dc:description.abstract":["Os avanços tecnológicos permitiram a exploração prática de conceitos de artificial neural network propostos na década de 1980, conduzindo a progressos significativos na visão por computador, particularmente através das Convolutional Neural Networks (CNNs). No entanto, o desempenho das CNNs depende fortemente da qualidade e diversidade dos dados. Neste contexto, têm sido propostas estratégias centradas nos dados para explorar todo o potencial de inferência dos modelos, abrangendo desde etapas iniciais de divisão e aumento de conjuntos de dados até procedimentos de avaliação posteriores, como a K-Fold Cross Validation (KFCV) . Apesar da sua adoção generalizada, algumas limitações podem ser identificadas nestas práticas padronizadas. Por um lado, os procedimentos de divisão e aumento de conjuntos de dados são tipicamente realizados sem considerar as respetivas características intrínsecas, com implicações para a representatividade inerentemente ligada a situações como padrões raros de ocorrências ou combinações específicas de primeiro plano e fundo. Por outro lado, embora técnicas baseadas em KFCV sejam geralmente eficazes, a sua natureza iterativa torna-as computacionalmente dispendiosas e temporalmente exigentes. Motivado por estes desafios, o presente trabalho investiga a engenharia e otimização de conjuntos de dados como forma de melhorar e, simultaneamente, tornar mais eficiente o treino de CNNs. Para tal, são propostas duas abordagens complementares. A primeira, inspirada em princípios de aprendizagem não supervisionada, realiza uma análise da distribuição de características intrínsecas dos dados antes do treino, permitindo uma divisão equilibrada dos dados numa única etapa de curta duração. A segunda introduz uma estratégia em malha fechada, baseada em reforço e aplicada durante o treino, que reamostra seletivamente classes sub-representadas enquanto monitoriza métricas-chave para mitigar a sobre-amostragem e a degradação do modelo. Para avaliar a robustez e capacidade de generalização, foram utilizados dois conjuntos de dados específicos de domínio: um relativo à classificação de variedades de folhas de videira e outro focado na deteção de defeitos em pontes. Os resultados mostram que a divisão de dados informada pelas características oferece uma alternativa eficiente aos métodos tradicionais. Além disso, a estratégia de reamostragem orientada por métricas, implementada num esquema de malha fechada, demonstrou ser eficaz na melhoria consistente do desempenho das CNNs, reforçando a representatividade das classes sem promover sobreajuste.","Technological advancements have enabled the practical application of artificial neural network concepts proposed in the 1980s, leading to major progress in computer vision, particularly through Convolutional Neural Networks (CNNs). However, CNN architectures alone do not guarantee successful supervised learning, as performance also strongly depends on data quality and diversity. Therefore, data-centred strategies have been proposed to explore the full potential of model inference, ranging from early-stage dataset splitting and augmentation to later evaluation procedures such as k-fold cross-validation. Despite their widespread adoption, some limitations can be identified in these standardized practices. On the one hand, dataset splitting and augmentation procedures are typically performed in a feature-blind manner, often failing to address representativeness issues in which plausible but infrequent situations are underrepresented, such as rare feature patterns or specific foreground-background combinations. On the other hand, although techniques based on KFCV are generally effective, its iterative nature makes them computationally expensive and time-consuming. Motivated by these challenges, this work investigates dataset engineering and optimization to improve CNN training in a cost- and time-efficient manner. Two complementary approaches are proposed. The first, inspired by unsupervised learning principles, performs a pre-training feature distribution analysis to enable one-shot balanced data splitting. The second introduces a reinforcement-based closed-loop strategy applied during training, which selectively resamples underrepresented classes while monitoring key metrics to prevent oversampling and model degradation. To assess robustness and generalization, two domain-specific datasets were used: one addressing grapevine leaf variety classification and another focusing on bridge defect detection. The results show that feature-aware pre-training data splitting provides an efficient alternative to traditional methods. Furthermore, the proposed metrics-guided resampling strategy, implemented in a closed-loop framework, demonstrated effectiveness in consistently improving CNN performance by reinforcing class-wise representativeness while preventing overfitting."],"dc:identifier.uri":["https://hdl.handle.net/1822/101342"],"dc:language.iso":["eng"],"dc:rights":["openAccess"],"dc:rights.uri":["http://creativecommons.org/licenses/by-nc-nd/4.0/"],"dc:subject":["Aprendizagem Profunda","Divisão de Dados Informada por Características","Treino de Redes Neuronais Profundas Otimizado em Malha Fechada","Deep Learning","Feature-Aware Dataset Splitting","Closed-loop Deep Neural Networks Training Optimization"],"dc:title":["Closed-loop metrics-based dataset optimization toward deep learning models"],"dc:type":["doctoralThesis"],"thesis:degree_name":["Doutoramento em Informática"],"thesis:institution_name":["Universidade do Minho"]},"updated_at":"2026-08-21T16:46:36Z"}