ETL4NoSQL: um framework programável para extração, transformação e carga de banco de dados NoSQL

A integração de dados e os processos de extração, transformação e carga de dados (ETL) são procedimentos cruciais para a criação de data warehouses (DW). Porém, os processos de ETL e integração de dados são habitualmente desenvolvidos para dados estruturados por modelos relacionais, que representam apenas uma pequena parte dos dados mantidos por muitas empresas. Dessa forma, existe uma demanda crescente para extrair, transformar e carregar dados estruturados por modelos de dados não relacionais e carregá-los em um repositório de dados unificado. Porém, devido à complexidade desses modelos de dados, existem vários desafios para a realização da extração, transformação e carga de dados organizados por modelos não relacionais que precisam considerar características específicas como, por exemplo, a heterogeneidade e distribuição dos dados, em um ambiente de extração, transformação e carga de dados. Além disso, muitas empresas encontram dificuldades ao lidar com as ferramentas de ETL disponíveis no mercado, por causa muitas vezes da necessidade de integração destas ferramentas de ETL com sistemas legados. Aprender a lidar com essas ferramentas pode ser muito custoso em termos financeiro e de tempo e, por isso, muitas empresas acabam optando por desenvolver os seus processos utilizando uma linguagem de programação de propósito geral. Portanto, o resultado deste trabalho foi o ETL4NoSQL, um framework programável, flexível e integrado para auxiliar a modelagem e execução de processos de ETL, que possibilita a extração, transformação e carga de dados estruturados em modelos de dados não relacionais. Apresentamos os componentes do framework ETL4NoSQL, bem como suas interfaces e funcionalidades. Ademais, realizamos um estudo experimental de software, que teve como objetivo verificar se o ETL4NoSQL é adequado para auxiliar no desenvolvimento de processos de ETL. O estudo consistiu na análise das ferramentas de ETL estudadas, com o propósito de caracterizá-las por meio de suas funcionalidades no contexto comparativo entre elas, e ele demonstrou que o framework proposto é adequado para sua finalidade. Finalmente, propomos um ambiente de implementação de ETL que permite o reuso e a extensão de interfaces de programação de ETL4NoSQL para desenvolver aplicações de ETL utilizando dois tipos diferentes de SGBD NoSQL. As aplicações expressaram a facilidade na programação, reuso e extensão dos processos de ETL.

Grantor dc:publisher

Universidade Federal de Pernambuco

Year dc:date.issued

2017

Author dc:creator

• AGUENA, Carine Calixto

Advisor dc:contributor.advisor

• TIMES, Valéria Cesário

• Banco de dados
• Frameworks

Statement dc:rights

• openAccess
• Attribution-NonCommercial-NoDerivs 3.0 Brazil

Licence dc:rights.uri

• http://creativecommons.org/licenses/by-nc-nd/3.0/br/

Language dc:language.iso

por

Repository record dc:identifier.uri

https://repositorio.ufpe.br/handle/123456789/29771

OAI identifier oai:identifier

oai:repositorio.ufpe.br:123456789/29771