Pipelines de Validação no Oracle Data Integrator (ODI): Uma Introdução ao Processo de Qualidade

Desenvolver e manter um processo de qualidade robusto é importante para assegurar a eficácia e confiabilidade das cargas de dados no Oracle Data Integrator (ODI). Este procedimento não apenas reduz a ocorrência de erros durante a execução dos planos de carga, mas também contribui para a consistência, rastreabilidade e eficiência global do ambiente de ETL.

A implementação de processos de qualidade desempenha um papel crucial no desenvolvimento de cargas no ODI. Caso sua empresa ainda não tenha estabelecido pipelines de validação para as construções de carga, junto com um acompanhamento diário, semanal e mensal, é altamente recomendável iniciar um projeto para implementar processos de qualidade e auditoria. Isso garantirá uma redução significativa nos erros durante a execução dos planos de carga, especialmente em processos críticos, como os noturnos.

Por que um Processo de Qualidade é essencial no ODI?

A complexidade das integrações de dados exige uma abordagem estruturada para garantir a integridade dos dados e a eficácia das operações. Um processo de qualidade no ODI proporciona os seguintes benefícios:

Prevenção de Erros: Identificar e corrigir potenciais problemas durante a fase de construção, evitando falhas durante a execução.

Rastreabilidade: Facilita o rastreamento de mudanças nos pacotes e interfaces/mapeamentos, ajudando na compreensão do histórico e na resolução de problemas.

Eficiência Operacional: Minimiza retrabalhos ao validar a consistência e conformidade dos dados desde o início do processo de desenvolvimento.

Confiança nos Dados: Garante a confiabilidade e precisão dos dados manipulados pelo ODI, fortalecendo a confiança na integridade do ambiente de integração.

Elementos-chave de um Processo de Qualidade no ODI:

Qualidade de Construção: Inclui validações que identificam erros em cargas em construção.

Auditoria: São validações gerais para identificar falhas que podem passar despercebidas durante o processo de construção do ETL em cargas que já estão em execução.

Essas validações podem ser realizadas principalmente no repositório do ODI, lembrando que todas as representações visuais no ODI Studio são armazenadas em um modelo relacional no banco de dados. Para uma compreensão mais aprofundada dos repositórios do ODI, consulte aqui https://www.oditoday.com/post/como-funciona-os-repositórios-do-odi

O repositório do ODI inclui informações como o nome dos pacotes de carga, KMs utilizados por interfaces (11g) ou mapeamentos (12c), variáveis utilizadas nos pacotes, entre outras informações. Vamos exemplificar com um cenário simples:

Exemplo de validação:

Vamos criar uma query que retorne quais pacotes de carga possuem o nome com mais de 30 caracteres.

SELECT 
  p.pack_name AS Nome_Pacote,
  LENGTH(p.pack_name) AS Quantidade_caracteres
FROM 
  snp_package p
WHERE 
  LENGTH(p.pack_name) > 30;

Outra validação possível seria identificar cenários desatualizados em relação à última alteração do pacote:

SELECT 
  p.pack_name AS Nome_Pacote,
  s.scen_name AS Nome_Cenário,
  p.last_date AS Dt_alteração_pacote,
  s.last_date AS Dt_cenário_regenerado
FROM 
  snp_package p
INNER JOIN 
  snp_scen s ON s.i_package = p.i_package
WHERE 
  p.last_date > s.last_date;

Durante nosso diálogo, abordamos validações simples para garantir a qualidade das cargas de dados. No entanto, é importante ressaltar que o processo de validação no ODI oferece possibilidades mais robustas e complexas. Algumas ideias de validações avançadas que podemos realizar incluem:

Verificação de Preenchimento Adequado dos KMs e seus Parâmetros:

• Garantir que os modos de conhecimento (KMs) e seus parâmetros estejam devidamente preenchidos, assegurando a correta execução dos processos.

Validação dos Filtros de Delta em Movimentos:

• Verificar a aplicação apropriada dos filtros de delta em movimentos, essenciais para capturar e processar alterações nos dados de maneira eficiente.

Avaliação dos Relacionamentos nas Junções:

• Verificar se os relacionamentos dentro das junções estão configurados corretamente, assegurando a integridade das conexões entre diferentes conjuntos de dados.

Em conclusão, as capacidades oferecidas pelos repositórios do ODI são vastas e podem ser integradas no próprio ODI para execução e geração de relatórios de divergências. Isso pode ser realizado no banco de dados, em um arquivo Excel, ou por meio de notificações via e-mail para a equipe responsável.

Espero que essas informações sejam úteis. Estou à disposição para fornecer mais esclarecimentos. Até a próxima!

Autor