Como já aprendemos anteriormente a utilizar o componente Table Input, veremos agora como utilizar o Table Output.
Primeiramente deixaremos claro alguns conceitos básicos.
- Podemos ter vários steps Table Input na mesma transformation, ou seja, podemos extrair dados de várias fontes distintas;
- Eles não precisam necessariamente apontar para o mesmo banco ou para o mesmo SGBD. Isso ficará a critério do número e do tipo de conexões criadas;
- Também podemos ter vários componentes Table Output na mesma transformation, ou seja, podemos ter vários "destinos" para os dados que passaram pelo fluxo;
- O Table Output terá o comportamento de um comando Insert. Caso os dados já existam na tabela, ainda assim as linhas serão inseridas. Caso haja problema com a integridade, por exemplo, a transformation apontará um erro e provavelmente será interrompida, a não ser que haja um tratamento para este erro.
E se eu quisesse verificar a existência de cada linha, atualizando os dados quando o registro existir e inserindo apenas quando este não for encontrado na tabela?
Esta pode ser uma dúvida muito interessante e uma situação comum em muitos casos. Para isso, temos o componente Insert/Update. Este componente responde exatamente à pergunta acima, porém será explicado posteriormente.
Observe na figura abaixo as opções do componente:
- Nome do Step: este nome deve ser único em toda a transformation;
- Connection: conexão com o banco que será usado para este step. O botão Edit abrirá uma janela de edição da conexão escolhida. O botão New abrirá uma janela de criação para uma nova conexão;
- Target table: nome da tabela na qual os dados serão gravados;
- Commit size: bloco de linhas que serão inseridas por vez. Ex: se o número for 1000, apenas quando as primeiras mil linhas chegarem ao step é que será feito o Insert na tabela;
- Truncate table: quando esta opção estiver habilitada, um comando truncate será enviado para a tabela antes que a primeira linha do fluxo chegue ao step;
- Ignore insert errors: o wiki do pentaho indica que com esta opção os erros de insert serão ignorados, como por exemplo, violações de chave primária. No entanto, esta opção não estará disponíveis para insert em batch (lote);
- Use batch update for inserts: habilita a opção de inserts em lote. Esta opção vem habilitada por padrão e torna a inserção mais veloz;
- Partition data over tables: permite que os dados sejam gravados em múltiplas tabelas. A divisão dos dados provenientes do fluxo é definida através dos campos "Partitioning field", "Partition data per month", "Partition data per day";
- Is the name of the table defined in a field: define se o nome da tabela onde os dados serão gravados virá através de um campo do fluxo;
- Return auto-generated key: retorna a chave (ID) da linha que foi inserida na tabela, como um identity/sequence;
- Name of auto-generated key field: especifica o nome do campo que receberá esta chave que foi gerada na linha inserida na tabela, conforme explicado no item anterior;
- Botão SQL: gera o código (e só executa quando você desejar) que criará ou alterará a tabela de destino dos dados, como por exemplo, adicionando índices, acrescentando e removendo colunas desnecessárias, etc.
Como padrão, todos os campos que estiverem entrando no step serão inseridos na tabela definida no Table Output, por isso, precisamos filtrar os campos desnecessários no fim do fluxo, ou certificar-se de que todos os campos que estão entrando no step tenham uma coluna correspondente com o mesmo nome na tabela de destino.
A alternativa mais viável é fazer um mapeamento dos campos que entram no step com as colunas existentes na tabela. Para isso, observe a guia Database fields, mostrada na figura abaixo.
A coluna Table field define a coluna da tabela que receberá o campo explicitado na coluna Stream field.
O botão Enter field mapping exibe uma janela para que o usuário mapeie os campos mais rapidamente.
Esperamos que com estas informações todos possam trabalhar tranquilamente extraindo e inserindo dados em tabelas, o que constitue parte fundamental em um processo de ETL.
