Arquivo

Archive for the ‘SSIS’ Category

Livro do mês de Abril – Professional Microsoft SQL Server 2014 Integration Services

Galera,

Neste mês de Abril quero indicar um excelente livro sobre SSIS que estou lendo chamado Professional Microsoft SQL Server 2014 Integration Services.

Neste livro temos muitas informações para melhorar os processos de ETL, além de aprender como utilizar recursos expandidos de in-memory, aumentar a escalabilidade e a performance de seu projeto de SSIS.

Com certeza é um livro extremamente recomendado para todo profissional de BI e também para DBAs que utilizem o SSIS como ferramenta para automatizar processos administrativos.

Espero que gostem e aproveitem também para inscreverem-se no blog, no canal do youtube e no grupo de discussão SQLManiacs.

Grande abraço a todos.

Anúncios

Reagendamento da reunião – Entendendo aplicabilidade do Big Data e Data Science em cenários reais

Galera,

Devido às possíves manifestações hoje (17/03) na Avenida Paulista, acredito que seja mais interessante remarcarmos a reunião que ocorreria hoje para a próxima quinta-feira (24/03), à partir das 19:00.

A reunião ocorrerá novamente na DoMore que fica localizada na Avenida Paulista, 807 – 18º andar.

Lembre-se que a participação é gratuita e caso tenha interesse é só enviar um email para vitortff@gmail.com com o seu nome completo e email.

Espero que gostem e não deixem de inscrever-se no blog, no canal do youtube e no grupo de discussão SQLManiacs.

Reunião SQLManiacs – Agosto/2015

Galera,

No dia 26/08/2015 tivemos mais uma excelente reunião do grupo SQLManiacs e desta vez contamos com a apresentação do MVP Diego Nogare.

A apresentação está disponível no link abaixo:

Data Science and Business Intelligence

Para quem não pode comparecer seguem algumas fotos do evento:

20150826_191600 20150826_191608 20150826_191617 20150826_204147 20150826_204156 20150826_204210

Espero que tenham gostado e aproveitem também para inscreverem-se no blog, no canal do youtube e no grupo de discussão SQLManiacs.

Grande abraço a todos.

SQL Saturday 325 – Quem vai?

Galera,

Quero apenas lembrá-los que neste final de semana (27/09) haverá o SQL Saturday.

O SQL Saturday é um evento gratuito em que estarão presentes grandes nomes da comunidade SQL Server no Brasil, palestrando sobre os mais diversos temas e também a disposição para responder às suas perguntas.

Novamente terei a grande felicidade de fazer parte do time de palestrantes com o tema “Monitorando o SQL Server com Extended Events” e espero encontrar muita gente que conheço por lá.

A minha palestra é as 09:30 e está na trilha de DBA e com certeza ficarei a disposição de vocês para compartilhar o que conheço do mundo SQL Server.

Quem tiver interesse de conhecer um pouco mais sobre o evento é só acessar o link abaixo:

SQL Saturday #325

NOS VEMOS LÁ HEIN!!!!!!

Grande abraço a todos.

Preview Edition – PASS Summit 2014

Galera,

Nos dias 09/09 e 10/09 ocorrerá um grande evento gratuito com excelentes webcasts sobre SQL Server.

Este evento será um pequeno preview dos palestrantes que estarão presentes no PASS SUMMIT 2014.

Caso queiram participar, basta realizar sua inscrição no link abaixo:

24 hours of Pass

Não deixem de aproveitar, pois é um evento que vale muito a pena.

Grande abraço.

SQL Saturday 325

Pessoal,

Quero aproveitar o post de hoje para divulgar o evento SQL Saturday que acontecerá no dia 27/09 em São Paulo.

É um evento gratuito com profissionais influentes na comunidade SQL Server e que durará um dia inteiro.

Não percam essa oportunidade e façam suas inscrições através do link abaixo:

SQL Saturday 325

Espero vê-los no evento.

Grande abraço.

Pergunte ao Gordo – Arquivos dinâmicos com SSIS

Galera,

Estou iniciando hoje uma nova séria no blog com o nome de PERGUNTE AO GORDO.

A idéia é responder as dúvidas que recebo por email de forma bem clara e bem prática.

Neste primeiro post responderei uma pergunta bem interessante que recebi na semana passada:

“Vitor, preciso ler uma tabela de funcionários e exportar os registros para arquivos textos que serão criados baseados no ano de admissão de cada funcionário. Por exemplo, um funcionário que foi admitido em 01-01-2001 tem de estar no arquivo texto 2001.txt, um funcionário que foi admitido em 01-01-1998 tem de estar no arquivo texto 1998.txt e assim por diante.”

Para esta demonstração utilizarei a tabela ilustrada na Figura 1.

Tabela
Figura 1 – Tabela Employee

Inicialmente precisamos descobrir quais os anos de admissão existentes na tabela Employee utilizando a uma tarefa Execute SQL Task.

Será necessário que o resultado da consulta executada pela tarefa seja retornado em formato de Set e para isso definimos a propriedade ResultSet como Full result set, conforme ilustrado na Figura 2.

SSIS_1
Figura 2 – Configuração da tarefa Execute SQL Task

Também será necessário mapear o resultado da consulta executada pela tarefa para uma variável do tipo object, conforme ilustrado na Figura 3.

SSIS_2
Figura 3 – Mapeando o resultado para uma variável

Com o resultado da consulta em uma variável, será necessário utilizarmos uma tarefa Foreach Loop para navegar em cada um dos registros do resultset.

A coleção utilizada pela tarefa Foreach Loop deve ser Foreach ADO Enumerator, conforme ilustrado na Figura 4.

SSIS_3
Figura 4 – Configuração da tarefa Foreach Loop

Cada registro lido pela tarefa Foreach Loop será armazenado em uma variável chamada AnoAdm, do tipo Int32, que será utilizada posteriormente na construção da consulta dinâmica que criará o conteúdo de cada arquivo texto, conforme ilustrado na Figura 5.

SSIS_4
Figura 5 – Mapeando a variável

É importante ressaltar que o valor do índice deve ser 0, como ilustrado na Figura 6.

SSIS_5
Figura 6 – Definindo o valor do index

Após a configuração da tarefa Foreach Loop, é necessário criar uma tarefa Data Flow Task, conforme ilustrado na Figura 7.

SSIS_6
Figura 7 – Criação da tarefa Data Flow Task

A primeira tarefa necessária para a criação dos arquivos é a seleção dos registros na origem de dados através de uma tarefa OleDB Source, conforme ilustrado na Figura 8.

SSIS_6a
Figura 8 – Criação da tarefa OleDB Source

Para que seja possível a exportação dos funcionários baseado em seu ano admissão, precisamos que a consulta à origem de dados seja dinâmica, conforme ilustrado na Figura 9.

SSIS_7
Figura 9 – Consulta dinâmica na origem de dados

Utilizamos o caractere ? para que o SSIS entenda que é um parâmetro externo e mapeamos esse parâmetro com o valor da variável AnoAdm que é preenchida na tarefa Foreach Loop, ou seja, para cada linha retornada na tarefa Foreach Loop será executada uma consulta na origem de dados retornando apenas os funcionários daquele ano de admissão específico.

Selecionaremos todas as colunas existentes na tabela Employee, conforme ilustrado na Figura 10.

SSIS_8
Figura 10 – Seleção de colunas da tabela Employee

A última tarefa necessária é a Flat File Destination, que deverá criar dinamicamente um arquivo de saída para cada ano de admissão existente na tabela Employee.

Inicialmente é preciso configura um Connection Manager fixo para que possamos alterar suas propriedades através do uso de expressões, conforme ilustrado na Figura 11.

SSIS_11
Figura 11 – Configuração do Connection Manager

Após a criação do Connection Manager, será necessário alterar a propriedade ConnectionString, conforme ilustrado na Figura 12.

SSIS_14
Figura 12 – Configuração da propriedade ConnectionString

Com estas tarefas realizamos os seguintes passos:

1) Leitura da tabela Employee para descobrir os anos de admissão existentes;
2) Navegação nos registros encontrados;
3) Para cada registro encontrado, selecionamos os funcionários e exportamos para um arquivo texto específico

Caso tenham interesse em fazer o download do projeto, bastar acessar o link abaixo:

CriarArquivosDinamicamente

Espero que tenham gostado e não deixe de fazer sua inscrição no blog.

Grande abraço.