Data Factory – Serviço de Integração de Dados | Microsoft Azure (2022)

Integração de dados híbrida em escala empresarial facilitada

  • Início gratuito
  • Experimente agora o Azure Data Factory

Junte-se à Migração e Modernização da Nuvem com o Azure para conquistar novas habilidades técnicas e criar resiliência na nuvem – trazendo especialistas e clientes reais da Microsoft. Registre-se agora

Integração de dados híbridos simplificada

Integre todos os dados com o Azure Data Factory, um serviço de integração de dados sem servidor totalmente gerenciado. Integre visualmente as fontes de dados usando mais de 90 conectores internos livres de manutenção sem custo adicional. Construa processos ETL e ELT sem código com facilidade em um ambiente visual intuitivo ou escreva seu próprio código. Em seguida, forneça dados integrados ao Azure Synapse Analytics para desbloquear insights de negócios.

Data Factory – Serviço de Integração de Dados | Microsoft Azure (1)

Fácil de usar

Hospede novamente o SSIS (SQL Server Integration Services) com alguns cliques e crie pipelines ETL e ELT sem código, com suporte interno a Git e CI/CD.

Data Factory – Serviço de Integração de Dados | Microsoft Azure (2)

Econômico

Aproveite um serviço de nuvem sem servidor pago conforme o uso e totalmente gerenciado, que é dimensionado sob demanda.

Data Factory – Serviço de Integração de Dados | Microsoft Azure (3)

Potente

Promova a ingestão de todos os dados locais e de SaaS (software como serviço) com mais de 90 conectores internos. Orquestre e monitore em escala.

Data Factory – Serviço de Integração de Dados | Microsoft Azure (4)

Inteligente

Use ETL autônomo para desbloquear eficiências operacionais e habilitar integradores cidadãos.

Acelerar a transformação de dados com os fluxos de dados sem código

Data Factory fornece uma camada de integração e transformação de dados que funciona em todas as suas iniciativas de transformação digital.

  • Permita que integradores cidadãos e engenheiros de dados conduzam Análise/BI liderada por negócios e TI.
  • Prepare dados, construa processos ETL e ELT e orquestre e monitore pipelines sem código. O serviço Apache Spark™ gerenciado cuida da geração e manutenção do código.
  • Transforme-se mais rápido com o mapeamento inteligente orientado por intenção que automatiza as atividades de cópia.

Introdução ao ETL sem código

Data Factory – Serviço de Integração de Dados | Microsoft Azure (5)

Data Factory – Serviço de Integração de Dados | Microsoft Azure (6)

(Video) Azure Data Factory: ETLs, pipelines de dados e integrações na nuvem

Hospedar novamente e estender o SSIS com apenas alguns cliques

Azure Data Factory pode ajudar as organizações que procuram modernizar o SSIS.

  • Obtenha até 88% de economia de custos com o Benefício Híbrido do Azure.
  • Desfrutar do único serviço totalmente compatível que facilita a transferência de todos os seus pacotes SSIS para a nuvem.
  • A migração é fácil com o assistente de implantação e amplo como- à documentação.
  • Realize sua visão para iniciativas híbridas de big data e warehouse combinando com pipelines de dados em nuvem Data Factory.

Cinco benefícios da migração do SSIS para a nuvem

Ingerir todos os dados com conectores internos

Ingestão dados de fontes diversas e múltiplas pode ser caro, demorado e requer várias soluções. O Azure Data Factory oferece um único serviço pré-pago. Você pode:

  • escolher entre mais de 90 conectores integrados para adquirir dados de fontes de Big Data como Amazon Redshift, Google BigQuery, HDFS; data warehouses empresariais como Oracle Exadata, Teradata; Aplicativos SaaS como Salesforce, Marketo e ServiceNow; e todos os serviços de dados do Azure.
  • Use a capacidade total da largura de banda da rede subjacente, até 5 GB / s de taxa de transferência.

Comece com mais de 90 conectores imediatamente

Data Factory – Serviço de Integração de Dados | Microsoft Azure (7)

Extrair máximo proveito do Azure Synapse Analytics

Promova a ingestão de dados de fontes locais, híbridas e de nuvem e transforme-os com fluxos de dados avançados no Azure Synapse Analytics, distribuído pelo Data Factory.

  • Integrar e transformar os dados na experiência familiar do Data Factory nos pipelines do Azure Synapse
  • Transforme e analise dados sem código com fluxos de dados no estúdio do Azure Synapse.
  • Integre todos os dados com mais de 90 conectores internos.

Introdução ao Azure Synapse Analytics

Potencialize suas experiências de aplicativo com os dados corretos

O Data Factory pode ajudar os ISVs (fornecedores de software independentes) a enriquecer seus aplicativos SaaS com os dados híbridos integrados a fim de fornecer experiências de usuário controladas por dados. Conectores pré-criados e integração em escala permitem que você se concentre nos usuários enquanto o Data Factory cuida do restante.

Explorar como o Data Factory pode ajudar você

Orquestrar, monitorar e gerenciar o desempenho do pipeline

A manutenção de pipelines com um panorama de dados de rápida alteração pode logo se tornar algo demorado, que envolve intervenções manuais. No Azure Data Factory, você pode não apenas monitorar visualmente todas as suas execuções de atividades, mas também melhorar a produtividade operacional configurando alertas de maneira pró-ativa para monitorar seus pipelines. Esses alertas podem aparecer dentro dos grupos de alertas do Azure, garantindo que você seja notificado em tempo hábil para evitar problemas de downstream ou upstream antes que eles ocorram.

Saiba mais

Integração de dados híbridos simplificada

No mundo controlado por dados atual, o processamento de Big Data é uma tarefa crítica para cada organização. Para ter insights de transformação, os engenheiros de dados precisam de serviços criados para simplificar o ETL, bem como para lidar com as complexidades e os desafios de escala da integração de Big Data.

Com o Azure Data Factory, é rápido e fácil criar processos ETL e ELT sem código ou centrados em códigos. Neste cenário, aprenda a criar pipelines sem código em um ambiente visual intuitivo.

No mundo controlado por dados atual, o processamento de Big Data é uma tarefa crítica para cada organização. Para ter insights de transformação, os engenheiros de dados precisam de serviços criados para simplificar o ETL, bem como para lidar com as complexidades e os desafios de escala da integração de Big Data. Com o Azure Data Factory, é rápido e fácil criar processos ETL e ELT sem código ou centrados em códigos.

Integração de dados híbridos simplificada

(Video) Azure Data Factory Tutorial | Introduction to ETL in Azure

Data Factory – Serviço de Integração de Dados | Microsoft Azure (8)

Simplificar o ETL em escala

Maria, uma engenheira de dados, recebe um fluxo de solicitações infinito para introduzir mais dados de diferentes fontes para os relatórios da empresa. Para cada nova fonte de dados, Maria precisa pesquisar, criar, conectar e gerenciar a integração, o que é incrivelmente demorado.

Maria está convencida de que a equipe dela precisa de uma abordagem mais escalonável e procura o Azure Data Factory para iniciar o percurso em direção a um data warehouse moderno.

Maria, uma engenheira de dados, recebe um fluxo de solicitações infinito para introduzir mais dados de diferentes fontes para os relatórios da empresa. Para cada nova fonte de dados, Maria precisa pesquisar, criar, conectar e gerenciar a integração, o que é incrivelmente demorado.

Maria está convencida de que a equipe dela precisa de uma abordagem mais escalonável e procura o Azure Data Factory para iniciar o percurso em direção a um data warehouse moderno.

Data Factory – Serviço de Integração de Dados | Microsoft Azure (9)

Selecione estes pontos para ter progresso na demonstração

Usar conectores internos de dados

Maria vincula o ambiente dela ao Amazon S3 para recuperar dados do cliente. O S3 é apenas um dos mais de 90 conectores internos disponíveis no Azure Data Factory.

Copiar dados para o data lake

No pipeline dela, ela adiciona uma atividade de cópia e seleciona o armazenamento de dados de origem como S3. Agora, ela pode visualizar os dados antes de executar o trabalho. Parece que será necessário limpá-los e alinhá-los com padrões organizacionais.

Dados de exemplo e de revisão

Depois, ela seleciona seu Azure Data Lake como o armazenamento de dados do coletor

Data Factory – Serviço de Integração de Dados | Microsoft Azure (10)

Selecione estes pontos para ter progresso na demonstração

Explorar e refinar os dados visualmente

Adicionando um fluxo de dados de estruturação ao pipeline dela, agora Maria pode começar a preparar o conjunto de dados dela. Ela pode gerar facilmente estatísticas resumidas e aplicar etapas para remover linhas quebradas e corrigir colunas.

Proteger contra alterações em esquemas upstream

Agora, ela usa um fluxo de dados de mapeamento para concluir a transformação. Ela habilita \"Permitir descompasso de esquema\" na entrada para aprimorar a resiliência a alterações upstream.

Transformar e agregar dados sem código

Ela adiciona um operador de junção para adicionar dados transacionais já no lake e agrega os valores para obter métricas, como gasto por cliente. Por fim, ela chega a esses dados no Azure Synapse Analytics, em que os dados serão analisados para desbloquear insights ilimitados.

(Video) Continuous integration and deployment using Azure Data Factory | Azure Friday

Data Factory – Serviço de Integração de Dados | Microsoft Azure (11)

Selecione estes pontos para ter progresso na demonstração

Disparar pipelines na agenda

Com o pipeline concluído, ele pode agendá-lo para execução recorrente ou em uma janela em cascata ou quando novos arquivos são detectados.

Gerenciar pipelines em escala

O histórico de execuções do pipeline dela será visível junto com todos os outros pipelines em da organização dela.

Monitorar e depurar visualmente

Para cada execução, Maria obtém uma representação visual em tempo real do progresso. Ela pode observar o progresso de cada fase, facilitando o monitoramento e a depuração.

Trazer DevOps para seus dados

Agora que o pipeline foi concluído, ela publica as alterações no Git com um só clique. O trabalho que ela fez agora está sob controle de versão e pode fazer parte do fluxo de trabalho de CI/CD da equipe dela.

Data Factory – Serviço de Integração de Dados | Microsoft Azure (12)

Integre todos os seus dados, sem código

Com o Azure Data Factory, Maria conseguiu ingerir, transformar e colocar em operação a integração de uma nova fonte de dados sem precisar escrever uma linha de código. Com esses novos dados no data warehouse, toda a organização dela pode começar a explorá-los usando ferramentas de autoatendimento como o Power BI, resultando em melhores decisões controladas por dados em toda a organização.

Experimente você mesmo com nosso laboratório prático Crie sua conta gratuita do Azure hoje mesmo

Com o Azure Data Factory, Maria conseguiu ingerir, transformar e colocar em operação a integração de uma nova fonte de dados sem precisar escrever uma linha de código. Com esses novos dados no data warehouse, toda a organização dela pode começar a explorá-los usando ferramentas de autoatendimento como o Power BI, resultando em melhores decisões controladas por dados em toda a organização.

Experimente você mesmo com nosso laboratório prático Crie sua conta gratuita do Azure hoje mesmo

Presença de nuvem global confiável

Data Factory – Serviço de Integração de Dados | Microsoft Azure (13)

(Video) Data Engineering on Microsoft Azure: Azure Data Factory - Lookup Activity

  • Acesse o Data Factory em mais de 25 regiões ao redor do mundo para garantir a conformidade de dados, a eficiência e a redução dos custos de saída de rede.
  • O Data Factory foi certificado pela HIPAA e a HITECH, a ISO/IEC 27001, a ISO/IEC 27018 e a CSA STAR.
  • Conecte-se com segurança aos serviços de dados do Azure com a identidade gerenciada e a entidade de serviço. Armazene suas credenciais com o Azure Key Vault.
  • A rede virtual gerenciada oferece um ambiente isolado e altamente seguro para executar os pipelines de integração de dados.

Data Factory – Serviço de Integração de Dados | Microsoft Azure (14)

Pague apenas pelo que precisar, sem custo inicial

Explore uma variedade de funcionalidades de integração de dados de nuvem de acordo com suas necessidades de escala, infraestrutura, compatibilidade, desempenho e orçamento. As opções incluem o SSIS gerenciado para uma migração ininterrupta de projetos do SQL Server para a nuvem e pipelines de dados sem servidor e em grande escala para integrar os dados de todas as formas e tamanhos.

Preço do Data Factory

Recursos e documentação do Azure Data Factory

Introdução aos recursos de aprendizagem

  • Guia de início rápido
  • Guias de instruções
  • Tutoriais
  • White papers
  • Laboratório de ponta a ponta
  • Scripts de exemplo do Azure PowerShell

Explorar cenários populares

  • Migração do data lake ou do data warehouse para o Azure
  • Transformar usando o fluxo de dados de mapeamento
  • Hospedar novamente cargas de trabalho do SSIS na nuvem dentro do Azure Data Factory

Com a confiança de empresas de todos os tamanhos

O Data Factory ajuda o Adobe a entregar experiências digitais avançadas de dados em escala

"We want to focus on ways to help our customers ingest data, clean it, store it at scale, and access it globally in real time. With Azure, we can rely on our own core competencies, and not have to build the underlying infrastructure."

Nik Shroff, Diretor do Microsoft Solutions no Adobe

  • Leia a história

Data Factory – Serviço de Integração de Dados | Microsoft Azure (15)

Empresa de análise reduz o tempo de desenvolvimento do data warehouse em 80 por cento

Com apenas alguns cliques, os clientes podem usar as soluções de dados SaaS da Concentra para criar um processo de gerenciamento de dados de ponta a ponta por meio de cargas de trabalho de ETL do SSIS em um ambiente gerenciado do SSIS dentro do Data Factory, alcançando alta escalabilidade e disponibilidade ao mesmo tempo em que reduz os custos operacionais.

  • Leia a história

Data Factory – Serviço de Integração de Dados | Microsoft Azure (16)

Perguntas frequentes sobre Azure Data Factory

  • O Data Factory está disponível em mais de 25 regiões.

  • Garantimos que processaremos as solicitações com êxito para executar operações nos recursos do Data Factory em pelo menos 99,9% do tempo. Também garantimos que todas as execuções de atividade serão iniciadas em quatro minutos dos tempos de execução agendados em pelo menos 99,9% do tempo. Leia o SLA (contrato de nível de serviço) completo do Data Factory.

  • O IR (Integration Runtime) é a infraestrutura de computação usada pelo Data Factory para fornecer funcionalidades de integração de dados entre ambientes de rede. O IR move dados entre os armazenamentos de dados de origem e de destino, oferecendo a transferência de dados escalonável. O IR executa o Fluxo de Dados criado visualmente de maneira escalonável no runtime de computação do Spark. O IR fornece capacidade de executar nativamente pacotes SSIS em um ambiente de computação gerenciado do Azure. Ele dá suporte à expedição e ao monitoramento de atividades de transformação sendo executadas em vários serviços de computação. Para saber mais, confira integration runtime in Data Factory (Integration Runtime no Data Factory).

Estamos prontos para configurar sua conta gratuita do Azure quando você quiser

Início gratuito

Podemos ajudar você?

(Video) Run Azure Functions from Azure Data Factory pipelines | Azure Friday

FAQs

O que é o Azure data Factory? ›

Azure Data Factory é o serviço ETL na nuvem do Azure para integração e transformação de dados sem servidor em expansão. Ele oferece uma interface do usuário livre de código para criação intuitiva e gerenciamento e monitoramento em painel único.

Como funciona o data Factory? ›

O Azure Data Factory é a plataforma que resolve esses cenários de dados. É o serviço de integração de dados e ETL baseado em nuvem que lhe permite criar fluxos de trabalho orientados a dados para orquestrar a movimentação e a transformação de dados em escala.

Qual serviço é capaz de fazer a ingestão de dados no Azure? ›

Data Factory – Serviço de Integração de Dados | Microsoft Azure.

Para que serve o Azure Data Studio? ›

O Azure Data Studio é uma ferramenta de banco de dados multiplataforma para profissionais de dados que usam plataformas de dados locais e na nuvem no Windows, no macOS e no Linux.

Qual serviço é usado para construir pipeline de dados? ›

Usar o portal do Azure para criar um pipeline do data factory - Azure Data Factory | Microsoft Learn.

O que significa ingestão de dados? ›

O que é ingestão de dados? É definido como o processo de absorver dados de uma variedade de fontes e transferi-los para um local de destino onde podem ser depositados e analisados. De modo geral, os destinos podem ser um banco de dados, data warehouse, armazenamento de documentos, data mart, etc.

O que é o processo de ETL? ›

ETL é um tipo de data integration em três etapas (extração, transformação, carregamento) usado para combinar dados de diversas fontes. Ele é comumente utilizado para construir um data warehouse.

O que são entrada e saída pipeline? ›

Definição de Pipeline da Dados

Um pipeline de dados é uma série de etapas de processamento de dados. Se os dados não estiverem carregados na plataforma de dados, eles serão ingeridos no início do pipeline. Depois, há uma série de etapas nas quais cada uma fornece uma saída que é a entrada para a próxima etapa.

O que é um pipeline TI? ›

Uma técnica muito utilizada para aumentar o desempenho de tarefas sequenciais de software é o Pipelining. Pode se dizer que Pipelining é o processo que divide tarefas sequenciais em estágios distintos que podem ser executados no modelo de linha estruturada.

Qual o propósito de uma ingestão de dados? ›

A ingestão de dados faz referência ao processo de absorção de dados de um amplo conjunto de fontes, por onde são transferidos para um destino adequado. A ingestão de dados ajuda as empresas a organizarem as informações e com isso, os gestores e líderes poderão contar uma visão geral do negócio.

Onde são armazenados os metadados do Hive? ›

O metastore do Hive é onde os esquemas das tabelas o Hive são armazenados. Por padrão, ele está em uma instância do MySQL integrada dentro do cluster.

O que é Hive no Apache Hadoop? ›

Apache Hive é um sistema de data warehouse para Apache Hadoop. O Hive permite o resumo de dados, consultas e análise de dados. Consultas de hive são escritas em HiveQL, que é uma linguagem de consulta semelhante ao SQL. O Hive permite que você projete estrutura em grandes volumes de dados sem estrutura.

O que é pipeline Engenharia de dados? ›

O que é pipeline na engenharia de dados? Dentro do mundo da engenharia de dados, um pipeline tem como objetivo mover os dados de um lugar para outro, e geralmente é similar ao conceito de ETL (extract, transform, load).

O que é pipeline em ciência de dados? ›

Em palavras simples, um pipeline em ciência de dados é “ um conjunto de ações que muda os dados brutos (e confusos) de várias fontes (pesquisas, feedbacks, lista de compras, votos , etc.), para um formato compreensível para que possamos armazene-o e use-o para análise ”.

O que é a engenharia de dados? ›

Engenharia de dados é uma área que trata da transformação dos dados brutos de uma empresa. Essa é a primeira etapa do processamento de dados, série de atividades que tem o objetivo de fazer o que falamos antes: dar uma utilidade prática à grande quantidade de informação disponível.

Quais as vantagens do Pipe review? ›

Ele te ajuda a organizar melhor as etapas e ainda permite automatizar uma série de tarefas. Além disso, o software de CRM te dá maior visibilidade sobre cada negociação em andamento. Com o CRM do Agendor, por exemplo, você consegue controlar e visualizar cada etapa do processo comercial.

Videos

1. Azure Data Factory: Beginner to Pro [Live Event]
(Pragmatic Works)
2. Orquestrando cargas de dados com Azure Data Factory para Big Data e Analytics na nuvem
(SQL Cerebro - Luis Renato de Souza)
3. Azure Synapse Analytics #11 Integração de dados com Synapse Pipelines
(Sidney Cirqueira)
4. A MELHOR FERRAMENTA DE ETL PARA ENGENHEIRO DE DADOS | Azure Data Factory
(Big Data Masters)
5. Azure Data Factory: ETLs, pipelines de dados e integrações na nuvem | Parte 2
(Canal dotNET)
6. Copiar Dados do MS Access para o Azure SQL no Azure Data Factory
(fabioms)

Top Articles

You might also like

Latest Posts

Article information

Author: Domingo Moore

Last Updated: 12/06/2022

Views: 6091

Rating: 4.2 / 5 (73 voted)

Reviews: 80% of readers found this page helpful

Author information

Name: Domingo Moore

Birthday: 1997-05-20

Address: 6485 Kohler Route, Antonioton, VT 77375-0299

Phone: +3213869077934

Job: Sales Analyst

Hobby: Kayaking, Roller skating, Cabaret, Rugby, Homebrewing, Creative writing, amateur radio

Introduction: My name is Domingo Moore, I am a attractive, gorgeous, funny, jolly, spotless, nice, fantastic person who loves writing and wants to share my knowledge and understanding with you.