What do you do if you're choosing database infrastructure tools for your ETL projects?

When selecting database infrastructure tools for ETL projects, start by understanding project requirements and data sources. Evaluate scalability, performance, integration capabilities, ease of use, and maintenance. Consider security features, compliance, cost, and vendor support. Conduct a proof of concept to validate your choice before full-scale deployment.

Na minha experiência se estou escolhendo ferramentas de infraestrutura de banco de dados para projetos de ETL, primeiro considero a escala e complexidade dos dados envolvidos, além dos requisitos de integra??o e transforma??o. Em seguida, avalio a flexibilidade e escalabilidade das ferramentas em quest?o, bem como sua capacidade de lidar com diferentes tipos de fontes de dados e formatos. Também levo em considera??o aspectos de seguran?a, custo e suporte técnico oferecido pela plataforma. Por fim, pondero sobre a integra??o com outras ferramentas do ecossistema de dados, como ferramentas de orquestra??o, armazenamento e análise, para garantir uma solu??o coesa e eficiente para meus projetos de ETL.

Understand project needs. Prioritize scalability. Ensure high performance. Match data model requirements. Facilitate data integration. Ensure data integrity. Ensure fault tolerance. Consider total cost. Assess support availability.

Entender com os stackholders como esses dados ser?o usados, as fontes das bases e se estamos trabalhando com grandes ou pequenos volumes, se s?o dados que ser?o consumidos a medida que as transforma??es s?o feitas ou se v?o ser armazenados e onde ser?o armazenados. Esses s?o passos iniciais que devem ser considerados.

In my experience, after leading several projects involving millions of records and multiple data flows exchanged with ETL tools, the most important factors to get it done, properly and efficiently, are the "Volume Exchange Assessment" to make sure that infrastructure can support the workload, the diversity of the data sources because data transformations can consume a lot of processing time (XML input is more complex to transform than a simple CSV for instance), and how frequently the ETL jobs need to be executed to generate UPDATES or UPSERTS accordingly in the DESTINATION SYSTEM, following clearly defined business rules.

Deeply understand your data sources. What types of data are you dealing with? Are they structured, semi-structured, or unstructured? Where do these data reside - on-premise, in the cloud, or in distributed environments? How large and varied are these data sets? This assessment will help you choose the most suitable data extraction and ingestion tools.

Pela minha experiência, o mapeamento das fontes de dados para o ETL é super importante, por mais que tenhamos o adendo de que temos a capacidade de trabalhar com dados n?o estruturados, sabemos que quanto mais o dado estiver estruturado, mais exitoso será a etapa de Data Preparation e Data Cleasing. Infelizmente o cenário que temos nas organiza??es s?o de sistemas legados empresariais com grandes estruturas de dados customizadas, dai a importancia de observarmos esse tópico de mapeamento das fontes de maneira adequada.

Estratégia de data warehouse tem ser atrelada ao que você pretende fazer com os dados. Se estamos falando de uma abordagem de BI tradicional, n?o faz sentido escolher um DW orientado a No-SQL, bem como se vamos trabalhar com dados n?o estruturados, abordagens voltadas para bancos de dados relacionais n?o s?o eficientes para esse tipo de informa??o. Olhar para infraestrutura como servi?o em nuvem para este tema pode ser favorável pela possibilidade de ter um ambiente sempre adequado em termos de scale-up ou scale-down em acordo com a necessidade do momento, evitando disperdícios de tempo e $$.

Select the most suitable data warehouse for your needs. Consider whether you need a traditional, analytical, or operational data warehouse, its location (on-premise, in the cloud, or hybrid), security requirements, scalability, and flexibility. Choose the data loading and storage tools that best align with your data warehouse's characteristics.

Select the most suitable data warehouse for your needs. Consider whether you need a traditional, analytical, or operational data warehouse, its location (on-premise, in the cloud, or hybrid), security requirements, scalability, and flexibility. Choose the data loading and storage tools that best align with your data warehouse's characteristics.

Selecting the right data warehouse hinges on its type (traditional, analytical, operational), structure (centralized, decentralized, federated), and deployment (on-premise, cloud, hybrid). Consider storage capacity, performance, security, compliance, flexibility, and scalability needs. Tailoring data loading and storage tools to these requirements ensures alignment with your data warehouse goals and expectations.

Choose data transformation tools based on the specific needs of your project and your data warehouse. Consider the complexity of the data transformations, the type of automation required, and how to monitor and resolve transformation issues.

Choosing data transformation tools hinges on your data warehouse and ETL objectives. Assess transformation types (simple, complex, advanced), schema, rule, or code-based approaches, and batch, streaming, or hybrid processing. Consider required control, automation, and monitoring for error troubleshooting. Tailoring tools to these criteria ensures effective data manipulation aligned with ETL goals.

Esse tópico é muito interessante. Minhas abordagens para esse assunto pelos diversos clientes e projetos que já passei é de que eles sempre priorizem as ferramentas que possuam recursos de Low-Code e BPM (Business Process Management). Esse tipo de abordagem traz uma gama de recursos como Business Rules, Tabelas De-Para, Mapeamento de Dados a partir de fontes de dados ou schemas que facilitam em muito no momento de aplicar as respectivas transforma??es de dados. Lembrando que em muitas das vezes precisamos fazer a completude do dado com outras fontes durante o processo de ETL, daí a necessidade dessa governan?a forte de processo para ter uma efetiva transforma??o do dado para o resultado desejado.

Aten??o a sua estrutura de dados, temos que determinar a melhor estratégia de persistência para que nossas finalidades e objetivos de análise sejam eficientes. Temos que pensar o acesso "user friendly" dessas informa??es a várias camadas da organiza??o para que eles possam se servir bem desses dados.

Determine the data analysis tools that best suit your ETL goals and your data warehouse. Think about the types of analysis you want to perform, how to access and query your data, present insights, and collaborate with other data users.

Ao escolher a infraestrutura de banco de dados para projetos de ETL e avaliar ferramentas de data warehouse, é crucial realizar uma análise abrangente que leve em considera??o diversos fatores. Isso inclui comparar e contrastar os recursos, benefícios e desvantagens de diferentes ferramentas, bem como medir e avaliar o desempenho, confiabilidade e usabilidade de cada uma. Testar e verificar a funcionalidade, compatibilidade e qualidade das ferramentas também é essencial para garantir uma escolha adequada. Além disso, é importante revisar e atualizar suas op??es de ferramentas conforme seus projetos de ETL evoluem e mudam, garantindo que sua infraestrutura de banco de dados esteja alinhada com as necessidades em constante mudan?a do negócio.

Compare different database infrastructure tools based on criteria such as features, performance, reliability, and cost. Conduct tests and evaluations to ensure the chosen tools meet your needs and expectations.

most of the advice here seems to just be restatements of the prompt. Here is some actual advice for anyone with the bad luck to be pursuing this kind of a project. First, figure out what questions the business has about their data. If the answer is, "We're not sure", you're about to spend a lot of time and money on a complete boondoogle. Figure out some decent questions or don't proceed. Once you have some questions, try and answer them without building a new data warehouse. Most of the time you can. Sometimes you can't. When you can't, analyze why. Is it performance, missing data, or something else? Use those answers to determine what would be useful to the business. Also, don't waste money on some special ETL tool, just write code.