Here's how you can harness big data and innovation to tackle complex problems.

In my experience, data collection is not just about gathering data, but about ensuring its usability for future analysis. I've found that defining clear data governance policies at the outset can significantly enhance the quality and reliability of the data collected. This involves establishing who is accountable for the data, setting up data standards, and ensuring compliance across different teams. Such measures prevent common pitfalls such as data silos and inconsistencies, which can undermine the integrity of the data and, subsequently, the insights derived from it.

Sim, acontece com muita frequência onde se busca quantidade de dados, deixando a parte da qualidade para depois, e de fato quando falamos faz toda a diferen?a na entrega do resultado, na análise gráfica e até na tomada de decis?o. A falta de conhecimento sobre o que s?o e o que significa do dado em si é um dos fatores que faz muita das vezes a qualidade dos dados serem negligenciada. é certo que se fala muyito pouco sobre isso na engenharia de dados, quando se refere a bigdata e datalake. Entretanto os dados crus ou raw, devem ser considerado t?o importantes como a próxima camada de tratativa, limpeza ou sanitiza??o dos dados.

volume, velocity and variety are three defining properties or dimensions of big data. Volume refers to the amount of data, velocity refers to the speed of data processing, and variety refers to the number of types of data

Sim. Uma das abordagens que faz mais sentido quando se obtém o dado. Afinal de conta n?o fazemos apenas arquivamento por fazer, desde da pré-história, um artefato só faz sentido se for para ser utilizado nem que seja para fazer memoria, mas antes se faz toda análise para verificar a veracidade, integridade, data??o, rela??es. Ent?o quando se fala de dado sendo qualquer tipo de arquivo, análise de dado é feita com além de uma vis?o estatística do negócio, também deve ser ter uma vis?o criativa carregadas muitas das vezes por uma análise simples respondendo vários por quês.

I was involved in a big data migration project that required movement of data from on-prem services to the cloud. The challenges that me and my team encountered were having stakeholders involved in the process. These are important ingredients needed for a successful project implementation of a new technology. Without their input or feedback, the project would encounter delays and the teams involved in testing, network, and data transfer would delay the project. Having clear expectations with stakeholders and their involvement would help reduce errors and delays of the project. Tech integration is one aspect of a project, but having a group of subject matter experts involved in collaborating is a challenge.

Positivo. Hoje n?o vejo o trabalho com dados sem uma ferramenta externa em nuvem onde posso armazenar os dados e efetuar qualquer tipo de tratamento (ETL). A integra??o com uma ferramenta apropriada para consumir e processar grandes volumes de dados. Hoje eu trabalho com bigquery uma excelente ferramenta que tem nos ajudado muito em otimizar e liberar os recursos providos na camada de visualiza??o, uma vez que passamos a tratar os dados direto na nuvem (BIgquery).

Sim, eu diria pensamento crítico e criativo s?o boas skills para que se veja e analise o problema de vários angulos. Pensa fora da caixa n?o sempre é a única solu??o. Acredito que primeiro deve-se pensa dentro da caixa porém vendo pelas quatros vértices pois a solu??o anda junto com o problema.

Perfeito. é necessário dividir para conquistar! Trabalho em equipe seja ele fácil, rápido, difícil ou demorado ser?o sempre uma boa escolha quando necessário ser cooperativo. Como já diziam duas cabe?as pensam mais que uma. O olhar de um pode complementar o outro, e a discuss?o mesmo que simples desde que n?o atrapalhe a entrega, ajuda tanto no resultado esperado quando no aprendizado do time.

Concordo, com o aprendizado contínuo, constante mas que possa te dar capacidade de externar, praticar e vivenciar o que está aprendendo. Quando se fala de tecnologia, estamos falando de um aprendizado organico, vivo. Nesses tempos modernos a internet nos traz uma vasta op??o de conteúdo de todo mundo, em todas as línguas. Estamos rodeados de oportunidades de aprender.

Acredito no mundo, onde o que era particular se tornou público, e o que era sozinho agora é em grupo, o acesso foi dado e disponibilizado. Ser um profissional dotado de conhecimento só depende de você, ser uma pessoa dedicada só dependente de você. Você tem tudo para consegui.