Data Deep Dive: Engenharia de Dados | PPT Não Compila Podcast

0:00mas é muito difícil de você definir o papel de um engenheiro de dados eu acho que tem hoje um responsável por exemplo quando você vai falar de governança de Dad tem um data stour eu falo já tive esse tipo de pergunta e as pessoas vêm perguntar para mim mas aí a pessoa você não é engenheiro de dados e aí você começa a ficar meio preocupado aonde est as bordas e as tangentes desse tipo de profissional que um engenheiro de dados ele pode chegar até a ser um um opheim de criar uma arma destruição em massa porque ele pode envar a companhia de qualquer jeito Unidos pelo operacional do dia a dia e como uma pessoa de arquitetura de deita consegue pensar nisso viessa corretíssimo tô contigo muito bem muito bem meus amigos do PPT no compil estamos aqui para mais um episódio dessa bagunça aqui ROM cara eu gostei dessa embalagem viu cara [ __ ] essa embalagem foi Espetacular M eu V fazerem legal ô vou já na abertura fazer um parêntese aqui que a gente tá aqui tomando a hipa empática do meu amigo Gabriel Lopes da empf Company que deixou a cerveja maravilhosa pra gente aqui e estamos aqui tomando essa cerveja para mais um episódio da nossa série data Deep Dive né R hoje para falar sobre o papel do engenheiro de dados papel importantíssimo papel super importante e que a gente vai desmistificar desmistificar e plantar uma sementinha na cabeça da galera é olha até pela presença do Luiz acho que vai ser um papo Bacana vai ser um papo bom a gente vai sair da caixa né com certeza quer apresentar nosso convidado R bom Lu além de ser um amigo pessoal ele é organizador organizador do evento eh Talvez eu seja o principal evento do Brasil que é o o o Big Data Experience Brasil é um um grande evento além de ser ter conteúdos incríveis cara é um evento de comunidade mas o Luiz pode falar melhor sobre o sobre evento bem-vindo cara obrigado por ter Eu que agradeço a vocês Eu que agradeço a vocês prazer imenso estar aqui com vocês hoje aqui e acho que de me apresentar eu sempre brinco né Eu sou um Livreiro meu pai p foi um grande Livreiro Eu acho que eu levo isso comigo O ensinamento do conhecimento pelos livros mas eu tive que dar uma guinada como todo na vida você precisa de um momento de resiliência e Fui para uma área de tecnologia tive a oportunidade de conhecer pessoas maravilhosas que me ensinaram e hoje como um organizador hoje estou como organizador não sabemos como está amanhã mas hoje eu estou como organizador do maior evento de dados do Brasil Espero que todos estejam lá né em novembro desse ano Estaremos com certeza vamos ter um episódio para falar exclusivamente do evento em breve Que bacana mas hoje hoje como organizador E também como R de produtos da Sky One até brinco com as pessoas né que eu sou o estagiário Senior lá porque a gente faz tanta coisa legal para quem queira participar da Sky One a gente brinca bastante mas eu eu eu eu sou uma pessoa que que gosta de quebrar padrões né Eu sou físico de Formação sou economista de Formação tava até brincando aqui off com vocês aqui que a formação hoje ela muda muito né acho que ela tem uma uma uma uma questão apenas cultural né porque nada em tecnologia tem sua forma final vamos dizer assim mas eu acredito muito de que a gente possa eh sempre evoluir acho que a mensagem da provocação que já tá aqui iniciada é que a gente sempre pode evoluir dou a vocês aqui é que eu era um Livreiro era um Livreiro eu tava ali vendendo livros e mostrando às pessoas o caminho dos livros e me tornei uma pessoa de tecnologia e tô aqui hoje ensinando as pessoas sobre tecnologia e principalmente de dados ou se já foi feliz e não sabia tá vendo foi perfeito foi perfeito foi perfeito foi perfeito foi perfeito cara obrigado pela sua presença isso aqui foi muito bom eh quer entender qual é o papel do do engenheiro de dados O que faz o engenheiro de dados como que esse cara trabalha no dia a dia que que percepção que esse cara tem n Empresas Grandes Empresas pequenas qual a importância desse cara no cenário de Inteligência Artificial e com os dados cada vez mais importantes no mercado então acompanha com a gente esse episódio que ele tá muito bom luí vai trazer uns insights e umas provocações muito boas para você que é da área você tá pensando em entrar na área você que trabalha com tecnologia vai gostar muito desse Episódio mas antes deixa o like se inscreve no canal segue a gente no Instagram se você gosta do nosso trabalho seja membro do nosso canal luí vai deixar uma dica incrível exclusivo para os membros então se você curte o nosso trabalho seja membro se você pode contribuir vai ajudar muito a continuidade desse trabalho que dá trabalho fazer essa [ __ ] aqui viu RBE Eu imagino cara dá trabalho isso aqui p é toda semana aqui estrutura nas pautas nas pautas não posso deixar o pessoal saber que é só uma desculpa para vir tomar cerveja e falar de tecnologia mas acompanha a gente lá e se você você não pode contribuir com a gente você pode ajudar muito também compartilhando o episódio seguindo a gente nas redes sociais comentando deixando seu seus comentários aqui a gente vai deixar todos os links vai deixar o Linkedin do luí aqui se você quiser fazer contato também vai tá aqui na descrição Então divulga o episódio que você vai estar ajudando muito a nossa jornada no PPT vamos lá que o episódio tá muito bom bora [Música] [Aplausos] [Música] depil já vou começar com a pergunta que na verdade eu roubei de você para você mesmo Responder o que é e qual o papel do engenheiro de dados hoje Poxa você você é tantas coisas que você tem hoje para definir um uma uma Persona né você pergunta Poxa o cara o básico o que que é é o o etl é o cara que consegue pensar o etl Vamos tentar simplificar as coisas para não entrar S sim e tudo mais aí você entra no Modern data stack é o cara que tem que saber data Warehouse data Lake reverse etl etl ele tem que saber várias coisas aí se ele for para para um tipo de nuvem ou para um tipo de provider ele tem um como no gcp como no na WS como no Ager porque tem caras que quer o bed do databricks no ejo ele é um engenheiro de dados o que que ele é ou ele é um ou ele é um cara de infraestrutura de dados aí você tem um analítico engir aí você tem o engenheiro de dados você tem um analítico não sei o qu é muita tag né É E e é o que você falou muitas vezes são são escopos ali no dia a dia que tem uma sobreposição ali com o próprio engenheiro de infraestrutura de cloud por exemplo perfeitamente perfeitamente então por exemplo quando você tá falando só de estrutura 100% Cloud o cara esse cara ele vai ter ali um acúmulo de de uma sobreposição de um cara que vai trabalhar com vamos usar o Google como exemplo né é um cara que vai fazer ali um vai trabalhar com Big queer fazer o data Flow ele vai instanciar esses objetos vai fazer o etl então tem uma sobreposição ali com com a própria engenharia de infra né claro claro você falando do gcp Por Exemplo né usando dataflow né usando Storage tem toda uma lógica que na na minha visão fica difícil de você definir é a mesma coisa você falar de um desenvolvedor de software Hoje é a mesma a mesma paralela que nem nós falamos de arquitetura né de de infraestrutura me lembro de passados Que nós tínhamos que resolver a tudo né a gente a brincadeira sempre é resolve tudo aí e do fim a fim famoso full stack o maior maior falácia do mundo tem é o full stack o cara tá subindo uma Instância na nuvem e 5 minutos depois ele tá fazendo um CSS não e aí ele tem que rodar o Apache kafica ele tem que rodar o airflow ele tem que colocar num banco vetorizado ele tem que fazer o bi do cara também ele tem que entregar o relatório pra pessoa dá suporte lá no pessoal do usuário que não consegue usar isso e não faz nada disso muito bem exato exato porque se você pega qualquer landscape de data por mais que Gardner entre outras consultorias accent e coloque ali mas é muito difícil de você definir o papel de um engenheiro de dados eu acho que tem hoje um um responsável por exemplo Quando que você vai falar de governança de Dad tem um data ST eu falo eu sou responsável por governança O que que você é responsável você é responsável pelo dado você é responsável por aí tem arquitetura aí tem arquitetura Cara isso engraçado você comentou que a gente fez até uma gravação acho que e recentemente exatamente falando sobre essa parte de qualidade de dados e aí entra exatamente isso que tá falando cara e aonde entra o engenheiro de dados nessa questão Será que o engenheiro não seria o cara que também ficaria responsável por uma parte dessa qualidade do dado ou Como estás falando agora né do llm que agora tá na no Hype e tal qual é o papel desse cara agora dentro desse novo cenário Inclusive eu tava lendo um um um um artigo falando que o talvez o esse engenheiro de dado que estamos falando aqui talvez o cara vai ficar restado pelo pelos pela geração ou pelo curadoria dos dados sintéticos vão ser criados então ou seja cara é é complexo realmente é complexo é eu não eu não gosto de dar definições porque se você for olhar no Linkedin por exemplo e olhar o que as empresas estão colocando como processo de contratação versus aquilo que você olha num github o que aquilo que a pessoa se auto se denomina sou um engenheiro de dados e você vê o mercado como funciona E aí você tem hoje agentes ai né o João Moura lá com a crei fazendo um ótimo trabalho você tem a Hang Face lá a comunidade com milhões de llms ali Aí você pergunta pro Engenheiro você sabe subir isso e colocar isso do que você tá falando do que que você tá falando não já tive esse tipo de pergunta e as pessoas vêm perguntar para mim mas aí a pessoa mas você não é engenheiro de dados e aí você começa a ficar meio preocupado aonde est as bordas e as tangentes sim desse tipo de profissional eu acho que data tá hoje atualmente chegando a gente tava aqui até falando do chat GPT que todo mundo tem uma aba hoje estamos bem no começo do do Cláudio nós estamos bem naquela época da WS 2006 2007 2 ótima analogia cara nós estamos exatamente nessa curva aonde as definições ainda não estão Claras Eu sempre falei que Big Data ou data qualquer coisa é quando é cede o Excel o Excel resolve sua vida as 1 milhão de linhas que ele tem hoje disponível resolve no xlsx ah resolve Então tá bom você não precisa de data nada não resolve no seu Excel aí e vai ser feliz porque ele não vai entender a a a o potencial ele não vai ele vai continuar pegando a planil del colocando no chat GPT e pedindo para fazer alguma coisa quando ele descobre ali aliás isso isso é curioso quando ele descobre é porque a gente tá tá falando também de um giro de dados estão falando de grandes empresas quando você olha médias empresas Eu já li já trabalhei lei com algumas fiz pret com cara o que que é engenheiro de dado a pessoa nem sabe quem é ela acha que na verdade que o cara do BI é o faz a função do engenheiro de dado para uma imagem de empresa ele não tem essa clareza porque começa assim nas empresas né uma coisa é uma empresa grande né a gente tá falando de uma grande Corporação mas uma empresa média ou média e pequena o cara de dados é geralmente aquele que quer mostrar um relatório bacana é aquele que foi lá aprendeu a mexer no P bi lá e assinou um negocinho de 29,90 lá tá e acabou virando o cara de dados e tá aprendendo vê vídeo no YouTube acha um artigo em algum lugar e começa a aprender até que ele começa a ter gargalo eu já tive já vi já cheguei em lugares aonde até empresas grandes são que tinha servidor de data de do data Warehouse não del optiplex no chão tá nem no hack não tá nem no não não foi uma iniciativa de um colaborador interno para começar a fazer um data Warehouse foi lá subiu um postgis da vida e tá lá fazendo C lá pelo menos tentando reunir os dados da companhia porque ele ficou bonitinho lá né E aí que é a questão ocular ficou bonitinho no power bi da vida ô faz para mim também pediu pro chefe uma máquina falou uma máquina a para eu instalar um banco de dados aqui e deixou lá embaixo do da da mesa e ele foi lá aprendeu e foi fazendo e geralmente é assim você vê pessoas que utilizam até essas plataformas também low code ou qualquer outras coisa a n8n para fazer integrações ou qualquer outra que M bom recomendo PR claro né Depende do teu propósito mas e assim a comunidade open source também tá aí disponível a questão é quem tem a habilidade de unificar tudo isso é para fazer tem tem quando a gente fala de empresas maiores eu percebo muito que o papel do engenheiro de dados ele vem muito para suprir um GAP de principalmente de legado ali para dar Cola nessa parada toda sim porque quando a gente pensa numa aplicação mais nova bem arquitetada olhando pros dados transacionais de forma estruturada e bem orquestrada para que você trabalhe o Big Data trabalhe o seu data datare House ou seu seu dat Lake de forma e criando aquele produto já pensando em fazer a ingestão do dado também o trabalho desse cara é muito mais facilitado e poderia ser até feito ali esse trabalho de ingestão pelo próprio arquiteto da aplicação correto porque eh se claro isso a gente tá falando no modelo de desenvolvimento de software orientado a produto não orientado à aplicação né então você tem ali um produto que vai ser já criado e aí você tem características por exemplo se eu preciso teu dado em tempo real ou qual é a janela de tempo que eu preciso ter desse dado se eu vou implementar uma plataforma de evento para fazer um barramento de desse esses dados para circular em em em tempo real ou não se eu vou ter um processo de cópia em Bet se eu vou trabalhar só com metadado por exemplo tudo isso é característica que parte do produto da informação que tá no produto e se você cria esse produto já preparado para ter o dado ingerido você não precisaria ter um engenheiro de dado que é o cara que vai ficar fazendo etl para cima e para baixo geralmente esse cara ele vem para suprir um GAP aí de uma aplicação legada que ninguém nunca pensou que ia precisar esse dado E aí é o caso que você falou Alguém falou que alguém achou que era legal pegar isso levar para um dat Lake que tá começando a ter essa iniciativa de tornar a empresa um pouco mais dat driven então precisa ter esse cara que sai dando Cola nisso tudo né é esse esse esse esse é o grande desafio que eu vejo e foi o que eu falei agora do começo do da do data pras empresas que que que eu enxergo muito né Tem uma aplicação Cloud Native como você acabou de dizer Resumindo tudo que você disse com certeza você consegue ter esse tipo de celeridade pro dado ou até mesmo para qualquer outra coisa dentro da arquitetura mas para o dado ninguém principalmente aqui aonde nós estamos aqui no Brasil não tem o costume de olhar pro dado não tem costume de fazer as concatena sões aí nós somos muito cartesianos ainda nós somos ainda muito do legado de tirar o relatório lá do rp por exemplo para o cara olhar o final da venda ele não quer cruzar ele não quer predizer ele não ele começa a pedir a demanda que sempre vem das outras áreas adjacentes e não da área técnica porque a área técnica muitas vezes tá ocupada demais para manter um legado manter uma arquitetura manter transações e aí começa a vazar e aí começa também ferir também a área a área técnica também E aí começa vários conflitos né pô mas o banco de dados é meu você tá mexendo no meu banco de dados sim e sempre aparece um um mágico né um Coper Field lá que eu sei fazer quer isso su banco cara acabou de aprender fazer um join onem faz um left join assim e se autoen titula eu sou um engenheiro de dados simplesmente fazer uma query se fazer um filtro eu acho que deveria ser matéria por exemplo essas coisas na escola essas coisas deveriam ser matéria da escola assim como algumas já começam a ensinar um pouco de algoritmo programação Eu acho que o o o dado é tão importante quanto correto eu acho que não só não só o o dado mas a fundamentação o por que a gente tá fazendo aquilo as pessoas se intitulam hoje engenheiro de dado porque tá lá com uma certificação da do databrick ou tá com uma certificação da confluent ou tá com uma de alguma coisa mas você não tem os fundamentos você sabe operar uma ferramenta Esse é um ponto que eu queria tocar contigo porque geralmente a gente a gente vê isso muito no desenvolvimento também né mesma coisa que é o cara que ele é ele o para fazer um paralelo aí é aquele desenvolvedor que ele é escritor de código de uma linguagem não é programador ou cont control c contv do stack flor também acontece bastante agora tem o chat ept agora ficou não ficou ótimo agora porque o chat ept é o controlc personalizado perfeito maravilhoso Nossa eu não tinha escutado essa eu vou levar essa PR casa essa eu levo PR casa cont control c personalizado o cara pede já do jeitinho que ele quer ele já dá o cont control c pronto não tem nenhum trabalho de mudar exato entendeu é maravilhoso então o cara ele é um ele é um escrevedor de código naquela linguagem exato se você pede para ele chegar no fundamento no pattern remodelar aquilo e dá uma no de qualquer outra linguagem para ele manda ele fazer outra linguagem não já ele é o cara que trabalha com qual aquela linguagem só e acabou e acho que o mundo do dado também tem isso n e eu já tive oportunidade de perguntar das três formas normais para um suposto engenheiro de dados o cara falou P do que que você tá falando não tem o Framework não tem o Framework não tem um Partner de aonde nós encontramos eu posso ser totalmente le aqui mas onde tem um aonde tem um Framework de data verdade não tem né onde tem o Framework de data que você faz o começo a v como nós temos de arquitetura É verdade onde tem mas é o que você falou me parece ser um pouco daquela curva de maturidade que a gente tá correto pr pra área de dados e área de Inteligência Artificial exatamente a gente no último episódio que a gente lançou na semana passada a gente conversou com com am martec que trabalha com ciência de dados e o ponto principal que ele frisou no o nosso convidado frisou no no episódio era Justamente a barreira que as empresas vão encontrar todo mundo quer I agora mas ninguém tá pensando em como ingerir e cuidar desses dados sim então todo mundo quer inteligência arcial quer treinar mas ninguém tá se preocupando com a fonte desse dado né como fazer essa ingestão e etc e vai ser uma barreira que que vai que você vai encontrar aí inclusive nunca sei o lado certo mas vou deixar aqui o card para quem não viu esse episódio um episódio muito interessante aí sobre cara mas isso você comentou o Wellington e é o que eu tenho nas conversas que eu tenho tido quando implemento o CFC ou soluções que envolvem a parte de engenharia cara é comum isso independente do P da empresa e é agora agora o negócio é DLM XTI PTI e assim por diante mas de novo a gente não tá olhando arrisco feijão básico cara que dado que eu vou trabalhar Será que o dado tá curado Será que eu tenho quantidade de dado suficiente Será que eu tô com time preparado para implementar um projeto desse é e e fundamento né cara eu acho que o o o o Luiz tocou no ponto principal assim sabe você encontra aí um cara que é piloto de D Stage sabe o cara Tira dado do ponto a e põe dado no ponto b sem muito critério do que ele tá fazendo sabe então é é uma loucura que você vê nas empresas O que é cópia de dado para cima e para baixo verdade né é um desperdício de históri de absurdo às vezes copia dado que não não não tem utilidade que cria o famoso data Pântano é ou Dark data né o nome o nome que a gente utiliza né a duplicação da informação é demais dentro da empresa não há curadoria nós estamos no go Horse total é o Extreme go Horse do date agora todo mundo tem que est em algum Hype agora e aonde se mostra isso se mostrava até algum tempo atrás dentro de um dashboard de um tablô de um dataviz qualquer aí de um port Bi e tudo mais agora todo mundo quer um prompt com seus próprios dados e para parar para explicar tudo isso agora para explicar os conceitos estatísticos de como funciona uma rede neural aí o pessoal pergunta o que que é uma rede neural aí já a [ __ ] aí eu falo vamos volte duas casas volte duas casas volte duas casas mas é também a ansiedade do mundo também né com as coisas que temos hoje no dia a dia é muito ansioso você quer resultados rápidos você quer tá à frente de todo mundo e todo mundo sabe você vê aplicações maravilhosas de anos já funcionando como o Kafka por exemplo você vê por exemplo tráfego de trânsito por exemplo senão um Tesla não conseguir andar por exemplo num num tráfego a gente tem aqui toda engenharia por mais que a a gente tem as nossas críticas mas também tem um um centro aqui que estuda e faz isso a gente não pode desmerecer essas pessoas tem os centros de estudo tem as Universidades públicas as Universidades privadas que estão trazendo tudo isso para o mundo para o mundo real mas o mundo corporativo ele anseia por algo que como eu disse agora a pouco o o cara tava preocupado em fazer um chatbot no no WhatsApp agora ele quer o chat GPT e daqui a pouco a gente a opar e solta o chat gp5 o GP T5 e o cloud o o antropi sai todo mundo querendo correr para fazer quem vai processar mais quem vai fazer o LMA 3 saiu e com 70 bilhões de parâmetros e todo mundo quer usar e e vira uma bola não tem tempo de você absorver essa quantidade de informações não tem tempo de você explicar a Teoria para as pessoas como é que você convence alguém a usar um data Qualquer stack que seja se você não consegue dar fundamentos por exemplo cas fundamentos estatísticos coisas que a gente sabe tudo eu sempre faço uma analogia com as eleições você sempre ouviu falar de inferência a cada do anos explico toda a questão do como é que eles sabem que é naquele estado vai dar o candidato X por causa de amostragem inferência bibibibi B Bá cuidado que tem gente que questiona isso ainda Ah não E é fake News é fake News é fake News é fake News fake News Eu já ouvi Falou como é que sabe quem que vai ganhar se não me perguntaram Ô meu amigo pera aí é a base da educação é a base da e e só que a velocidade das coisas está tão grande que o que preocupa é que o papel do engenheiro se mistura com do porque já se você pegar qualquer paper de qualquer lugar você já vê tem um engenheiro tem o analítico Engenheiro aí tem o não sei o que Visa como que mudou tão rápido como é que a pessoa se decompôs e e eu acho que esse papel ele ele ele é muito personalizado de empresa para empresa de acordo com o estado da tecnologia A maturidade da empresa Coreto Então tem um tem escopo para tudo cara tem escopo Para tudo tem o cara desde o cara que que que é o cara que modela o o o dat Lake e o cara que só pilota etl né e tem o engenheiro de dados que modelo transacional faz etl modelo datalake Depende muito do do desse do escopo de cada empresa da situação de cada empresa sabe mas eu acho que o que mais preocupa assim Lu essa questão de realmente não ter padrões ou você não ter ali uma base de conhecimento de mercado para manter uma estrutura de dados bem organizada mas a gente tá conhecendo agora né a gente tá construindo isso agora imagina como arquiteto como é que a gente fala que arquiteto de Cláudio Quando nasceu Cláudio não tinha como é era era uma coisa mas mas no fundo os os fundamentos ainda ainda são semelhantes são semelhantes eu Concord eles só se adaptaram para uma outra realidade Cloud Concordo com você mas abstração são poucos que tiveram no começo exato o primeiro o primeiro queria abraçar o servidor e levar para casa isso eu quero levar o servidor e o suí para casa pelo amor de Deus o que a gente brinca de falar do gerente de T que senta na bunda em cima do Servidor isso Exatamente exatamente É né até que ele entendeu que a abstração de pra Cláudia é muito mais sim objetivada pro negócio para que ele possa ser um gestor de de ti entender novas tecnologias mas eu acho que o ponto ainda é anterior a isso porque a gente tá falando dessa escalada de maturidade olhando para grandes volumes para PR pra Inteligência Artificial etc mas a gente vê muita coisa eh errada do ponto de vista de integração e de engenharia de dados no próprio ambiente transacional das empresas hoje né não Total eh poucas empresas por exemplo tem um conceito ali de dat Line aid Ah se E você tem bem recente isso cara então mas o o talvez o nome seja novo mas cara desde quando eu comecei a trabalhar com arquitetura 20 anos atrás você tem que ter a fonte primária de dados você tem que preservar onde o dado é criado e não é comum você ver empresas que é tanto etl para cima e para bxo você não sabe mais onde o dado nasceu não sabe mais e aí esse dado vai sendo alterado no meio do caminho e você não sabe mais onde é a fonte da Verdade sabe eh e é uma acaba sendo uma construção muito desorganizada que aí quando o cara vai pegar isso para montar um dat Lake colocar um cientista de dados e se preparar para mundo mais novo cara você puxa o um pelo sai um urso né Não exatamente e não só isso né como você falou agora de linc e de governance e quando você entra na democratização do dado para para para disponibil as empresas E aí você começa outro problema também quem é o dono do dado Quem é o responsável por aquilo quem é que vai disponibilizar enquanto nós estamos falando aqui de que pessoas ainda estão colocando dado da empresa no chat GPT para otimizar o seu trabalho mas não estão preocupado com absolutamente nada fazendo pad de planilha do Excel planilha financeira do Excel planilha financeira com dado sensível com dados sensíveis esquece lgpd esquece qualquer coisa que você Cara isso é muito complicado isso né pras empresas de novo o cara às vezes uma pessoa de uma determinada área que tá colocando informação lá para otimizar o trabalho dela mas não sabe que ela tá gerando um grande problema pra empresa né de colocar dado sensível usando chpt exato e não E assim a conveniência que nem a conveniência que nós temos hoje com iFood de pedir uma pizza de fazer qualquer coisa as pessoas acham que a tecnologia é uma conveniência eu digo acho que é uma conveniência as pessoas não sabem eu sempre disse que um engenheiro de dados ele pode chegar até a ser um um opheim de criar uma arma de destruição em massa porque ele pode enviar a companhia de qualquer jeito porque ele é o responsável muitas vezes de extrair a primeira a primeira fonte independente da forma como ele esteja fazendo não tô aqui falando das nossas teorias da melhor forma ou de algum de algum par não não t mas ele pode criar uma arma de destruição em massa que en inva se ele fazer um relatório errada de vendas Ele Pode Ele Pode Acabar com uma vida de uma família po é só ele colocar um campo errado uma informação errada um campo errado exato chegar lá no ceou que as vendas são ruins daquele exato vendedor ou ele fez um cálculo de comissão errado ele cria uma arma de destruição em massa e ninguém tá ali para curar aquilo porque tudo aquilo que você disse é perfeito eu digo que é perfeito porque deveria ter processo e tudo mais mas uma pergunta que me fizeram Cadê o Framework Segue o quê sai da planilha e eu preciso passar esse dado mais rápido possível para outro lado a gente já tinha o a questão lá do rup lá atrás porque resolveu o problema do volume e da variedade também de dados que tinha mas agora nós estamos com problema da velocidade do dado o Anseio da velocidade faz acontecer coisas terríveis tá errado não tá certo isso não só na área de dados né na ti como um todo a a exato e tem um ponto que eu sempre digo sabe o agilidade não é pressa sabe concordo e e o problema da pressa é é a não gestão do Risco e você não saber gerenciar bem os seus débitos técnicos porque eu acho que às vezes o negócio exige acho bonita a palavra adepta técnica né mas é gambiarra né É bem gambiarra né é é é é é vamos vamos vamos ser sincero vai a gente já tem numa certa idade já é gambiarra é um monte de gambiarra que a gente deixa para trás isso recolhe os corpos é gente vamos lá não é bonito tipo hard coder tipo não tá chumbada eu falo gente você tá chumbado Pô eu falo a garotada mais nova eu chego olho pro código abre o código para mim deixa eu ver você tá chumbado Hum você tá falando o que que você tá falando a tem que traduzir F tá hard coder é hard coders Nossa é lindo isso né Não eu fui aprendendo com eles né fui aprendendo né você vê lá a chave da pi colocada no códig falei meu Deus gente mas nem para criar uma constante [ __ ] Que isso pelo amor de Deus não coloca aí é mais fácil vai pra frente vai pra frente vai vai FR po tem até um nome bonito para gambar né que é work around Nossa que isso não aqui eu fiz uma implementação de work around passou até bonito né Não fez uma [ __ ] de uma gambiarra Mas enfim assim as gambiarras fazem parte do processo faz faz faz que às vezes o negócio precisa de uma ação imediata por estratégia de mercado etc mas alguém tem que arrumar essa [ __ ] depois tem e o problema é que o negócio não volta depois para Não beleza lançamos agora Toma aqui o teu orçamento para resolver oist tema se o cara não for um bom gestor de ti e ele não souber colocar isso pro negócio e explicar cara se você não resolver essa [ __ ] o próxima pressa não vai acontecer porque vai parar tudo isso daqui e eu acho que é muito disso no no no nesse nesse processo de deita que a gente tem que é muito o processo de entrega de de de ti como todo você tem uma pressa um imediatismo muito grande mas você tem poucos profissionais preparados para fazer algo estruturado que de fato consiga ser sustentável na linha do tempo é o que a gente tava falando offline aqui sim Você precisa ter um bom executivo de ti que consiga transmitir isso pro negócio porque o negócio Quer saber de resultado o cara quer ver a tela do Power bi exato ele não quer saber se o da tá chegando em tempo real se tá chegando Se o se o engenheiro de dados tá capacitado para não causar um desastre qual aquilo lá então você precisa ter um executivo bem capacitado para isso falar Beleza eu vou te entregar isso no tempo que você precisa mas depois eu preciso desse orçamento para resolver para continuar te atendendo mas como um executivo hoje isso que é uma das grandes dúvidas como é que ele se atualiza tal ponto para tal Porque a gente fala de um CDO numa Corporação grande que é onde você tem um CTO você tem mas a gente sabe que a realidade brasileira é totalmente diferente sim uma coisa é você é um desafio é um desafio é um desafio quero falar com você agora quem ainda não conhece é Clever Clever é uma empresa que já tem mais de 3 milhões de usuários em 30 países com 30 idiomas diferentes que tem trazido Soluções em blockchain criptomoedas e ativos digitais o objetivo da Clever é te dar liberdade financeira para operar nesse mercado de cripto então se você acredita nisso se você acredita nessa Liberdade você já Pensa como a Clever vai conhecer os caras é Clever Paio estão contratando também pessoal para trabalhar com cripto com blockchain então se você tem interesse se você tem conhecimento nessa área procura Clever se você gosta de criptomoedas se você opera no mercado você precisa conhecer a Clever precisa conhecer as soluções da Clever então o endereço tá aqui embaixo no vídeo para quem não tá no YouTube é Clever Vai lá vai conhecer que realmente é um mercado [Música] sensacional e eu acho que inclus eu quero fazer um episódio sobre isso um dia eh que eu já a gente tem um uma trilha que a gente fala que é o c show do mês a gente sempre questiona isso como é que o cara se mantém minimamente ligado no mercado para poder orientar a equipe sim operacionalmente e ainda ter trânsito na área executiva para para falar de negócio é um [ __ ] desafio é um [ __ ] Desafio na velocidade das coisas que estão hoje Exato eu acho que ainda isso é uma realidade bem distante do que o uma realidade bem distante do que o eu do que a gente veio por aí né Do que a gente na prática cara porque o primeiro que a pessoal tecnologia ainda tem um certo menos preso no sentido que sempre a de negócio fala pô o cara Tecnologia não entrega [ __ ] os caras são lentos [ __ ] o cara só sabe do bit bite e e obviamente quem tá do outro lado tecnologia sabe meu a complexidade de giria a operação o ambiente segurança quando o Executivo pede um botão e o bot não V mudar a cor desse botão e você dá vontade de pegar as coisas jogar pra cima deixa PR lá deixa PR lá deixa PR lá sério Olha o que eu tô te mostrando você tá falando do botão é do botão Pois é então é é complicado o papel também do do do cio do CTO também dias atuais porque o cara tem tomado muita porrada na minha opinião da áa de negócio porque tem quem tem grana é áa de negócio sim sim e aí a sempre fica cara achando que os caras não fazem nada e aí o outro lado fica obviamente no meio de uma um fogo cruzado E aí foi o que você comentou cara as outras ardes de negócios acabam fazendo coisas Ah então eu vou contrat aqui eu diretamente er a nuvem a a nuvem B sem critério nenhum sem questão de segurança mas assim R deixa deixa eu deixa eu colocar aqui um um um um outro viés nessa questão entre esse choque de esse esse choque de negócios com tecnologia que sempre existe né você Vu a o o o o crescimento né o o o o das coisas como elas estão acontecendo que eu comecei a falar agentes ai llm essa automação que estão fazendo no mundo essa automação que estão fazendo no mundo a tecnologia tá substituindo muitas coisas não tô aqui falando de destruição criativa não tô falando de chump tô falando coisas que estão acontecendo mesmo você vê lá Open ey soltando lá para fazer call center com api dele lê documento l caixa Lê tudo existe um movimento acontecendo com a tecnologia atual e por conta do da capacidade de computacional que nós temos a Nvidia tá aí para demonstrar tudo isso quem viu a a a a kote né do co é a construção é a construção da Skynet ali para mim é bizarro é a construção da Sky e ninguém tá percebendo isso são poucos que conseguem olhar o processo do Black well é blackw né do Black da NVidia o tamanho doer do poder que eles estão fazendo e dando na na mão das das empresas que que daquilo daqui a pouco aquilo vai virar serviço vai est disponível como serviço e vai est disponível para nós usarmos aquilo como serviço aonde a gente vai potencializar aplicações E aí talvez tenha um movimento não vai ser agora acredito que daqui mais uma década ainda no final de 30 de começar a mudar os legados porque tem a questão da semantic layer ainda que estão ainda começando discutir tirar essa camada né visual e começar a usar o soldado como tudo então tá tendo uma transformação muito rápida a gente vamos falar que na década de nós estamos falando aqui de 20 né 20 a 30 nós estamos em 24 agora olha quanta coisa aconteceu em 4 anos é bizarro e ninguém viu a gente tava em pandemia tentando sobreviver de um covid exato e dois anos atrás a tava trancado em casa tranc em casa exato Então mas eu acho que é bem é bem Ness linha assim a gente tem isso que a gente tá falando S do Poder da Computação ainda da tradicional uhum se a gente trouxer a variável que tá vindo na paralela aqui que é a evolução da quântica que ainda vai trazer uma uma capacidade computacional infinitamente maior com inclus deixar o Card aqui do do episódio que a gente gravou com a com a Expert dbm sobre computação quântica e a gente chega a gente vai chegar num limite virtualmente infinito sim de de poder de de computação mas ninguém também entende os kbits ainda ninguém ainda entende o cálculo mas ninguém entende muito bem a ainda também é é que a e é muito mais marqueteira de PPT porque quando alguém chega com PPT de Ea eu já é tipo Pablo Marçal para mim me fala sobre machine learning hã sai não me desculpa não a gente também tem que ter limite pra nossa inteligência eu não sou nenhum Expert sou uma pessoa comum mas quando chega com eii de PPT quando o cara fala de eii é pt PR mim é PowerPoint vamos falar de machine learning Você conhece machine learning me explica vamos no básico vamos no básico percep vamos começar o per isso me explica aqui ah não sei cara porque eu só vi o Exterminador do Futuro dois lá em no cara para não tipo sar cor vendo você usando chpt né tipo isso é tipo isso né É tipo isso né pô aí pô aí tudo bem caramba É assim poxa né mas assim de fato a gente tá num ponto de flexão do uso e de aplicação da tecnologia isso eu não tenho dúvida eh essa questão da gente estar dando um foco muito grande pro dado ultimamente eh é é muito desse desse novo uso da tecnologia sabe eu vi até um uma palestra de um futur lista Não não lembro o nome dele agora mas que é um cara muito ligado à tecnologia assim muito é é menos filosofia e mais como perceber a a a a tecnologia como tá hoje e cara falou uma coisa que eu nunca tinha parado para pensar assim de fato sabe mas a maioria das aplicações transacionais que você faz hoje com o modelo de os llms Como estão hoje em breve você vai poder treinar um llm para fazer todas as funções que uma aplicação transacional básica faz sim não vai precisar mais de linguagem de programação transacional do modelo de três camadas de servidor de aplicação tudo isso que a gente utiliza hoje que a semantic layer né exato você não vai precisar mais disso dado e e inteligência é isso vai ser totalmente abstraído E é disso que eu acabo tendo muito muita questão e aí a gente volta à questão Inicial O que que é o engenheiro de dados E aí a pergunta que eu faço a todos nós aqui o que que é realmente o engenheiro de dados essa pessoa é responsável por fazer isso isso de estudar Isso de aplicar isso de construir isso sendo que você pode pegar vários papers de Harvard de m já estão falando disso há 5 se anos de mudar a concepção do uso da tecnologia atual através de dados nós ainda estamos discutindo ainda como é a cor do do do do botão ainda do botão e se faz o etl em um aquero duas é entendeu Você não vai concorrer com alguma coisa durante o dia entendeu Poxa porque a aplicação tá bem construída né Geralmente as monolíticas estão bem construídas você roda uma query trava lá dá um Lock tem uma base de leitura tá tudo pendurado numa base só Exatamente porque o cara do negócio Quer economizar como o ce que fala eu quero economizar não não tô falando mal disso porque ele é o papel dele ele é o papel dele não ele vai olhar pro viés financeiro porque ele é cobrado por isso por resultado não estamos aqui desmerecendo até porque também é uma área que cara nos últimos anos o orçamento aumentou sensivelmente n de nuvem a a área em si ficou mais cara porque o custo profissional ficou mais caro também então esse cara realmente tá sendo tá num numa pressão também muito grande nessa perspectiva também né mas ficou caro mas há um movimento inverso também acontecendo também né de as pessoas começarem a usar essas ferramentas como o Black Box por exemplo não só o open todo mundo usa hoje o chat PT para ajudar a auxiliar alguma coisa nem todo mundo sabe tudo tudo também não sei Se eu precisar vou lá pesquisa ele me dá alguma coisa vou validar a gente é um pouco mais velho a gente sabe disso mas a garotada nova depende daquilo para viver ele assina aquele negócio porque ele sabe que ele precisa daquilo para para viver você vê por exemplo em lugares que eu tô ouvindo bancos grandes já fazendo substituição da equipe de desenvolvimento tirando gente Júnior deixando os os o os plenos e os sors mais anabolizados através dessas ferramentas validando é quase uma programação de de pares né exato Exatamente exatamente então assim a gente fica bastante assustado com as pequenas coisas né eu sempre digo para mim mesmo que a vida tá sempre nos detalhes e a gente não tá percebendo o detalhe que isso tá trazendo pra vida a gente fala do engenheiro de dados fala do engenheiro analítico fala do cara do datav e tudo mais a gente fala da jornada tudo do dado do começo ao fim né falando de uma arquitetura Bet vai de mexe Bet com com vamos dizer assim stream junto e tal não tão preocupado mais com isso eu não concordo que as pessoas não tão vendo isso acontecendo as pessoas vão fazer elas vão ter que dar um jeito de fazer de alguma forma vai ser pro query se vai ser por arquivo se vai criar um script em Python lá no no airflow e vai cuspir vai pegar um cfca e conectar e passar dado de algum vão fazer vão ter que sair de algum jeito de algum lugar só que eu não sei se vai dar tempo paraas coisas que estão acontecendo n que esse jeito ele pode facilitar ou potencializar esse resultado de onde você quer chegar ou se ele for só um mais um jeito feito de qualquer jeito ele pode atrapalhar essa jornada acho que esse é o ponto principal eu concordo com você mas acho que que nem as aplicações legadas quando a gente discute ninguém quer reconstruir uma aplicação legada custa caro tem aplicação rodando H 20 30 40 50 anos até frame né Por exemplo ainda até hoje tem até lá grandes empresas bancos ainda com mame forte né percebe que loucura a gente vai tá chegando num ponto onde a gente tá falando de talvez substituir até a camada do semantic layer para aplicações para treinar uma inteligência Possivelmente com dados do db2 é tipo Os Jetsons lendo os pintura dos flst é o encontro de duas gerações bizarras assim e isso é muito mais comum no mercado do que parece sim eu eu eu acredito que quando a gente fala de pessoas porque a gente veio e fez a pergunta sobre uma pessoa mas não é mais uma pessoa é um conjunto se até mesmo o se lev não entender que ele precisa daquele dado seja ele em tempo real ou governado ou linkado ou disponível para toda a companhia para que todos possam ler e tomar decisões inteligentes que é aquela discussão do data driven né eu vou vender o data driven para você chega lá algum executivo que foi para fora e vem com papel lá que é o data driven e tal o que que é o data driven Ah é como é que faz isso aí começa a discussão que fica infinita vira projeto fica um ano para tentar vender alguma coisa e ele não entende absolutamente nada e continua apertando o botão lá do RP para tirar o relatório F ou no final das contas dá para levar para o Excel aqui porque aí eu consigo fazer aqui isso eu consigo fazer o relatório dizer o que eu quero que diga É porque no fundo data driven é isso né o cara eu acho que esse relatório ele não tá certo porque eu não acho que é assim que a empresa funciona É né o d tá te dizendo uma coisa mas como é que você quer ser data driving se você tá discordando do dado porque a tua opinião é outra porque tem um feeling de mercado você tá 20 anos na empresa e você sabe que mercado funciona dessa maneira isso exato E aí você pega um profissional que é um engenheiro de dados e coloca nesse mundo e coloca nesse mundo por isso que tem layoff por isso que tem essas questões discussões que tem na internet desnecessárias muitas vezes eu acredito a empresa não presta vem aquela lista do worst Place To Work Sim o cara xingando a ti te é tóxica não sei o qu existe um choque um conflito também de gerações de entendimento um que quer resguardar e salvaguardar o seu negócio e sua posição e a outra que quer Inovar que quer levar paraa frente que quer testar os modelos novos e eu acho que é isso a resposta do engenheiro de dados hoje é o cara da experimentação é o cara que faz diversas vezes diferentes formas e vai aprendendo porque nós estamos no início então nós temos ainda preposição de errar ainda podemos fazer diferente mesmo que seja um etl via e-mail via um zapper pega o e-mail e coloca ali e manda para lá pega o dado decompõe ali seja lá num pandas da vida num Python né e coloca ali bonitinho ali num pô e manda para algum lugar nós estamos numa experimentação gigantesca é legal porque foi baseado numa Microsoft num Google o que deram a questão das certificações mas um engenheiro para mim é uma pessoa experimental ele cons continua sendo uma pessoa experimental Porque existe como a gente chegou aqui a conclusão de diversas formas de fazer não existe uma forma única não existe um Framework como não existe um Framework não existe um pattern você o papel do engenheiro acaba sendo ainda mais importante para que ele consiga atuar de acordo com a necessidade da empresa ali coro e fazer da melhor forma para entregar aquele resultado bom você que tá vendo esse podcast da hora tá vendo um monte de problema aqui que a gente tá colocando né e Quer uma ajuda aí na sua empresa faz o seguinte entra no site aqui da VMB que a gente pode te ajudar vb. I nós somos uma empresa relacionada à arquitetura de soluções a modernizações de aplicações também atuamos no na frente devops para ajudar vocês a serem extremamente ágeis então dá uma olhada no nosso site que vai tá aqui embaixo vb. i e lá você vai poder ver um pouquinho da nossa história do nossos profissionais e aproveitando se você for um profissional da área de tecnologia que tá Aim de trabalhar empresa legal um monte de colega gente boa e tecnologia de ponta manda o e-mail para people Care @vboisuke [Música]

49:13[Música]

49:26tá lá palavra bonita transforma outra transformação transformação digital e assim por diante nós temos 30 anos de internet só nós só temos 30 anos de internet po é da arpanet para cá nós temos 30 anos cara isso é bizarro demais para pensar nisso nós estamos falando de html até hoje a na base ainda é um monte de página ainda pois verade verdade é verdade só botar o CSS Pois é isso é bizarro só que o que tá acontecendo por trás ninguém tá vendo mas eu quero comentar é que ainda tem coisa básica cara que eu aí eu acho que se é o engenheiro de dado ou com essa nova função que vai vir que a gente talvez não esteja Claro ainda esse cara vai ter que ainda ajudar Nessas questões básicas que eu vejo ainda no dia a dia cara é integração ainda vejo muito no dia a dia empresa que não consegu ter integração básica cara [ __ ] tem um banco de dados eu quero mover para um dat Lake ou para qualquer outro lugar e não tem ainda tem dificuldade ainda vejo coisas básicas aí de novo [ __ ] quero vou dar o fazer um machine learning usar o chat PT antropic cara mas tem coisa básica não precisa resolver é porque não tem não tem o o Framework não tem o Partner você tem que ensinar pra pessoa quando você vai oferecer ou trabalhar um projeto de data você tem que ensinar todas as camadas não é só simplesmente explicar memória e disco e servidor e eu eu acho que aí volta até naquele ponto lá do começo viu r o que a gente vê no dia dia a dia o arroz e feijão é isso é gente com problema de integração gente que não consegue pegar o dado do do e-commerce e colocar no RP por exemplo isso é muito comum eu acho que muito disso vem de GAP de aplicações E aí eu tenho uma opinião enviesada por ser arquiteto de aplicações mal construídas mal arquitetadas são aplicações que são feitas com propósito único e não é pensado num viés de dados Não é pensado num num visão de arquitetura corporativa de tomada de decisão o cara quer resolver a persistência do dado dele na aplicação E [ __ ] alguém vai precisar copiar depois ou não né são aplicações mal escritas monolíticas com regra de Dado [ __ ] de ex datata entendeu E que o cara só faz para pensar para resolver aquele problema depois você quer dar continuidade e eu acho que a beleza do papel do arquiteto é esse é de deixar os caminhos abertos e fazer evoluir uma aplicação que foi escrita 10 anos atrás não tinha um viés de dados tão grandes assim tão grandes assim mas se você seguiu os padrões de uma aplicação bem arquitetada você não tem tanta não teria tanta dificuldade hoje concordo plenamente Mas quem seguiu esse que é o problema quem seguiu quem seguiu se deu bem quem Não seguiu tá com esse problema hoje de integração porque aí você qual que a realidade que você encontra é uma aplicação acessando a base de outra dando um Lock em tabela porque a aplicação X tem usuário entendeu Não não tem segregação de domínio você não tem não respeita o domínio da da informacional das aplicações dos produtos então é o usuário acessando aplicação acessando dado de uma de outra levando dado para cima Lando para baixo não é nemum processo de integração formal é do uma a mesma aplicação da select num uma base insere na outra quem sabe isso aonde tá documentado isso você desliga uma aplicação cai uma integração por quê mas é uma aplicação transacional tava movendo dado quem falou isso quem permitiu isso não tem não tem governança então o O resultado é no dia a dia você não consegue descontinuar aplicações para evoluir você não consegue pegar aquele legado e fazer diferente com ele porque tem tanta coisa é pendurado naquilo que é literalmente você tirar um palito e cai o castelo de cartas porque tá tudo em cima de uma coisa só aí precisa ter esse papel desse cara que vai olhar esse esse ninho de mafagafo e vai tentar compor um datalake para dar para um cientista de dados tirar alguma coisa dali não é uma vida fácil né não de forma nenhuma e acha que a grande dor é a integração essa essa essa questão da Integração que tudo que foi dito aqui tudo foi falado foi foi compreend ido tem tem um outro viés também muito complexo também tem um outro viés muito complexo além de toda a arquitetura da da aplicação que você tem e todos os dispositivos a questão toda é que é que o como é que eu posso lhe dizer né e construir um data Lake ou um Lake house hoje vai muito além vai muito além de simplesmente você pegar o dado e colocar em algum lugar vai muito mais além do que isso problema de integração sempre houve a gente tá falando de DTS lá atrás fazendo sk server à noite passando dado de madrugada porque era a única forma de passar e fazer isso à noite hoje a gente tenta passar de uma forma ah vamos usar o cafc por exemplo para tentar fazer stream mas não comporta não comporta volumes gigantesco de dados e tudo mais Ah mas aí você pode falar do IOT que teve o Boom né vão fazer telemetria vamos usar as ferramentas que tem hoje e tudo mais mas a preocupação é que a o Executivo ou até mesmo uma pessoa não entende esses problemas ele não ele não consegue compreender isso a nossa preocupação não é o problema operacional porque a gente tem um viés operacional nós que somos mais técnicos a gente fica com viés extremamente Esse é o ponto que eu quero colocar a gente vai resolver vai dar um jeito vai arranjar alguma ferramenta vai arranjar algum jeito ou uma gambiarra vamos dizer assim workar workaround exato vai virar um débito técnico de alguma forma mas a gente vai resolver vai passar dado Mas a gente não consegue Como disse ver o Todo olhar o todo governar aquilo todo e ninguém tem tempo mais para governar o todo e acho que esse movimento que tá tendo é justamente que não há mais tempo eu não consigo enxergar um tempo de alguém pegar uma aplicação legada de 20 25 30 anos e parar para entendê-la e às vezes o o o business Case financeiro não não fecha não fecha nunca vai fechar não eles estão encontrando uma outra forma de resolver esse problema vai integrar vai se você pegar o e-commerce vai vamos falar aqui o Mercado Livre que vai pegar vai passar vai entrar no RP vai emitir a nota vai passar para um SAP que a maioria que as pessoas TM aqui é um SAP Business One que geralmente as pessoas TM e tudo mais vai vai fazer Vai lá vai usar um api vai conectar vai fazer vai acontecer eu não vejo mais essa não vejo uma em relação a isso vai lá vai ver a service layer lá vai pegar ali Ah aqui encaixa aqui o cara vai lá faz uma transformação volta a conversa do etl ele vai fazer o etl funcionar porque tem que fazer funcionar porque o negócio precisa bem ou mal vai sair bem ou mal vai sair independente do Partner dependente Da Lógica vai aparecer alguém fala não eu tenho a solução mágica e vai aplicar e vai funcionar Mas o problema a visão que a gente olha é outra eu tô sempre olhando mas isso aqui tá andando muito rápido enquanto a pessoa tá preocupada em gráfico do Power bi para monar lá pro você olha a mágica que o Big que faz que eles fizeram né olha por exemplo quees estão fazendo traz os dados tudo para mim dá um jeito traz tudo para mim traz tudo mim daqui você resolve sua vida então o cara entra num lá e faz tudo aperta botão eles conseguiram fazer o finish funcionar de novo porque o cara não precis mais extrair não precisa entender ele só precisa seguir os passo a passo clica aqui você faz o o a linkagem faz aqui você faz o gov n você faz aqui clica aqui e o dado vai sempre desestruturado o dado nunca tá estruturado no dat Lake ou no bigquery ou no uhum no eer lá no ou no Oracle Storage tá tudo estruturado e eles criaram ferramentas para resolver isso e estão fazendo isso estão resolvendo aos poucos Qual que é a a questão a questão é con que tá aqui e tira o que que falta para cara levar a aplicação pra Nuvem de alguma forma o que que falta para levar para eles fecharem um ciclo porque depois vira uma dependência você já ouviu alguém que tava com databrick por exemplo e voltou atrás tô não tô enfim tô no no meio de um tiroteio desse aí agora eu vou te falar que eu tenho escutado o cliente mas é custo custo custo é custo não não pela pela tecnologia ver não não vamos fazer você vê que o problema é outro é é que o louquinho ele é um lugar quentinho ele é confortável é lógico que é eu tô preso lá no Big quiry mas ele é meu amigo eu tô a gente pode estar aqui né é a gente pode estar aqui isso o loquin nos permite viver isso exato e me me permitiu entregar então é uma balança do tipo problema é quando isso vira um relacionamento tóxico tóxico né e acontece com alguns Mentos né Muito muito muito então tem uma balança aí do tipo ah beleza eu vou vou casar com você tô aqui você é um lugar quentinho confortável tá me gerando valor a partir do momento que começa a virar um relacionamento tóxico você tem que ter uma um canal de saída O problema é que ninguém sempre tem essa visão do do próprio canal de saída né mas eu acho que isso tende principalmente na área de dados ser cada vez mais comum porque é um ambiente tão plural como a gente tá falando aqui são Dados estruturados aplicações legadas ações mal feitas que cada vez mais vai aparecer alguém como você mesmo disse que vai resolver teu problema só que ele vai resolver problema do jeito dele você tá preso com esse cara né E aí eu concordo Também contigo que a gente tem essa visão crítica sobre situação das aplicações situação das integrações com viés muito operacional Mas se a gente parar para olhar estrategicamente eu vou adotar um um vendor como que vai resolver um problema mas talvez daqui 5 anos 10 anos nada disso Talvez seja necessário correto concordo com você porque a gente pode est numa numa situação de mundo de tecnologia bem diferente dois anos atrás a gente tava preso em casa eh discutindo se usava a máscara ou não hoje a gente tá falando de Inteligência Artificial e talvez de Nem precisar de aplicações transacionais então eh nós somos consumidos pelo tempo né Nós somos consumidos pelo operacional do dia a dia e como uma pessoa de arquitetura de deita consegue pensar nisso o viés tá corretíssimo tô contigo mas como é que ele pensa como é que ele instrui como é que ele faz entrega o pãozinho de hoje olhando pro futuro mas quantos conseguem fazer isso difícil hein essa que a questão Esse é meu ponto meu ponto é esse aí a gente volta de novo quem é engenheiro de dados que título é esse que deram Ô você falou que o cara ia vir aqui explicar pra gente o que era cara ele me deixou com mais dúvida ainda cara e agora também sei eu também tô com cé de questionamentos aqui se o cara o cara que é engenheiro de dados hoje ouvindo nesse podcast ele vai sair com Crise existencial eu falar cara minha vida minha vida é uma ilusão porque porque você você tem diversos vieses porque no final das contas Aí você pergunta pessoas pragmáticas né Não vamos entrar aqui na filosofia quando a gente entrou que que é um engenheiro de dados você sabe o que que é input sabe o que é output então é isso que você tem que fazer é tirar daqui para cá ah mas o que que acontece no meio cara vou te contar uma história cha aí ó o mundo começou lá atrás no Big B então não tem várias formas de fazer vários jeitos de fazer várias combinações diferente de fazer mas a Teoria é básica o engenheiro de dados é aquele que é responsável por tirar o dado da sua fonte e levar ele pro seu destino da melhor forma possível de uma for e tratado né não tratado por isso que a gente começou com etl falou de toda a parte que eu coloco o mordan de stch como como a coisa mais palpável no dia de hoje mas se você chegar e ficar falando de todas as camadas que você tem de todas as necessidades eu vou acabar ferindo de alguma forma alguma pessoa que fala pô mas eu faço o reverse Pô o sensos lá faz reverse Ah você faz etl como é o o dbt Poxa Cada um faz uma coisa Abre qualquer landscape de data deve ter pelo MMO mais 1000 soluções do mercado para fazer etl hoje que é etl LT já começa assim então vamos deixar claro que que ho cara já via até ltb não não já já que é um é load transformation embeded já já tem um temp mas é que falou a a é um ninho de mafagafo tão grande as integrações das empresas que tipo você só etl já não resolve você tem uma série de outros processos para poder normalizar esse fluxo de dados né então Eh e é justamente por isso que não dá para fechar o escopo de atuação desse cara não é é impossível você chegar a uma conclusão mas nós podemos chegar num num ponto é o cara que tira daqui da fonte original e leva para uma fonte necessária seja qual ela for ou seja qual for a necessidade que o negócio decida agora o que ele faz pergunta por exemplo coloca um cara de Python aqui um cara de R aqui vai sair briga de Mortal Kombat aqui sair Mortal Kombat não porque um é melhor E aí a gente volta pro vias operacional essa discussão é mesma coisa você pegar um cara de pyon e colocar um cara de c sharp junto o cara vai cada um vai fazer de uma forma tem eu vejo o etl feito em searp car e nenhum dos dois tá errado e nenhum dos dois tá errado e isso que é o bacana é bem democrático a tecnologia nos permite isso hoje só não vem com o PGP né aí também Desculpa aí galera mas é desculpa aí des agora você deu um acho que uma uma perspectiva interessante pensando no futuro cara do do novo papel de engen de dado que pode ser interessante que é o cara que que pode testar novas coisas dentro desse momento que a gente tá de cara mudança e novas tecnologias e aperfeiçoamento de outras e talvez o papel do engenheiro de dado nesse novo momento que nós entraremos cara pode ser [ __ ] Gostei da da tua da tua perspectiva porque realmente o cara é tanta coisa que tá acontecendo ao mesmo tempo e esse cara o engenheiro el pode criar outras coisas que pode agregar muito valor pro negócio fazer de uma forma mais simples e e obviamente pensando otimizações e e obviamente eh fazer de forma mais eficiente pra empresa talvez eu não tinha n passar perspectiva mas acho que interessante isso eu enxergo como um cara de inovação hoje categorizando um cara de engenheiro de dados porque foi o que eu disse aqui em algum momento específico a categoria de engenheiro de dados veio por conta da certificações que a Microsoft faz não tô desmerecendo os MSI lá alguma coisa que tem lá uh uhum aí criar alguma nova lá é engenheiro is Me explica não ele ele só sabe usar aquela ferramenta ele não sabe pensar como um arquiteto ele não sabe pensar ele não tem os fundamentos ele sabe operar uma ferramenta Ele já sabe Ele sabe operacionar um painel aí você tem lá o cara que sabe mexer em código que é um Python que usa um airflow porque ficou famoso porque todo mundo aprendeu a mexer Python e virou um uma loucura você vai pegar qualquer lá uma em cima da outra que conversa com a outra cara você olha aquilo ali Fala loucura Alias Eu já vi caso do cara usar o airflow para fazer etl sim porque a ferramenta é versátil é extremamente versátil com código você pode fazer o que você quiser aí você fala esse cara é engenheiro de dados a pergunta é essa porque as pessoas procuram a coisa mais pragmática possível eu sou o engenheiro de dados mas o que que você sabe fazer você sabe me definir o conceito do que você faz não eu sei usar a ferramenta x sei usar wflow ou nfi antigamente que as pessoas usavam muito antes de workflow aparecer eu sei usar muito bem o nafi mas não sei usar muito bem o airflow ainda E aí eu deixo de ser o engenheiro por causa disso mas aí entra aquela capacidade de abstração que você falou né exato é o cara que resolve o problema de transportar o dado de um um um ponto a para Ponto B respeitando um input e respeitando um output né seja da melhor forma possível e eu concordo que esse cara dentro dos papéis que a gente tem hoje de uma área de dados é o cara que tem mais o viés próximo ali da de pid é o cara que vai ter mais experimentação exato até porque o cara que tá mais perto de infra de desenvolvimento que não é eh tão canônico né porque o cientista de dados é um cara totalmente teórico ali da matemática da da estatística acadêmico acmic o cara que vai ali testar uma base nova vai testar um Framework novo testar uma linguagem é o cara do engenheiro de dados ali é o cara que exatamente que tá próximo do do do viés mais operacional ali de de testar coisa nova né E que é muito ligado a eficiência operacional também correto correto e é e é nesse viés que eu vejo um engenheiro de dados hoje próximo do pid próximo da Inovação próximo de muita experimentação porque o viés todo ele é o grande Hub porque ele precisa entregar alguma coisa mas ele precisa receber alguma coisa e ele tem que ter fluência com a infra tem que ter fluência com arquitetura da aplicação transacional correto o cara ele é um Hub e tem outro fator né ele tem um papel chave aí pensando num cara que vai criar um modelo que é o cientista de dado P engenheiro de dado tem um papel importante social eu diria dúv que é o cara que vai entregar o dado cara o dado tá curado agora você pode começar a brincar no teu modelo sim ele tem um papel importante nesse nesse novo cenário né tem que saber um Pou é um cara que tem que ser bem generalista dentro desse recorte da área de dados correto não corretíssimo e essa e esse é o viés que eu dou ao engenheiro de dados hoje colocando numa categoria Porque já já ela já se ramificou muito também né ela já se ramificou muito quando você fala eu sempre discuto com as pessoas o que que você quer qual não é qual é o seu problema que que você quer tenta me dizer com palavras no contexto humano e aí a gente fala de llm me explica o que você quer qual é a pergunta que você quer responder para m eu tentar te ajudar de alguma forma porque eu tenho que entregar esse dado para você de alguma forma eu posso transformá-lo de qualquer forma eu posso carregá-lo de alguma forma mas eu preciso lhe entregar alguma coisa cara isso é chave esse tá falando porque você acabou de falar alguns minutos atrás que eh o engenheiro de dado pode ser um cara que pode destruir a empresa porque se ele tratar o dado errado na hora que bater lá no relatório e o cara olha [ __ ] minha venda tá baixa ou minha operação tá tá em crise de repente porque ele colocou ali uma vírgula errada ou trabalhou dado de forma enviesado cara ele pode quebar a empresa Pode Ele Pode Ele Pode dar ao ceou um um viés errado de de decisão no data driven a gente tem que tomar cuidado isso qualquer colaborador dentro da empresa mas o de tecnologia muito mais uma decisão ou um viés ou seja um ego porque às vezes a gente também tem nosso ego também e na tecnologia quase não tem isso né não não que isso não imagina imagina que isso todo mundo muito humilde Nossa não porque você acaba dominando uma certa tecnologia e você fica muito preso a ela tipo é a mesma coisa você fala eu eu eu eu digo uma coisa por exemplo eu sempre gosto quando as pessoas me perguntam sobre o databrick que que eles fizeram vamos vamos ser sinceros o que que eles realmente fizeram eles só emular o SQL em cima de um Python e por isso deram certo só isso na minha visão e é só emular curioso isso não tinha nado para essa perspectiva olha isso o que que você tira da molecada que sai da faculdade o que que o cara aprende SQL Por que que explodiu Por que que a Microsoft colocou tanto dinheiro no no no no databricks você faz SQL Você vai no snowflake você faz o quê SQL você coloca os bancos vetoriais que estão aí chroma duckdb entre outros que estão aí que que é skl olha no Git Olha a quantidade que tá subindo de gente usando simplifica o trabalho que é genial gen não to do ponto de vista de produto é incrível falando do desenvolvimento por produto você olha na Perspectiva que é o mais simples você tá trazendo eficiência eficácia baixo custo agilidade usando o profissional que você já tem que você já tem porque todo mundo tem uma galera de todo mundo sabe es queel não precisa até ela ali sabe ali o que é esel ali que é fácil porque qualquer um que estudou um pouquinho de tecnologia sabe que precisa fazer um select from alguma coisa de aí você fala para um engenheiro de dados Qual que é a base pega qualquer currículo saber SQL por quê Porque todas as ferramentas só usa skl B quir skl post Gris tá lá para você brincar skq então é mais simples as coisas é mais simples as pessoas não conseguem talvez enxergar e tudo mais e tal mas eu consigo Pelo menos eu acreditei quando eu as pessoas falam não vamos pegar o dat não gente calma calma calma calma vamos entender o que que esses caras fizeram tem lá o bronze o Silver Gold legal mas eles criaram um processo não é que você vai usar eles criaram um processo para você fazer Delta Lake aquelas coisas aquilo é um processo gente eles não reinventaram a roda o que é tipo um esboço ali de um Framework então para quem não sabe para onde ir todo caminho serve então tá Tab já veio com ó eu tô Você não sabe o que fazer is é Alice né aqui is é Alice né É o gato né É o gato é o gato né É o gato PR não sabe você vai para qualquer lugar é exato então o cara quer pô eu tenho que fazer aqui um um Lake House exato não sei nem por onde começar cheg databrick com tudo assim ó tem o Wizard que é o Next nex nex next finish faz assim ó cara nem sabia que prava de três camadas e tal mas aí o dat brix te falou que você precisa exato e resolveu teu problema você não tem nem que pensar nisso Nossa tá ali fácil tá tá fácil e é o que você falou como não existe um padrão e profissionais preparados para trabalhar com esse padrão databrick te entregou E por isso que ela tá ganhando a guerra muitas vezes Senão deixa lá pros nerdes como a gente que fica lá colocando um monte de coisa junta lá e fazer funcionar segura infra segura o software open source fica dando P exato e e que cara não muito longe de de criticar esse tipo de solução porque o o custo operacional que você tem para não manter isso como serviço gerenciado por exemplo numa solução pronta e com uma certa organização também pode ser alto sim não Total total quantos DB você vai ter vai ter que ter quantos caras de infra você vai ter que ter para ficar monitorando Storage ET servidor servidor fazer atualização quando tem que aplicar Pet de correção cara o cara não sabe nem instalar os abic gente então é o cara não sabe nem colocar os AB ou um 24 por7 nem sabe que existe isso para monitorar a infraestrutura dele então o databrick a gente gosta de vocês podemos gostar mais ainda se o seu logo estiver aqui sim ver a gente pode gostar mais então um abraço Microsoft datab eu acho genial porque eles eles sacaram exatamente qual foi foi o o problema Eles resolveram o problema além de criar como a tentativa de criar um Framework mas Eles resolveram o que que eles fizeram tava tudo em Python não o cara vai lá e faz SQL porque você tem um SQL do datab você tem que estudar is você tem que estudar porque não é simplesmente sair do SQL pro Python tem tem uma camada de abstração aqui que vai modificar ambos os lados vai modificar Então mas mas eles conseguiram fazer a curva é bem menor de aprendizado o cara que sai do ans do SQL pro databrick é muito mais fácil do que o cara que sai do ans do SQL pro Python exato não não tem por isso que um profissional Python chegava e custava uma fábula ninguém quer mais esse cara você pode ficar aí com o seu conhecimento aí fica aí no ostracism vai lá pro tibé vai fazer o que você quiser vai para onde você quiser sai daqui você e seus Panda sa sai daqui seus Panda seus n pais seus kit learn sai daqui sai daqui tudo aqui sai que que é importe não o cara pega um menino lá de sai da faculdade agora ah vem para cá vem cá vou te dar a certificação do dat Bricks ele sabe que vai perder o profissional mas até lá já tá resolvendo o problema dele tá resolvendo o problema dele e é barato porque ele pega o próximo ele pega o próximo é exato Porque tem uma fila saindo Ô Ron e quem precisa de ajuda agora para resolver esse tipo de problema para trabalhar com ingestão de dados de repente eh ter um barramento de eventos etc que tá ouvindo esse papo aqui e ele precisa pô quem que me ajuda por onde começar porque esses caras explodiram minha cabeça bom a tecrom é uma empresa especializada em engenharia de dados e também eh começamos com a com o a parte Cica eh somos parceiros da conflent e nos Podemos sim ajudar nessa jornada que eu gosto de dizer eh como o Luiz bem colocou de do input output todo nesse ciclo definir e ferramenta estratégia e um Framework e e também a governança que é tão importante e que é tão falho em grande parte das empresas então a gente pode ajudar nessa frente sim e até porque precisa ser um trabalho muito personalizado como a gente disse aqui empresa tem uma necessidade diferente e tal s s então a a techron pode te ajudar aí a entender Qual é a sua necessidade e te apoiar aí nessa jornada para você saber para não pegar o gato errado na lce né pegar tem tem tem o caminho certo aí para poder seguir certo ou sim sim sim muito bom Luiz cara pô eu queria que você como uma palavra final aqui pra gente encerrar que você desse um aconselhamento PR os nossos amigos Engenheiros de dados que estão vindo agora que provavelmente estão numa Crise existencial você desse a uma uma uma uma luz para esse cara que que esse cara deveria se preparar pro Futuro Eh que que ele poderia ter com um olhar mais executivo do que ele tá levando de valor pra empresa que que você diria para esse cara que tá ouvindo agora eu acredito que no mundo ainda como nós estamos hoje é sobre pessoas é sobre pessoas nós acabamos se apegando muito do que a mídia nos traz do que muitos somos enada por aquilo que somos cobrados temos que ter uma certificação temos que ter o conhecimento sobre certa tecnologia porque aquilo que tá nos enz todos os dias ferramentas a gente aprende isso é fácil mas eu acho que valores Carter [Música] precisam ser fundamentadas para essas pessoas o engenheiro de dados Hoje ele tem um papel fundamental e ele não se coloca nesse papel de entender principalmente o todo de uma companhia quando ele está Eu acho que ele tem que treinar bastante como todos nós treinamos ao longo das nossas vidas mas ele não pode ficar só no viés operacional ele tem que se abstrair um pouco é muito fácil usar ferramentas hoje você tem YouTube hoje você não precisa comprar curso nenhum eu sempre digo PR as pessoas eh tem educação gratuita se você for um pouco disciplinado mesmo tendo TDH você pode aprender muita coisa Eu Aprendi muita coisa assim vendo um vídeo Todo procuro e tal e tudo mais mas o que que eu quero dizer com isso tudo seja curioso acho que o importante é seja curioso ferramenta todo mundo usa quer aprender Python porque acha que tá na moda vai lá faz o curso tudo tudo que eu aprendi e eu posso dizer isso com uma certa certeza foram pessoas que me ensinaram me ensinaram o fundamento básico quando eu aprendi Excel uma pessoa chegou para mim ele era o financeiro da abradif da Associação Brasileira dos distribuidores da Ford isso há muitos anos atrás eu enchi tanto saco dele me ensina o Excel porque ele fazia planilhas assim sublimes cálculos não era pro V era Matriz com correspondência com cálculo com VB senta aqui senta aqui vou te ensinar o a lógica do Excel depois disso era decoreba de fórmula Python foi a mesma coisa a lógica é essa agora é com você R foi a mesma coisa Tenta entender a origem das coisas tenta entender o fundamento das coisas é isso que leva você pra frente é isso que lhe torna você em qualquer lugar não adianta você falar que sabe fazer marabalismo com com com código que não não vai lhe trazer benefício nenhum você vai só se tornar me desculpe mas é um frustrado porque você vai chegar e falar eu trabalhei muito e ninguém reconhece meu valor o valor tá sobre pessoas é sobre como você trata as pessoas é como você compreende e tem empatia por elas e aí você usa suas habilidades para tornar aquilo real e aí é o papel de um engenheiro de um cara de datas seja de qual for também vamos dizer assim qualquer cara de tecnologia que precisa ter isso não fique com ego seja resiliente aprenda novas coisas todos os dias é isso que eu tenho para dizer muito bom Resumindo Seja humilde não seja piloto de ferramenta Exatamente é isso é isso é isso pô obrigado pela tua participação Eu que agradeço a participação aqui gente foi muito legal a brincadeira aqui muito leg leg e para quem não conhece o Luiz ele também é organizador do Big Data Brasil Experience exato Fala um pouquinho vai ter evento esse ano né esse ano tem dia 16 de novembro né tanto eu quanto os meus amigos ali vocês todos estão convidados aqui são meus convidados especiais vou deixar aqui com vocês o cupom especial para vocês aqui para distribuir pro pessoal aqui mas quero ver todos lá pra gente congregar tudo isso fazer uma grande festa de comunidade Lá show de bola mais paraa frente o luí vai voltar para gravar um episódio especificamente para falar aqui do Com certeza tanto eu quanto os outros líderes aqui vamos estar todos junos para fazer uma grande festa vai ser muito legal e vai ter cupom pro pessoal do PPT aqui que tiver acompanhando a gente Obrigado cara cara Eu que agradeço a você você rum Obrigado pelo convite também muito bom foi cara foi muito bom adorei o bate-papo porque trou acho que foi uma discussão bastante rica em relação ao papel do engenheiro de dado e é de novo cara a importância do engenheiro de dado no cenário atual e no futuro né ISO muito bom exato trouxe uma perspectiva reflexiva sobre o papel do profissional que eu acho que foi muito importante muito bom você que acompanhou a gente a até agora não esquece de deixar o seu like se inscrever no canal de compartilhar no grupo do time de dados esse episódio da sua empresa manda para quem você acha que tem interesse e se você acredita que o nosso trabalho traz algum retorno para você se você pode contribuir com o nosso trabalho você pode ser assinante do nosso canal no YouTube você pode ir lá e contribuir eh com o PPT no compila e você pode acabar até vir vir aqui no estúdio conhecer a gente e você vai ter a acesso também a conteúdos exclusivos só para quem é assinante do canal Então seja membro lá na plataforma do YouTube se você acha que a gente contribui de alguma forma você quer retribuir você pode ser meso se não puder você já ajuda muito a gente dando like comentando enviando esse episódio para quem você acha que possa se interessar e para quem também não a gente quer que divulgar o episódio mesmo tá Obrigado galera até o próximo episódio valeu muito bom r [Música]