Engenharia de Dados Moderna com Confluent e Databricks | PPT Não Compila Podcast
Convidados
Luiz Carrossoni
Arquiteto de Soluções @ Databricks
Lucas Melo
Engenheiro de Soluções @ Confluent
Rômulo Barbosa
Fundador @ Techrom
No episódio 174 do Podcast PPT Não Compila recebemos três especialistas de peso para um papo técnico e ao mesmo tempo acessível sobre Engenharia de Dados moderna. Juntos com o co-host Rômulo Barbosa, fundador da Techrom, contamos com a participação de Luiz Carrossoni, arquiteto de soluções na Databricks, e Lucas Melo, engenheiro de soluções na Confluent, que explicam como empresas podem simplificar fluxos de dados complexos — mesmo com legados pesados — usando tecnologias como Kafka, Flink e Delta Lake. A conversa aprofunda como unir o mundo transacional ao analítico, os desafios de ingestão e integração, e por que o Shift Left é mais que um jargão: é uma mudança cultural necessária. Os convidados também detalham a parceria estratégica entre Databricks e Confluent, revelando como o recurso TableFlow pode transformar o modo como dados são tratados e disponibilizados para consumo em tempo real, com governança e eficiência. Você vai entender como aplicar conceitos como arquitetura orientada a eventos, camadas de dados (bronze, silver e gold) e produtos de dados dentro da sua empresa. Além disso, o episódio é uma aula prática sobre maturidade em dados, modernização de TI e como preparar o terreno para a IA generativa com bases sólidas. 💡 🚀 Deixe sua dúvida nos comentários, compartilhe com seu time e espalhe esse conteúdo onde ele pode fazer a diferença! #Podcast #PPTNãoCompila #EngenhariaDeDados #IngestãoDeDados #Databricks #Confluent #Techrom 0:44 Abertura e apresentação 6:06 Visão sobre Ingestão de dados 12:53 Estratégias de integração de dados nas empresas 21:07 Parceria entre Databricks e Confluent 28:42 Shift Left e simplificação de fluxos de dados 34:31 Dados e uso de serviços gerenciados 36:50 Produto de dados 38:47 Maturidade operacional de empresas 43:56 Legado das ondas tecnológicas 48:27 Custos 51:55 Mudanças nas empresas em relação ao uso de dados 59:34 Uso de IA Generativa 1:04:51 Futuro de parceria entre Databricks e Confluent 1:08:00 Vantagens para Engenheiros De dados 1:10:47 Vantagens estratégicas 1:17:31 Facilidade e simplificação de processos 1:20:43 Agradecimentos e Considerações finais Convidados: Lucas Melo: linkedin.com/in/lmelodepaula/ Luiz Carrossoni: linkedin.com/in/luizcarrossoni/ Rômulo Barbosa: linkedin.com/in/rômulo-barbosa/ Spotify: https://spoti.fi/44QXbJF Youtube: https://youtu.be/HqraGPgUoD0 Outras plataformas: https://linktr.ee/pptnaocompila Acompanhe nas redes Instagram e Twitter: @pptnaocompila LinkedIn: https://www.linkedin.com/company/pptnaocompila Produção: Voz e conteúdo | https://www.vozeconteudo.com.br - @estudiosvoz
- Introdução Inesperada: Desafios e Melhorias de TI
- Introdução do Podcast e Convidados
- Visão Geral dos Desafios de Dados e Parceria
- Apoio ao Podcast e Comunidade
- Transição e Interlúdio Musical
- Contexto: IA e Fundamentos de Dados
- Aprofundamento: Engenharia de Dados
- Desafios da Ingestão e Governança de Dados
- Dilemas de Extração de Dados
- Estratégia de Dados e Arquitetura Orientada a Eventos
- Modernização e Estratégia de 'Small Wins'
- Complexidade da Integração de Legados
- Anúncio da Parceria Confluent e Data Bricks
- Tableflow, Delta Format e Lakehouse
- Shift Left e Agilidade no Processamento de Dados
- Arquiteturas Complementares e Governança
- Simplificação da Stack e Eficiência Operacional
- Custo Total e Soluções Gerenciadas
- O Conceito de Dados como Produto
- Publicidade: Clever
- Maturidade Organizacional e IA
- A Pressão da IA e Lições do Passado
- Shadow IT e Riscos de Governança
- Estratégias para Iniciar a Mudança
- Liderança e Visão Data-Driven
- Educação de Dados e Propósito da IA
- Casos de Uso em Tempo Real com Streaming e IA
- Publicidade: VemBARS
- Futuro da Parceria e Benefícios para Engenheiros
- Unificação Transacional e Analítico
- Impulso do Mercado na Modernização
- Uso Otimizado de Ferramentas de Dados
- Conclusões e Agradecimentos da Parceria
- Encerramento e Próximos Passos
Eu acho muito complicado a gente encaixar esse mundo que a gente tá falando aqui sem a gente ter um uma minimamente uma operação de TI um pouco mais moderna. A gente vê que as empresas elas estão olhando isso com mais seriedade, mas tem os vários momentos, né? Tem empresas iniciando, tem empresas já mais avançadas, bem mais avançadas, fazendo muitas coisas legais, mas eh cada uma no seu momento de maturidade.
As áreas às vezes tá usando um dado super sensível, tá no desktop do de uma pessoa que não deveria estar e tá vendo uma informação super sensível ali. Tem coisas que a gente precisa melhorar dentro da plataforma. Então é isso, é continuar essa melhoria, continuar essa integração e cada vez mais facilitar o uso das duas ferramentas juntas. Muito bem. Muito bem, meus amigos do PPT não compil, estamos aqui para mais um episódio e hoje Ron, vamos falar de um assunto de interesse de muita gente.
Acho que muita gente vai se identificar aqui nesse episódio. Com certeza que dois pesos pesados, hein? É, hoje estamos com dois caras de peso aqui na mesa para falar de um assunto que muita gente se identifica. Vamos falar de alguns problemas aqui que muita gente vai se identificar e também, né, como a gente não fala só de problema, fala também de solução. Solução de novidade, de inovação. Exatamente. Estamos aqui com o Luís Carrossoni, que é da Data Bricks, que vai ajudar a gente aqui a falar sobre dados, dados, mas um assunto ainda mais específico, em gestão e engenharia de dados, né? Vocês vão entender melhor o contexto do episódio. Dá um oi pra galera, Luiz.
Oi, pessoal. Prazer. Obrigado pelo convite. Eh, tô bem lisongeado de estar aqui com vocês. Meu nome é Luiz Carrossoni. Eu sou arquiteto de soluções senior aqui na aqui não na Data Bricks, né? E tenho cerca de 15 anos no mercado de dados, né? Um pouquinho mais eh na carreira. Eh, trabalho eh desde ingestão de dados até a parte de machine learning na Data Breaks, ajudando os clientes a terem o melhor uso da plataforma. Aqui eu tô no CPF, né? Eh, mais uma conversa informal com vocês, mas novamente eh espero poder falar e passar conteúdo conforme eh as perguntas surgirem.
Legal, show de bola. Tenho tenho certeza que contribuir demais. Obrigado por aceitar o convite, cara. Já tô, já fiz um uma já não temi minhas perguntas já.
E aqui com a gente também, né, Ron, o Luiz Melo da Confluence, Lucas Melo. Lucas, cara, talvez, eu falo sempre, eu quero desculpa. É, Luiz Lucas, é confuso, é confuso, mas sem problema, sem problema. É, é bom.
Obrigado por pelo convite. Mas sim, sou Lucas Melos, trabalho na Confland faz quase 3 anos já, 2 anos e meio como engenheiro de soluções, eh, baseado nos Estados Unidos, no Texas, mas a gente atende eh, a o Brasil inteiro aqui. Eh, super animado para falar sobre a nossa parceria com o Del Pricks, falar um pouquinho mais sobre da streaming e tudo mais com vocês. Então, realmente, obrigado pelo convite. Show de bola.
Obrigado por aceitar o convite, Luiz. Ô, Lucas, obrigado por por contribuir aqui com a gente. Hoje a gente vai falar muito sobre engenharia de dados, ingestão de dados, como que a gente consegue conciliar aqui o mundo transacional com o mundo analítico, que que a gente consegue nessas duas plataformas Conflu. A gente sabe que tem uma novidade aqui que a gente vai contar para vocês durante o episódio com as duas plataformas para facilitar um pouco essa transição do mundo transacional pro analítico, como que isso pode evoluir na companhia e o que a gente tem visto aí no mercado, né, Ron, de de dificuldades, que as empresas têm de novo, a gente sempre fala, né, dos mesmos temas basicamente na parte de dados, né, preocupação com ingovernança, integração de dados, dos eh a as dificuldades de fazer o processo de transformação e que acho que hoje vai ser um um papo muito bacana de coisas boas que vão vir aí dessa parceria das duas empresas. Sem dúvida. E sabe o que é muito bom também, Ron? O quê? Ser membro do PPT no CPI. Ah, isso aí é fundamental, né? Exatamente. Se você gosta do nosso trabalho, se você acha que a gente contribui de alguma forma para o a sua carreira profissional, você pode ir lá agora aí no YouTube, onde você tá assistindo, embaixo tem um botãozinho de inscreva-se. Se você já é inscrito, vai estar inscrito. Se você não pera aí, antes de falar de ser membro, né? Se você não se inscreve, se inscreve agora. Depois que você se inscreveu, vai ter o botãozinho escrito seja membro. sendo membro do PPT no CPILA, você vai contribuir com valorinho todo mês pra gente cuidar aqui da nossa produção, cuidar dessa estrutura e continuar produzindo conteúdo de qualidade e gratuito para você. Se você não pode contribuir dessa forma, você já contribui demais deixando seu seu comentário, eh, distribuindo esse esse episódio nas redes sociais, no slack da empresa. Manda de por e-mail pro seu chefe, manda por e-mail anônimo para um engenheiro de dados que você não gosta, fala: "Cara, olha aqui que da hora essas, olha que bacana, esse episódio que vale". Isso aí. Então, contribui crescendo a nossa comunidade, que isso já ajuda demais a gente e motiva muito a gente continuar produzindo conteúdo de qualidade para vocês aqui. Pode deixar a pergunta. Quando você deixa a pergunta, a gente sabe exatamente o momento do vídeo que você estava. Então, a gente encaminha aqui paraos nossos amigos. Na descrição vai ter também o contato deles.
Então, interaja conosco que a gente sempre fica muito feliz, né, Ron? Com certeza, até porque enriquece.
Exatamente. Então, vamos lá que o Zord tá muito bom. Bora.
[Música] [Aplausos] [Música] [Aplausos] [Música] Eh, a gente fez um episódio algumas semanas atrás, eh, onde a gente falou um pouco sobre a realidade de do mercado de inteligência artificial.
e o a visão de que as pessoas vêm de fora do mercado sobre a inteligência artificial. Então, a gente falou muito sobre empresas que querem já sair adotando inteligência artificial generativa de cara, sem ter uma boa estrutura de dados, sem ter um processo de governança, etc. E acaba descobrindo isso no meio da jornada e se frustrando, né? Quem quiser voltar ou não, se você tá ouvindo, a gente não ouviu esse episódio, eu vou deixar aqui no card, caso você não sei se nunca sei, R aqui, deve estar em cima da cabeça de escareca aqui, provavelmente. Eh, e você pode voltar lá e dar uma olhada nesse episódio, que é um episódio mais sobre gestão e sobre estratégia de tecnologia, etc. Nesse episódio, a gente puxou uma linha aí sobre eh a dificuldade que as empresas têm em gerenciar esses essas massas de dados que ele tem, que eles têm, inclusive em relação à ingestão desses dados, da governança desses dados. Então, a gente teve essa ideia, né, Ron, de puxar esse episódio pra gente entrar mais tecnicamente nesses detalhes, para falar um pouco desses desafios sobre como tratar esses dados num principalmente num ambiente corporativo muito plural, né? Você vai ter base de todos os tipos, você vai ter ingestão de todos os tipos, você vai ter eh dados saindo do transacional pro analítico, às vezes até do analítico pro transacional, acredito, isso isso acontece. Eh, então eu queria eu queria começar esse episódio passando a bola para vocês, para eh vocês falarem um pouco de como vocês têm visto isso dentro das companhias. Vocês trabalham em duas companhias que estão diretamente ligadas com gestão de dados, né? Então, acho que ninguém melhor que vocês para tecnicamente dar um overview aqui pra gente do que que vocês têm acompanhado por aí, não?
Perfeito. Fica à vontade. Perfeito. Eu começo então. Eh, bom, é, é um desafio ainda, né? Eu sempre entro nesse, nesse mundo de ingestão de dados e vejo que é um desafio nas empresas, né?
Principalmente porque essa ponta é muito crítica, né? você conectar na base de dados, você conectar aonde os sistemas transacionais da empresa estão rodando, é muito difícil, né? Então você tem que criar estratégias, você tem que ter uma forma correta de conectar nessa base de dados para trazer a informação. E muitas vezes essa forma correta eh exige conectores especializados, exige as melhores práticas de cada base de dados.
E eu costumo ver caso a caso, né? Então, eh, quando a gente vai verificar que tem um processo de ingestão, né? Você tem que passar por todas essas fases e verificar se realmente você não vai honerar essa base, qual que é a volumetria. E os clientes, né, normalmente passam por esses problemas também. Então a gente vê que é um desafio até hoje e surge conectores especializados para facilitar, né, toda essa essa jornada. Então é é aí onde que entra empresas como DataBabak e a própria Confluent. É o que eu vejo bastante também é muitas empresas usando, sei lá, cinco, seis sistemas diferentes para fazer mensagem de dados, né? E acaba sendo complicado governar esses dados, sendo que cada um deles tá passando por um canto diferente, né? O o que a gente sempre fala é que o ter esse um sistema que é o sistema nervoso central para toda a mensageria da sua empresa não só traz confiança nos dados, né, mas traz essa ideia de você conseguir governar tudo em um lugar só, né? Então que nem você falou, todas as empresas têm vários eh bases de dados, tem várias aplicações, tem vários microsserviços e tudo mais. eh achar um jeito único de conseguir conectar tudo isso com com com sistema de streaming, de mensager ali, o que seja, né? Eh, acaba cendo muita facilidade, é muita organização paraa empresa. A gente vê que essas são as empresas que acabam sucedindo mais, né? Organização dentro de um de uma empresa é é essencial. Eh, então um sistema como CF com um sistema como da Bicks para fazer tudo isso acaba acaba sendo acaba sendo perfeito.
Interessante vocês comentarem isso e a gente começar esse tema porque ainda hoje, por mais que achamos que seja básico, mas ainda é um desafio, como você colocou, Luiz, de tá, eu quero tirar o dado do meu banco, eu vou usar um JDBC, eu vou usar um um CDC, né? E e qual é a melhor alternativa para isso? E em que situação eu devo usar um ou outro? Ainda, cara, por incrível que pareça, ainda ainda é um dilema. A gente se depara ainda, né, em algumas conversas com alguns clientes ainda com esse dilema, né? E obviamente isso faz uma baita diferença se eu quero ter o dado em real time, por exemplo, ou se eu vou ter algum impacto obviamente na minha produção, porque eu tenho fazendo um pull no banco ali o tempo todo e obviamente isso não é bom paraa operação, né? É, complementando o ponto do ROM para passar para vocês, eh, isso eu vejo isso muito atrelado a uma falta de estratégia de como oferecer o dado pra companhia, né? Então, a gente vê o problema tratado muito localmente do daquele gestor de tecnologia.
Eh, primeiro, não olhando com uma visão datacentric, mas com uma visão muito de aplicação ainda, né? De cara, eu preciso pegar os dados dessa aplicação e levar pro do pro Lake, né? Ou levar pra minha base de BI. É a missão dele, né? é a missão dele. E a gente percebe que a corporação ela não tem uma estratégia de como é que os dados da minha companhia são oferecidas para para outras cadeias de valor e outros produtos, inclusive pro pro pros produtos de dados, pro produtos analíticos, né? Eh, a gente vê muito ainda o pessoal tratando como p um chupacabra aqui com a mangueira que vai levar pro Lake, né? Como se fosse só um processo de ETL, né? Isso é e essa é essa é a grande barreira que a gente vê, né, entre o lado operacional e o lado analítico da empresa. E a gente na Confluent, na Daily Brook, tá tentando quebrar essa barreira, né, fazer o mais fácil possível trazer esses dados e oferecer esses mesmos dados já prontos, já tratados do lado operacional pro lado analítico, né? E daí vem todos os nossos os produtos das empresas que a gente que a gente trabalha para e tudo mais que ajuda com com toda essa essa performance aí. Exato. Quando quando a gente fala de de desse processo de de eu gosto muito, sou eu sou um entusiasta da arquitetura orientada eventos, né? Isso requer um uma cultura muito grande da companhia de desenvolver produtos centrados no dado, né? E centrados naquela cadeia de valor, uma boa segregação de domínios, etc. Mas o meu sonho é um dia eu ter eu ver uma empresa em funcionamento com os dados sendo oferecidos em tempo real das grandes operações de negócio.
Então se eu ten um novo cliente, eu tenho um um pipe de dados de novos clientes chegando, de novos produtos sendo vendidos, etc.
Eh, eu acho que quando a gente chegar nesse nível, a gente pode até economizar algumas toneladas de storage, de cópia de dados que a gente tem para cima e para baixo para criar lake warehouse, etc., com gap de tempo, né? E e que eu vou conseguir tratar, trabalhar muito mais com metadados e com dados ali sendo realizados em tempo real para ter uma visão do negócio sem ter que acumular, né? Sem ter que ficar empilhando dados, né?
Eh, eu quero voltar nessa parte da estratégia, né? Vocês têm visto as pessoas discutindo de fato como montar uma estratégia de integração e de que em gestão é uma parte, né? Acho que a gente tem que falar sobre como tratar a estratégia de de do dado de fato sendo oferecido da companhia pra própria companhia. É, eu acho que o o mais difícil, né, é você mudar algo que já foi criado, né, porque normalmente as empresas elas começaram já com o seu legado, né, entre aspas. E você mudar isso para uma estratégia centrada aos dados, a eventos em tempo real, em streaming, isso acaba sendo muito complicado, né? a gente sabe que existe uma mudança de cultura para isso eh acontecer e ocorrer. Empresas que já pensaram nisso desde início antes de construir sua stack de dados eh consegue eu vejo, eh, atingir esse objetivo bem mais facilmente, né? Mas as empresas estão pensando nisso. Eu acho que o mais difícil é as empresas que já começaram a sua stack, né, do modo antigo de de trabalhar.
Eh, não, eu concordo. Eu acho que educação e conhecimento do produto ainda é um um um desafio que a gente vê com muitas empresas, né? Eh, em questão de estratégia e tudo mais, eu sempre falo que tem que começar com small ons, né?
pegar um caso de uso pequeninho, começar ali devagar, ver se funciona e daí a empresa vai ganhando gosto, né, de fazer isso, porque vê o o o que eu disse os smalls e vai crescendo daí. Eh, é basicamente o que eu tento fazer com os clientes quando a gente tá implementando, é ir de pouquinho em pouquinho e daí um dia a gente chega lá, sabe? Perfeito. É, e eu acho que isso é uma estratégia perfeita, assim, quando eu falei no início de que eu gosto de ver o caso de uso, né? né? Eh, esses são esses mains, né? Assim, para uma empresa que já tem o seu legado, que já tem a sua stack, você pensar: "poxa, eu vou vou ter um caso de uso novo, né? Eu quero monitorar o meu cliente, uma nova campanha ou algo do tipo. Vamos construir nessa nova Steack, né? Vamos ver se funciona mesmo." E aí, a partir disso, né? Já tomando gosto pelo pela essa nova arquitetura, né? como você é entusiasta, eh, começar a passar as coisas que já estão existentes dentro da stackd. Agora, quem já pensou nisso desde o início, acaba sendo mais fácil.
Sim. Eh, aí eu acho que o o stack que a gente tem à disposição para fazer isso começa a contar muito quando a gente começa a falar de enterprises, como você colocou, com um parque de tecnologia muito amplo, né?
Eh, por que que entre nós, se uma startup ou uma empresa tá começando já com uma arquitetura moderna, com can architecture, eh, com data centric, já com data mesh, uma estrutura muito mais eh organizada e bem arquiteturada desde o começo, você começa, você pode trabalhar com produtos puros gerenciados ali e você vai ter um relativo sucesso com isso. vai ter que melhorar sua operação só quando você escalar muito, né? Sim. Mas eh a gente tava até conversando fora do ar de uma empresa que eu que eu passei e eu comecei a fazer a implementação de uma arquitetura como essa, né? Fal, cara, qual que é o a unidade, a entidade básica que eu preciso oferecer via streaming?
clientes, novos clientes. Então, update de clientes e inclusão de novos clientes e aquisição de novos produtos vão ser os primeiros caras que eu vou colocar nessa esteira de streaming. Uhum. Aonde nasci o novo cliente? No Coball, no DB2. Aí, aí minha vida ficou fácil, cara. Super simples. É que você monta um stream numa parada dessa e entra entra essa ponta de honerar. o lado que você vai buscar esses dados, né? E e é aí que as tecnologias ajudam a trazer essa informação, essas novas tecnologias como confluente data. É, aí o problema é que a gente acaba pilhando muita coisa, né?
Conseguimos fazer, conseguimos, mas aí teve que fazer um CDC do DB2 para um Oracle. Uhum. dentro do orac utilizar um um um conector, esse conector levava procenciado da conflit, cara. E lá foi meses de pesquisa até colocar o o que seica o DB para reorganizar, porque você o CDC ele ele ele vai te colocando aquela tabela no tópico, né? É uma loucura. Você ter que reorganizar essa informação depois. Agora com Flink isso deve estar mais fácil, né? Mas na época era quebron e foi foi muito louco, uma [ __ ] experiência. Mas é aquela coisa, cara, eh como é que eu trato isso num ambiente tão plural, sabe? Porque nenhuma empresa vai te falar, beleza, vamos reconstruir o o core da empresa porque você quer ter o dado em tempo real. Isso não vai acontecer não, né? Eh, menos você ter uma motivação de negócio muito grande para isso, que você tem uma estratégia de modernização do legado, eh, não vai ser só porque você quer, eh, melhorar o teu tempo de integração de de dados, né? A não ser que isso seja extremamente mandatório, né? Mas vai ter outras outras ferramentas, outros stacks que podem te ajudar com isso, né? Sim, com certeza.
Eh, a minha visão é que realmente, né, vão ter casos que vai ser vão eh vai ter a necessidade de você fazer um esforço adicional para chegar ao aonde você quer chegar. Isso não tem como fugir, né? O que o que que tá acontecendo é que as tecnologias elas estão tentando facilitar, né, esse acesso, né, assim como a parceria que a gente fez, né, para diminuir a necessidade de você criar tópicos e tudo mais. Depois a gente entra mais em detalhes sobre isso, mas para empresas que já têm o seu legado, que já t uma complexidade maior para acessar esse dado, né? empresas que t mainframe, por exemplo, que também é muito difícil de você retirar informação de lá em tempo real.
Eh, vai ter vai ser necessário esse esforço adicional para trazer esse dado da onde ele tá sendo gerado, né? Isso não tem como fugir, né? Mas realmente eh empresas que têm já o seu legado, eles não vão mudar eh a sua infraestrutura para atender algum caso de uso específico.
não e aproveitar o gancho que você comentou do da parceria, que eu tô curioso um pouco mais para saber um pouco dessa parceria e e provavelmente vocês falarem um pouquinho eh pensando no cliente, que que o cliente pode ter de benefício, que que que o negócio pode pode se beneficiar com essa parceria que a Confl e a Databaks fizeram recentemente.
Legal.
É, é uma parceria 100% estratégica, né, onde a gente tá tentando facilitar a ingestão de dados na bricks e trazer dados mais limpos a brick ao mesmo tempo que a brook tá facilitando o a conexão com com Conflant, com Cafka. Eh, é uma parceria estratégica, uma parceria que a gente tá vendo contas juntos, trabalhando em empresas juntos e tudo mais. Eh, eh, é bem bacana o que tá acontecendo e os produtos que a gente tá lançando mostra isso também, né? Sim.
Não, com certeza. É, é uma, é uma parceria que faz todo sentido, né?
Muitos clientes usam data bricks e também cafum, né? Eh, diria que cerca de 70, 80% dos clientes que eu trabalhei com data bricks também utilizam cáfica, né? Então, é, é uma parceria que faz todo sentido porque facilita essa integração entre os dois produtos, né?
no sentido de que o Cafka já fornece e já cria uma tabela diretamente em streaming no Unit Catalog, né, governado, gerenciado para ser já consumido, seja via Delta Live Tables, toda a parte de streaming do data bricks ou diretamente para pras ferramentas de machine learning, de data warehousing que a Data Bricks fornece. Então, é uma parceria que eu acredito que vai beneficiar muitos clientes. Fazer uma pergunta de advogado do diabo. Não conheço exatamente os detalhes da parceria, mas se eu fosse um cliente confluent e fosse um cliente data bricks, eh, eu eu sei que existem muitos conectores dos dois lados. Sim. Eu sem essa parceria eu já não conseguiria trabalhar bem com os dois produtos.
conseguiria e você consegue hoje, até antes da gente anunciar a parcel e tudo mais, a gente tinha conectores para Del Bricks. A Delia Braks tem conectores de CFCA e os conectores são excelentes, funcionam super bem, não tem problema os conectores para você poder fazer isso sem problema algum. Agora, o negócio é que a gente tá melhorando esse processo, né? Então nem eh eh você deu é que o o a gente tá criando um produto que chama tablefow, né? E qual que qual que é a ideia do tableflow? É entregar os dados já em formato delta, né? Então você pensa assim antes, né? Se se você usasse nos conectores e tudo mais, você estaria mandando esses dados sem contexto algum.
Você perde todo o contexto dessas mensagens nesse envio, né, com com os conectores. Então, com o tablefow você vai conseguir mandar esses dados já com esse contexto, já em formato delta, né?
Eh, facilita muito. A gente consegue, se você pensar naquela ideia do medalhão do Daily Brix, né, bronze, silver e gold, a gente já consegue integar os dados em silver, integra para Daily Bricks. Daily Brooks faz mais uma transformação para transformar em gold e os dados estão prontos para você, né? Eh, então é é isso que a gente tá fazendo, né? cadendo os produtos para ajudar e facilitar essa ingestão de dados dos seus. Pedi um complemento, eh nem todo mundo que ouve a gente é especialista em dados. O que é exatamente formato delta? É, é um formato é um é um padrão de formato de de de tabelas, né? Então, se se você olhar as mensagens ainda são e eh files de parquê, né? Mas em cima disso tem que ter um matado, você tem que ter o contexto dessa mensagem. E o contexto dessa mensagem é esse essa formatação, né? Essa formatação no caso do Daily Briaks e do Zom Delta, tem outros formatos eh comuns aí como Iceberg, como Hood, eh existe vários outros formatos e no mercado, mas os dois mais populares hoje é Iceberg e Delta do Data Brix.
Isso é eles eles são formatos de tabelas. O delta é um formato de tabela que foi criado eh para suprir uma deficiência que existia no data lake ou no big data antigo, que é você poder fazer operações e streaming eh nas tabelas e nos arquivos do big data, tá?
E com esse metadados eh que ele o Lucas comentou, você pode fazer essas operações, né? E ele gerencia os arquivos por trás. eh a partir de updates, delites que você faz em cima dessas tabelas. E além disso, ele traz eh vantagens como liquid clustering, né, otimizações e toda toda a parte de operacional de gerenciamento da tabela em cima desses arquivos para quê? Para que você não tenha arquivos pequenos, né? Toda toda a complexidade que você tem somente num ambiente de big data. Eu posso dar um pouquinho mais de contexto que tem uma história bacana no no por trás de tudo isso. Se eu olhar os data warehouses do passado, né, eles eram bacanas, eram super organizados, tals, mas só que no começo dos anos 2000, 2010 ali teve aquele movimento paraa Lakes, né? E era meio que movimento tipo, meu, por que que a gente precisa de de esquimas, né? É aquela revolução contra esquimas e faz sentido. Esquimas é chato de trabalhar com esquimas. Ninguém gosta de usar esquimas, de fazer evolução de esquimas. é complicado, mas mais recentemente a gente começa a perceber que, meu, a gente precisa de esquimas, né? Esquas ajuda bastante a gente e é daí que vem esse esses patrões de tabelas, né? É, trazendo essa essa ideia de esquímeta, ideia de metadados para dentro do Daily Lake e de daí vem a ideia do Daily Lake House e tudo mais, né? É basicamente isso. E por trás desse desses formatos, né, do Delta, do Rood, eh, do Iceberg, e você tem o parquê, né? O parquê é o formato colunar. de arquivo por trás de todas essas esses formatos de tabelas. Qual que é a diferença entre esses formatos? O metadatados, né, e os clientes que leem eh esses formatos. Mas por debaixo é o parquê.
Entendi. Sabe que eu eu vocês me fizeram eh lembrar um caso que eu de um projeto que eu cheguei a trabalhar eh que era um cliente que usava o data bricks para catalogar para era o o unicatalogatal. Uhum. Mas usava o dib para fazer o processamento. Eu falei: "Mas como assim, cara?" E esse cliente também tá querendo usar o o Kafka na época, o via Conflit. E aí, putz, nesse cenário atual dessa parceria e nesse movimento do table flow, putz, para esse cliente seria incrível, cara, porque diminuiria complexidade, porque era era um ambiente bem complexo, tinha volume de tabelas gigante e e obviamente a gestão disso, dos fluxos, de [ __ ] que tabela que tá, processamente tá sendo feito, quem tá consumindo, putz, isso diminuir muita complexidade, né? Eh, e se a gente vê muito cliente que assim eh, usa Flink no conflit cloud, faz o processamento do Flink, tudo, daí manda os dados para bricks, para um S3, o que seja, e daí tem que fazer mais processamento para trazer esse contexto de volta paraos dados, né? Não faz sentido, né? Se a gente tá pensando nessa ideia do shift left, né? Que Pedro já deve ter falado aqui no podcast várias vezes, é que trazer esse processamento de dados do lado direito para pro streaming, né? Não faz sentido se a gente precisa fazer processamento depois que os dados são ingelidos para conseguir esse contexto de volta, né? a gente tem que tergregar esses dados já prontos para ser utilizados. E essa é a ideia, né? essa ideia com tableflow, essa ideia com essas tabelas e com esses padrões de tabelas aí que a gente tá falando e tudo mais, é já entregar sem você precisar fazer muito processamento no depois da ingestão. Aliás, esse tema acho que do shift left também é um é algo que a Conf tem falado h algum tempo, mas eu acho que ainda eu não sei se a as empresas ainda têm muita clareza disso, talvez explor um pouco mais esse tema e ainda mais agora com essa parceria com data bricks pode ser muito interessante esse essa outra simplificação que desses fluxos de dados também, né? Sim, sim, sem dúvida. É, se olhar no streaming, né, no CAFC, a gente sempre teve uma camada de processamento, né? a gente teve o Cafkreams, a gente teve o Codb, que é praticamente um um um pacote de Cafkreams melhorado, né? Eh, hoje a gente tem o Flink, né, que virou o padrão de pronamento de dados e toda a ideia é isso, é preparar os seus dados antes de ingerir antes de de enviar eles pro destino final, né? Então, em vez de você ter que mandar, sei lá, 10 tabelas pro Daily Bricks para depois fazer o filtro e agor e e aglomerar essas tabelas e tudo mais, você faz isso já no enquanto o dado tá em stream, né?
Entrega pro braks só o que é necessário com a naquela camada silver que nem a gente falou, né? Ainda vai precisar de um pouquinho de processamento daquele lado, porque, né, tem esse processamento para ser gold que tem que ser feito do lado da brick e tudo mais. Isso a gente não tá mexendo nisso. Eh, mas é a ideia de trazer agilidade, trazer consistência e tirar essa duplicação de dados, né?
Que nem a gente comentou no começo da conversa, que é que que que dá um pouco de raiva, né? Você você duplicar dados de um lado pro outro, ter que guardar dados dentro de car e depois mandar dados para dentro do do seu delake, é tentando eliminar isso o máximo possível, né? E tem que tendo consistência pr pro stack inteiro. O exemplo do CDC é muito bom para isso, né? Sim.
Porque se você tem um banco de dados legado de uma aplicação legada, você hoje tem conector, você faz CDC muito facilmente para dentro de um CAFCA. Sim.
Isso que é aquilo que a gente comentou antes, né? Eu vou ter o CDC de tabelas.
as tabelas não necessariamente, se eu tiver falando do banco de dados relacional, ela não representa entidade.
Então eu tenho que ter um processamento em cima desses tópicos para poder entregar na ponta um pacote, um que represente de fato essa entidade, que vai ser um dado já desnormalizado e e não colunar como é o streaming do próprio CDC, né? Acho que isso representa bem o Shift Left, né?
Eh, como arquiteto, eu gosto demais desse desse desse dessa premissa, porque eu entrego um pacote com o dado que o meu produto produz num num streaming para para dentro da companhia, independente da tecnologia que eu fiz com isso. se eu tô usando um mongo, se eu tô usando um banco eh se ou não se, se eu tô trocando coisa que não importa, eu vou fazer um stream e vou te entregar o pacote de dados com esse dado já processado, desnormalizado, aí você ingere ele da melhor forma que que você achar melhor, né? Uhum. Eh, isso reduz muito a complexidade do right, digamos assim. Eu trago esse processamento pro left e aí eu consigo eh encapsular aqui, omitir a tecnologia que gerou aquele pacote de informação. Uhum. E aí você, como analítico, você tem a responsabilidade de pegar essas entidades, persisti-las e aí você trabalha da melhor forma. Não só analítico, mas outras cadeias também que são transacionais, né? Então não importa como é o dato, se eu alterar a minha tabela lá, eu sou responsável por alterar o meu pflink ou o o que o que trata a minha informação e eu tenho que manter aquele dado íntegro e e entregue lá na ponta. A importância de você ter inclusive esse tipo de contratos para poder manter a integridade do dado, não? Perfeito. Eh, e eu acho que ela complementa, né, a arquitetura Shift Left, a arquitetura medalhão, ela entra também no sentido de você ter os dados numa camada bronze, não só para fornecer o analítico, né, eh, para você ter o histórico da informação, para você não ter que puxar novamente na ponta, né, eh, essas informações. Se você quer criar uma nova visão, eh, ou criar algum modelo de machine learning baseado em dados históricos, né, isso também fica lá dentro. Então, eh, eu acredito que as duas estratégias elas se complementa e uma não elimina a outra, né? O Shift Life e o WR, né? nessa arquitetura medalhão, ela surgiu mais nesse contexto de você ter os dados históricos, né, num num storage mais barato, né, não base de dados eh que custa para você tirar essa informação e ter essas informações lá prontas para serem criadas novas visões, processadas e tudo mais. Então eu acredito que as duas se complementam bastante. Não, sem dúvida. Eh, se você tem um streaming de um de entidades completas sendo entregues direto no Silver, no seu bronze, você pode manter versões dessa desse cara ali e você ter uma visão de linha do tempo, né? Uhum.
Eh, a o grande desafio do das integrações, quando a gente fala de streaming do lado transacional com a arquitetura medalhão, como a gente fala no analític, é justamente manter eh essa coerência na linha do tempo, né? Porque o transacional, o stream, ele te dá foto do dia, ele não vai te dar histórico. E aí você precisa ter outro complemento do outro lado justamente para poder ter essa visão de de linha temporal, né? E o e o Delta tem o time travel, né? que possibilita isso também. Então, eh eh por isso que se complementam, né, as duas tecnologias eh consegu toda essa visão completa, eh, dando desde você integar esses dados já numa camada silver ou você ter todo esse histórico de informação para para processar esses dados. Também acho que tem um ponto eh que vale trazer também que eu imagino que empresas que usam, né, os os provedores de nuvem, que também tem as suas ferramentas e que você tem na duas ou três ou quatro para você fazer toda essa stack, [ __ ] você também diminui também bastante essa complexidade, né?
Porque você tem duas plataformas que basicamente vai te dar do início ao fim, né? Exato. Eh, e com governança inclusive também, né? Eh, imagina governar cinco sistemas de streaming diferentes. É, é, é super complexo. Tudo bem, você consegue puxar os as métricas do API ali de um lado de outro, mas dá uma dor de cabeça absurda, né? Eh, eu sempre falo, simplificar o seu stack vai ter que trazer tanta consistência e tanta digilidade pro seu negócio. Eh, eh, e acredito que as nossas duas tecnologias são tão compatíveis, uma com outra que realmente traz simplicidade pros negócios, né? Eu eu já acho que a gente deveria colocar um busto na frente de cada empresa do C, do City que ele faz, por exemplo, um CAFCA que não seja gerenciado. Porque, meu amigo, isso é é complicado.
Eu eu diria mesmo para Spark, para todas as tecnologias Open Service. É exato.
Exato. Mas especialmente tecnologias opence que lidam com dados, com cara é muito, é que é que eles falam que é mais barato, né, usar open source e quando você vai ver acaba acaba acaba compensando, né, usar uma tecnologia assim gerenciada quando você pega o o total cost of ownership, é que você vai colocar o custo de operação, etc, né, e você não vai ter a segurança e a a eficiência que você tem com o serviço gerenciado, né, cara? Exato. Acho que bom, isso vale para toda nuvem, né? Mas eu acho que ainda mais para produtos de de dados, né? Sim. Porque você trabalhar com transacional, com linguagens, open source, frameworks, OK? Você de repente tem um cara ali que é muito bom e e o custo de operação não é tão grande, mas gerenciar cluster cáfica é, eu tenho trauma, tá? Vocês perceberam.
Então eu tenho eu tenho gatilhos, então eu tô falando disso por causa disso, né?
E acho que um outro ponto também que inclusive o Pedro comentou, a gente falou aqui também, mas o Pedro também falou bastante sobre essa ideia de produto de dados, que também é uma coisa relativamente nova que estamos falando, né? Você tratar o dado como um produto, né? Como que ele tem ciclo de vida, as atualizações, eh quem acessa esse esse dado e assim por diante, né? Então isso também, a união dessas duas plataformas também ajuda bastante nesse novo conceito também, eu imagino, né? Exato.
Exato. E para quem não sabe, o Pedro é meu chefe, então ele deve est escutando, não para ele. Eh, mas sim, esse essa ideia de produto de dados é é um conceito que a gente tem trazendo, tá trazendo faz dois anos já, que é exatamente isso, é você tratar esses dados, né? Cria esses produtos de dados que já estão prontos para serem consumidos, né? Em vez de ter dados aleatórios que precisam ser transformados depois e tudo mais. Já tá tratando isso, já tá tudo prontinho ali para você analisar, consumir da onde for e enviar para qualquer sistema que seja, né? São esses produtos de dados que a gente fala. Quero falar com você agora que ainda não conhece a Clever. Clever é uma empresa que já tem mais de 3 milhões de usuários em 30 países com 30 idiomas diferentes, que tem trazido soluções em blockchain, criptomoedas e ativos digitais. O objetivo da Clever é te dar liberdade financeira para operar esse mercado de cripto. Então, se você acredita nisso, se você acredita nessa liberdade, você já pensa como a Clever, vai conhecer os caras, é clever.O. Estão contratando também pessoal para trabalhar com cripto, com blockchain.
Então, se você tem interesse, se você tem conhecimento nessa área, procura a Clever. Se você gosta de criptomoedas, se você opera no mercado, você precisa conhecer a Clever, precisa conhecer as soluções da Clever. Então o endereço tá aqui embaixo no vídeo. Para quem não tá no YouTube é clever. Vai lá, vai conhecer que realmente é um mercado [Música] sensacional. Agora fazer uma provocação para vocês, porque a gente sabe que o mercado não é tão simples. Uhum. E o parque das empresas não é tão simples, né? Vocês vocês não acham que para para pra empresa ela conseguir fazer um uso pleno dessas características que a gente tá colocando aqui? tanto com o Flint quanto o Data Bricks, eh, ela não tem ter uma maturidade operacional muito boa para tratar isso.
Por exemplo, tem uns times já focados em produtos, ter de fato eh consciência da qualidade do produto, ter um data Steart, ter a própria empresa organizada em cadeias de valor, em produtos, não em aplicações. Uhum. que eu acho muito complicado a gente encaixar esse mundo que a gente tá falando aqui, que traz uma eficiência operacional muito grande, sem a gente ter um uma minimamente uma operação de TI um pouco mais moderna. Sim. Vocês não acham isso?
Não, eu concordo plenamente. Eu acho que assim, é é uma jornada, né? não é algo que a gente vai conseguir terazer da noite pro dia para um cliente. E eu vejo isso muito com os clientes que eu trabalho no dia a dia. Tanto que tem um dos clientes que eu trabalho com que ele é cliente nosso faz, sei lá, uns dois 2, tr anos e você vê a diferença de quando eles começaram para hoje, sabe? E é uma jornada que assim é devagar, demora tempo, tals. E eles estão 75% lá, sabe?
Estão quase terminando a a o a primeira etapa. E a primeira etapa é essa, é CAFCA, conectores e daí vem o processamento daqui a pouco, sabe? E daí vem analítico, daí vem a integregação, a a o integration, né, com com analítico.
É passo a passo. Uhum. E, e é o que você falou, é é maturidade. Você ganha essa maturidade com tempo. Não tem não tem como pular e falar, não, vamos lá, vamos fazer tudo, vamos colocar tudo event driven, vamos fazer shift left, vamos fazer table flow, vamos fazer, não tem como, não tem como. Eh, eh, demora tempo e e precisa de maturidade mesmo. Sim. E na questão de eh modernização, né, a gente vê que as empresas elas estão vendo isso, né? Até porque dados hoje em dia, né, sem dados você não tem GNA, você não tem toda essa competitividade que tá vindo. Você mencionou no outro podcast, né, que já conversava sobre isso. Então, a gente vê que as empresas elas estão olhando isso com mais seriedade. Já começaram, mas tem os vários momentos, né, que nem o Lucas comentou, tem empresas iniciando, tem empresas já mais avançadas, bem mais avançadas, fazendo muitas coisas legais.
mas eh cada uma no seu momento de maturidade, de eh até ainda conhecendo essas novas tecnologias, né? Eu vejo bastante isso eh no mercado. Mas vocês estão reparando alguma aceleração, vamos dizer assim, por conta da EAP? Porque agora como cara você vai até na padaria, o cara tá te oferecendo um egenerativa lá com café inclusive, então você já tem uma pressão gigante no tá lá bei.
Pois é. Eh, mas tem café criado por eh, então, e obviamente o cara quer usar mais, a empresa quer usar a mais quando olha pro pra estrutura de dados, putz, dado silo, nada se conecta, se integra.
Então, eh, como vocês estão muito com, né, com vários clientes em contato, vocês sentem que essa pressão está vindo, aí o cara, putz, mas agora não dá mais para e renegar, porque a gente tem que olhar os dados para usar a vocês estão vendo essa pressão no dia a dia de um tempo para cá? Eu tô vendo, eu tô vendo, por exemplo, eh, quando surgiu a onda, né, a construção de chatbots, né, muitas empresas começaram a ir atrás falar: "Poxa, eu vou construir o meu, né?" E o principal desafio é: legal, vou construir o meu. Aonde eu vou pegar o dado? O seu dado de um call center tá lá no call center ou tá numa empresa terceirizada, né? Como que você vai transcrever essa informação eh em tempo real? Uhum. Pro para você fornecer para um modelo para ele te fornecer a pra aplicação do chatbot, né? Esse é o desafio. E muitas empresas pararam nisso. Os caras não tinham noção da importância do dado, né? Exato. É exatamente o que você falou. O cara, cara, meu dado tá numa empresa terceira, cara. Isso parece tão surreal hoje que, cara, parece, não sei, a gente teve um passado muito sombrio, né, cara? Você falou de chatbot, n Watson. Falei, cara, a gente viveu um surto coletivo, talvez.
É verdade, né? Hoje não se fala mais.
Exato. É algo mais recente que eu lembro, eu trabalhei numa consultoria antes de trabalhar na na conflit. Eu lembro de um cliente pra gente falar: "Meu, quero implementar blockchain". A gente olhou pro stack dele, a gente falou: "Meu, você tá no main frame ainda, você nem para que aquele blockchain aqui?" Pera aí, cara, você tá no paleolit, você quer pegar um avião pro Jetsons, né? Exato. Exato. Então, e a gente vê a mesma coisa, mas só que o JNI a gente tá vendo um pouco de aceleração mais urgência, eu diria, né?
Eh, porque realmente não tem como você fazer DNAI sem você ter seus dados prontos e e e dispostos ali para alimentação. E é e aí é uma outra curiosidade porque até recente, né, não faz muito tempo atrás que, cara, o a bola da vez era era transformação, era transformação digital, né? Uhum. Isso.
Depois a gente teve um outro mini surto coletivo que era o metaverso, que é metaverso e agora é a só que no fundo no fundo, cara é a mesma tudo esbarra no mesmo ponto d, né? Se não tiver dado limpo, estruturado, se não tiver integrado, não vai funcionar. E e eu acho que é isso que é curioso, né? É interessante a gente fala isso do ponto de vista estratégico. Quando a gente começou a falar de 2010 para cá, cara, já vai fazer 15 anos, né? Da primeira onda de transformação digital de de customer centric, você já deveria estar falando de data centric naquele momento. Uhum.
Né?
Porque não tem como você serer customer centrick, se você tem informação sobre o teu cliente. E mesmo nessa onda de transformação digital, a gente teve eh mais uma alucinação coletiva que foi o modelo Spotify. Vocês lembram disso? Uhum. Que aí começamos a falar de remodelar a operação da tecnologia. Isso deveria ter deixado um legado bom de produtização nas empresas, ou seja, deveria ter times dedicados olhando para os produtos.
Isso deveria ter deixado um legado de estruturas de minimamente de domínios informacionais já razoavelmente bem definidos dentro da companhia, né? Mas preticamente passou por tudo isso e e muitas empresas não não parece que cara não deixou nenhum legado por nenhum legado positivo, né?
Parece que o último legado que a gente teve nessas empresas foi, sei lá, main frame. É, né? Eu eu eu passei junto com essas ondas também eh pelas ondas de de como se trabalha com dados, né? Então você teve o Enterprise House, eh, que era juntar todas suas informações de acompanhando um modelo gigante e fornecer como uma fonte única de verdade. Depois voltou para Data Marts, depois foi para Big Data. Então, a as tecnologias tentaram se eh evoluir também para atender essas demandas, mas eu acho que elas ainda não estavam lá, né? As estratégias de dados, isso foi na evolução que chegou com o openource, que eu acredito que possibilitou eh esse estalo, né, de poxa, tem como fazer como, qual é a melhor forma. E aí o open source foi evoluindo também para atender e chegar nesse estado da arte de como fornecer os dados que hoje é possível, né, e que possibilitou GNA e que possibilitou toda essa inovação que a gente tá vendo hoje em dia. Então eu acredito que foram dois movimentos, né?
Foi o movimento de negócio e o movimento de tecnologias para tentar atender esse negócio. Sim. O que é difícil eh era as empresas mudar a tecnologia para tentar atender o negócio, né? Esse e a própria operação delas, né? Porque quando a gente começou a falar de agilidade, transformação digital, etc.
E é é muito legal você falar isso, cara, porque eh as tecnologias elas não surgem por acaso, elas surgem para atender uma necessidade, seja de operação, seja de negócio. A gente começou a falar de microsserviço quando a gente começou a falar de times menores. Então, não faz sentido eu ter um time eh pequeno para trabalhar em um produto ou em uma característica do produto se eu tenho que esperar a janela de implantação do monolito gigante. Então, a tecnologia evoluiu para atender uma operação. Isso deveria ter deixado como legado no mínimo, uma estrutura eh horizontal de base de dados transacionais que fosse muito fácil ir para um datch. Sim. com com times pequenos com bases menores, né, que eventualmente trabalham com domínios bem definidos e que aí você não precisa ter mais um warehouse com todas as informações lá, porque aí você vai aumentar exponencialmente o seu esforço de ingestão de várias bases menores, né?
Uhum. Eh, mas ao contrário da que a gente vê na medicina, parece que a gente não constrói a tecnologia na evolução uma atrás da outra, né, cara? a gente parece que volta uns passos atrás e aí o hype passa a ser outro e e parece que algumas empresas têm dificuldade de sair do lugar, né? Sim, sim. Só um pouquinho de filosofia para quebrar o Technique R, mas também não tem um outro fator que me veio também em mente aqui que eh ainda se tem aquela visão de que a tecnologia é custo para as empresas, ou seja, a área tecnologia é custo, com certeza. E aí, obviamente o, né, porque, cara, é, tem que fazer investimento e não é uma coisa de curto prazo, como o Lucas comentou, cara, essa jornada é uma jornada de médio longo prazo, né, de, pô, você tem dado legado, tem empresa que tem mainfame, tem banco, sei lá, banco de dados antigos, cara, com linguagens antigas para você trazer isso para para uma arquitetura moderna, não tem jeito. Eh, talvez agora com as reais aí pode ser que isso encurta esse processo, talvez fique mais barato, mas não tem jeito. O investimento tem que ser feito, né? Não. Perfeito. E é daí que surgiu o Shadow Hit. Isso.
Exatamente.
O Shadow Hiti surgiu exatamente por causa disso, né? Que a área de negócio demanda da de da TI, né? O, a essa inovação, a TI, a gente entende que tem todos os processos, tem toda a parte de custos, tem seu budget para entregar, que não é o mesmo da da área de negócios e a área de negócios fala: "Legal, então eu vou pegar uma ferramenta que eu quero usar e começar a usar, né? Vou vou criar aqui meu meu dator house, vou criar aqui meu meu lago e não vai voltar essa informação como um produto de dados ou como um uma informação que poderia estar para todas as empresas eh no final das contas.
E eh quem não vê isso acaba tendo muitas tecnologias, né, que nem falou, cinco produtos de de eventos.
vários dator house, diferentes stacks e não tem uma uma área unificada de produtos de dados de dados catalogada com toda a informação curada para entregar pro para toda a empresa, né?
Isso acaba levando um um problema que é muito comum, né? Que a TI gasta esforço com a própria TI, né? Sim. E aí vem o Shadow IT, né? Então, se eu tenho que ser, eu tenho que ter uma operação tão pesada para gerenciar cinco ferramentas de streaming, eh, eu não tenho tempo de atender o meu cliente que tá pedindo um, né? Eu, eu, eu tô tão pesado que o meu custo é para manter a minha própria estrutura. Sim. Isso é um problema de muitas empresas, né, por uma questão de governança e questão de estratégia, né?
Problemaço. Problemaço, porque exatamente isso, cara. É governança e e segurança, né? Porque cara, ah, né, a área de marketing, finanças contratou X ferramenta, será que ela é complic? Será que usando Pythoner notebook na máquina dele? Pois, pois é, exatamente. É mane pelo dado que talvez não poderia usar o dado sensível, cara. E e putz, ainda hoje a gente você vê nos corredores e na vira e mexe e tem muito, muita história ainda exatamente nesse tipo de situação, né? Sim. vai ingerir dados que a fonte primária é o Excel do diretor que tá no no notebook dele, né? Exato. N, então, eh eh são desafios que a gente vê aí no E a gente não tá falando de empresa pequena e média, não, isso é muito comum empresas grandes, né, cara? Com certeza. Com certeza.
E para para esses casos assim, o cara que tá ouvindo isso tá se enxergando lá, o cara tá falando: "Puta", os caras acho que eles estão infiltrados lá na empresa, não é possível. Uhum. Como é que vocês acham que o cara precisa se pela experiência que vocês têm de lidando com vários clientes, como é que o cara te põe o nariz para fora da lama, cara, e começa a a se mover um pouco, meu. É aquela, é, voltando aquela ideia de smalls mesmo, é aquela ideia, pega o caso de uso que você acha relevante, que você acha que vai ser fácil de implement, não fácil de implementar, mas que seja um pouquinho mais simples assim para implementar e e vê o benefício e vende esse benefício dentro da empresa, sabe? Assim que outros times começarem a ver o quanto que você tá economizando de tempo para gerenciar esse serviço, o a o o a a a consistência reliability desse sistema, né, comparado com o que você tinha antes, vai todo mundo começar a querer eh investigar um pouquinho mais, né? É trazer esse caso de uso que traz benefício, que traz esse small win pra empresa, que você começa a ver mais interesse e por dentro até chegar lá é difícil, né? até fazer, até achar esse primeiro caso de achar esse primeiro small win é difícil, mas quando você chega lá você vê que o interesse começa a crescer bem rápido, tá? E acho que você deve ter muito contato com esses casos, né?
Mas quando a gente olha para uma empresa que ela é extremamente desorganizada, assim no ponto de vista de dados, é difícil você imaginar como como é a tomada de decisão sem ter de fato um uma uma observação que seja data driven daquelas informações, né? Eu acho que o data breaks ajuda muito nesse sentido, né? Naturalmente por ser um um produto eh orientado a esse tipo de consolidação de dados. E eu acho que quando você consegue pegar um small one, como ele como ele comentou, e você leva para dentro, pra mesa do executivo, a informação que vai ser relevante para ele no tempo que ele precisa. Uhum. Você começa a ganhar um pouco mais de força para mover o ponteiro. Com certeza.
Porque, cara, é impressionante quantidade de empresas hoje que ainda tomam decisão pelo feeling. Uhum. E não pelo data, né? Então, acho que levar para para quem toma decisão a informação no momento correto, que muitas vezes, eu acho que aí entra a importância do executivo de tecnologia, né? Sim. Às vezes quem toma a decisão talvez nem saiba que ele pode ter aquela informação naquele momento, né? Então acho que a gente tem uma uma certa carência até de executivos de tecnologia no Brasil que tenham essa fluência dos dois lados para chegar no conceito. F. Não, cara, vamos não vamos discutir isso aqui. Eu vou trazer um gráfico disso daqui para vocês. Não, perfeito. Eu vou trazer essa informação. É isso mesmo. E sabe quem são? Desculpa do, mas os meus melhores clientes são os que já trabalharam com Caf. A gente vê muito isso. O CTO saiu dessa empresa que trabalhava com confi para outra empresa.
Ele vê o nosso champion lá. Ele ama porque ele sabe o benefício, ele sabe o benefício que você traz. Ele começa a ser o a evangelizar a tecnologia dentro da empresa. Eu sou account manager lá dentro.
É, eu eu eu concordo, né? Essa questão tem tem os dois pontos. Tem o small wins, né, que é importante, né? Um exemplo daabxonini, que é um um texto toic vitaminado com agentes e tudo mais, né? que ele vê os o que tá lá nos dados do Lake House, você faz uma pergunta em linguagem natural e ele te traz a resposta, né, fazendo claro uma query por trás dentro do do Lake House.
E é muito simples, né? Você vai lá, coloca as tabelas, coloca as informações e faz a pergunta. Quando a gente apresenta isso para uma área de negócio, quero mais dados, quero mais informações, quero quero trazer mais informações nesse e aí sim começa a se movimentar de trazer mais dados pro Lake House. Então o Small Wins traz essa eh e instiga, né, a a a empresa se movimentar. Mas o executivo eu acho extremamente importante, né? É, tem casos que eu que eu vi que pessoas chegavam e falaram: "Não, vou fazer uma transformação aqui dentro da empresa, vou fazer". E começou a trazer resultados, né? Não só nesse sentido, mas facilitar o acesso aos dados, eh, a unificação da informação de forma governada, facilitar a você fazer uma query ou plugar uma ferramenta de machine learning para trazer essa informação.
E conforme os usuários vem, poxa, eu não preciso mais pegar essa informação aqui desse lado, jogar para esse outro lado, é trabalhar com essa ferramenta A, B e C e trazer, pedir acesso, né, a a todo esse ecossistema, né? Eu já tenho isso simples, governado, unificado, a informação já tá lá de maneira rápida.
Quando os usuários começam a ver isso, a plataforma e o data breaks, eu acreditei até o próprio confluente trabalha dessa maneira, começa a ganhar forma. Uhum. E mais uso, mais informação começa a ser demandada para ser ingerida dentro da plataforma. Então eu acredito que isso é muito importante. É isso que eu acho curioso, porque alguns executivos não conseguem vender isso internamente pra companhia.
Não consegue demonstrar a importância e o valor de você ter se dado à disposição, etc. Mas vocês se vão lá e falam pro negócio, os caras compram.
Sim.
Entendeu? E é curioso isso, né? Aí eu não sei se é aquela coisa que o santo de casa realmente não faz milagre ou se vocês são muito bons em expor a qualidade do do benefício pro negócio, né? Que eu acho que deveria ser uma fluência de um bom executivo de tecnologia, falar: "Cara, vou te entregar isso daqui e tal e pleitear o investimento, né?" Então, acho que tem um pouco um pouco dos dois lados, né? R tem um pouco dos dois lados, eu acho também. pelo que a gente também já conversou em outros episódios, eh, existe um um trabalho de educação ainda a ser feito nas empresas da importância do dado, como manipular o dado, o que que pode, o que não pode usar o dado.
Cara, isso ainda, como a gente acabou de falar aqui, né, que o as áreas às vezes tá usando um dado super sensível, tá no desktop do de uma pessoa que não deveria est e tá vendo uma informação super sensível ali e o talvez a pessoa nem sabe, né? Não tem aí essa exatamente, ela nem tem noção da importância daquele dado, né? Então acho que tem um pouco também dessa questão de passar essa cultura para as pessoas. E eu acho que um pouco também eh, Lucas, você comentou que acho que é importante também que a gente vê muito, tá acontecendo a grão em EI. [ __ ] quero usar EI, quero usar Ei, mas tá, mas que problema eu tô resolvendo? Que que, né?
Qual é a a fund a o resultado que eu tô buscando para que eu utilizo a Iai?
Cara, ainda é muito ah tem que usar porque, cara, virou pauta do dia, mas você põe no no crax, mas eu quero teria.
É, mas que problema eu quero resolver com a isso ainda, entendeu? Ah, não, veja bem, não, entendeu? Aí vai gastar e como resolver, né? São os dois. Isso é isso. Porque aí do do final do dia vai gastar um dinheiro considerável, porque não é um é um projeto barato, é um projeto caro e vai frustrar e vai falar: "Puta, a tecnologia não funciona não.
Não é que funciona, é que não foi definido o problema para qual foi utilizado, né?
Muitas empresas se estivessem se preparando para utilizar IAI, eh no momento que a gente começou a falar de machine learning, o clássico classificatório, tá? Uhum. Hoje estaria um frente para trabalhar com o GNI. Aí como ficou hype o GNI, né? Porque tensorflow não é sexy, né? Tensor flow não é sexi, mas o GNI que conversa com você é, né? Então se se as empresas tivessem começado a se organizar, criado seus datasets, tivesse minimamente organizado com a ingestão de dados, etc., governança de dados extremamente importante, hoje estariam num outro patamar, né? Com certeza. Eh, essa questão de você eh ter os dados pra GNI passa por todo o processo que você precisa ter pro clássico, para dator houseing, né? Não muda nada, né? Então, se já tivessem eh passado, com certeza isso já teria bem mais simples eh o seu uso. Sem dúvida. Eh, inclusive, não é jabá, mas eu eu conheci recentemente o ambiente de para provisionamento de modelos, etc. do do data bricks para para GNA. E é bem interessante. É muito legal, completo. É integrado. Sim, muito simples e vai buscar a a os dados do tablefone e já jogar num num modelo diretamente. Então é é bem legal, pô. E e pegando esse gancho de você em algum cenário que você precisa ter ali, cara, o treinamento em real time para que, como você comentou no agora a pouquinho, né, do [ __ ] eu quero pegar dado do meu call center, eu quero entender o que que tá se falando, o que que as pessoas estão reclamando e tomar uma ação rápida ali pro pro agente que tá na ponta ali dar um retorno rápido, cara. Isso e outros casos também, né? Com certeza.
eh, fraude, toda essa parte de real time que precisa de uma ação imediata, não só para GNI, mas eh pro operacional da empresa, eh vai ajudar bastante. Sim.
a gente chegou a fazer um projeto numa outra vida profissional passada minha, que utilizava Confluent para justamente fazer a entrega de um dado, um pacote de dados completo de uma operação de negócio para ser eh eh existe esse termo evaluada, não sei. Avaliada, avaliada. É verdade. Quem tá tão acostumado com termo inglês? É isso aí. Eh, para ser validada, né? vai fazer o evaluate com o modelo do machine learning que retornava um um grau de risco, né? E aí a gente fazia integração para um CRM, dependendo daquele grau de risco caía numa fila para abordagem do cliente ou não. E funcionava muito bem, né? O Rome inclusive acho que conheceu esse projeto, né? Rom. Então a gente conseguia e foi aí que a gente sofreu com o queic na época, né? Porque a gente fazia streaming de um banco de dados gigante em CDC, gerava um pacote que representava uma operação de negócio, isso para uma ia para um affinate streaming. Eh, um dos consumers desse desse desse streaming era um um serviço de de um modelo de de workflow treinado com base histórica, né?
ele retornava uma classificação de risco e isso ia pro seus forces, que era o nosso nosso CRM na época. Foi um foi um aprendizado gigantesco, cara.
Foi interessante. Eu eu fiz uma demo com a Daily Bricks, na verdade, ano passado, que até tá no YouTube o o vídeo, que é que é é é um caso de uso super simples de de resposta automática de reviews online. Eh, mas usa conflant, usa o Flink, usa o o o JNI models da eh da BKS e tudo mais. É, é super bacana. E é legal ver como as duas empresas funcionam juntos e ver as duas tecnologias funcionando juntos. Eh, eh, mas que nem você falou, eh, a gente não sofreu tanto porque a gente tava usando flink, né? Foi um pouquinho mais fácil.
Sim, exato. Se tivesse o flink naquela época, olha, porque o queic deu deu um trabalhinho, cara. É, trabalhinho. Por isso que a gente implementou o flank.
[ __ ] melhorou muito. Legal.
Bom, você que tá vendo esse podcast da hora, tá vendo um monte de problema aqui que a gente tá colocando, né, e quer uma ajuda aí na sua empresa, faz o seguinte, entra no site aqui da VemBARS que a gente pode te ajudar.
Vems. Nós somos uma empresa relacionada à arquitetura de soluções, a modernizações de aplicações. Também atuamos na fonte de DevOps para ajudar vocês a serem extremamente ágeis. Então, dá uma olhada no nosso site que vai tá aqui embaixo, vemmbirs. E lá você vai poder ver um pouquinho da nossa história, dos nossos profissionais. E aproveitando, se você for um profissional da área de tecnologia que tá a fim de trabalhar numa empresa legal, um monte de colega, gente boa e tecnologia de ponta, manda o e-mail para peoplecare@vemars. É, agora eu quero meu show, velho.
E o que que a gente pode esperar daqui pros próximos meses ou anos dessa parceria Confluent e Data Bricks? Como é que a gente pode melhorar a vida do cara que tá ouvindo esse episódio e tá perto de cortar os pulsos de dados eh assim se se enxergando muitas vezes, né, R nessa nesses problemas que é acho que todas as empresas passam, né?
eh em maior ou menor número, mas quem não tem problema de integração e de gestão de dados e administração de dados, ou é um cara muito inteligente ou é um cara que mente para caramba ou os dois.
Eh, e essa ideia de continuar melhorando a integração e a parceria entre as duas empresas, você vai ver a Conflint em bastante eventos da da Daily Briak, vai ver a Daily Bricks em bastante eventos da Confl. Eh, a ideia do table flow eh, para delta ainda não não tá 100% liberado paraos nossos clientes, vai tá liberado no meio do ano. Eh, e tipo, por mais que tableflow seja um uma um ferramenta incrível, revolucionária, até ainda tem coisas que a gente precisa melhorar dentro da plataforma. Então é isso, é é continuar essa melhoria, continuar essa integração e cada vez mais facilitar o uso das duas ferramentas juntas. Sim.
Não, eh, exatamente isso. A ideia é sempre melhorar. Eh, essa parceria traz essa integração entre as duas empresas, né? A gente tem os times eh trabalhando em conjunto, né, para fazer essa integração e além disso, né, fornecer todas as inovações das duas plataformas, né? A Confluente vai colocando mais eh features de performance, features para facilitar essa questão da evolução do produto do table flow. E a DataBabix, obviamente também tá colocando mais coisas, né, de segurança, camada de linhagem, toda essa parte de governança em cima dessas tabelas dentro do data bricks no Unit Catal. Então isso eh traz esse benefício tanto de consumir esses dados eh facilmente e essa parte de governança. Então a gente vê que isso é só um início, né? vai vir muitas coisas em relação a a essa parceria. É, e algo que eu gostei muito até antes da parceria, quando eu fiz aquela demo que eu comentei com com o pessoal daer Bricks também, é a abertura que a Daer Bricks tem de trabalhar com a gente, sabe? Desde o começo ali a gente tem um canal no Slack, meu mando mensagem para eles qualquer minuto eles respondem já ajudando, tal. Se a gente tem cliente trabalhar junto, eles ajudam a gente a conversar com os clientes. A gente tá implementando um cliente novo agora aqui no Brasil que que usa Daily Bricks. Os caras da Daily Brick estão lá na col com a gente todo dia para ajudar com a implementação, que é um caso de uso que você comentou no começo, que é não é enviar dados pro Daily Lake, é puxar dados Daily Lake, que tipo é um pouco meio confuso, mas que que no mundo ideal não aconteceria. Não aconteceria. É exato, mas eles estão tentando fazer isso e o pessoal da Brook tá ajudando a gente a a a fechar essa implementação.
É, então realmente a a parceria tem sido tem sido excelente do meu lado. Queria agradecer aí agora olhando pela perspectiva do engenheiro de dado, que é o cara que vai est no dia a dia manipulando ali, né? Eh, eu acredito que vai ajudar muito o trabalho dele no dia a dia, né? De simplificação desses fluxos, como o Lucas comentou de poxa, eu já tenho uma a minha tabela no table flow.
em alguns meses vai estar disponível, pô, já vai tá ali na na camada silver e putz, o cara só vai ter que fazermente ali o processamento mais Uhum. Eh, específico, né, pra camada analítica, né? Então, imagino que pro para ele que é diretamente vai ser o beneficiado, ele vai ter um um ganho bastante interessante, né? Sim. É, hoje como que você trabalha, né? Você tem o Spark Streaming, né? você tem toda a integração com os conectores eh do CAFCA, mas você tem que definir os tópicos, você tem que definir as partições, né? Você tem toda a questão de performance que a gente sabe que é complicado, né? Você monitorar memória, CPU, né? Ver as quantidades de partições por CPU e fazer toda essa parte mais do engenheiro de dados. Isso vai simplificar muito isso, né? O esquema, né? que ele comentou antes. Então essa simplificação já é um vere, né? Já quando fazer a adoção eh já do da do tablef e da parceria, isso já vai ser muito muito rápido e simplificado, né, esses pipelines. Então eu acredito que pro engenheiro de dados ele já vai começar a pensar em outras coisas do que como trazer o dado, né? E claro, o dado já tá lá no confluente, já tá num num evento, é só consumir ele a partir já da tabela que já tá catalogada no Delta. não precisa desse processo no meio de criar o o tópico, eh, criar o processo spark para trazer toda essa informação do tópico e eh autenticação, toda todas essas partes que a gente sabe que é mais difícil. Ou seja, eh vai liberar engenheiro de dado para que ele pense muito mais para o negócio do que pensar no lado básico da infraestrutura, de [ __ ] pensar em tópico, em partições, enfim. É, é, é a confiança que você vai ganhar no sistema, né? Fazendo essa integração mais simplificada, trazendo essa esse essa simplificação e e expandindo essa governância nos seus dados, né? Tem cada vez mais confiança para que você possa tipo ter que assim, né? Eh, poder focar em outras coisas, eh, se preocupar menos, ter menos dor de cabeça com esses sistemas que gastam bastante tempo, né? Sim.
Eh, eu eu acho um uma coisa interessante do ponto de vista estratégico para com a sinergia desses dois mundos, né, que eu acho que pro cara que é um um gestor, um um estrategista ali, eu acho que a gente começa a diminuir um pouco a barreira entre o analítico e o transacional, né, e que que é um problema histórico, né, da gente modelar pro transacional e depois o cara ingere e ele se vê se vira lá do outro lado, né?
Então acho que isso traz um ganho operacional prometido de tecnologia muito grande, né? E claro, isso passa pela pelo paradigma de você ter uma arquitetura que é data centric orientada a eventos, etc.
Mas eu acho que facilitar isso com plataformas, como a gente tem discutido aqui, desonera muito da operação que eu teria que ter para tornar a minha empresa de fato data centric e sem essa fricção que a gente que é comum ver entre o ambiente transacional e o ambiente analítico, né?
Quem nunca viu briga de foice do do engenheiro de dados com com o o dev, porque o cara trocou a rodou uma gemmudic, trocou o esquema da tabela e quebrou ele. Cara, isso é um um problema clássico, né? Então eu acho que diminuir isso e a empresa parar de olhar o que é transacional e analítico, olhar para dado, eu acho que é uma uma evolução muito grande. Eu acho que que tende a reduzir um pouco, pelo menos baixar um pouquinho a altura do muro, né, Ron? Pô, eu diria que vai diminuir bastante, cara, porque essa fricção ainda é muito comum. Exatamente. Um time de dev com time de engenharia de dados. Essa questão de eh de escrever o dado, mas não não colocar ali a os esquemas que mudou ou ou aplicação ou direcionar para qual eh partição que ele tem que mandar aquele dado, porque aquilo vai tá vai garantir ali a a o enfreiramento ali da das informações, ou seja, então isso vai diminuir muito, eu imagino, né? Sem dúvida. E o potencial da gente reduzir a TL é obrigado, Deus. É gigantesco, né? Sim, sim. É, e a gente tem falado sobre isso, trabalhado nisso nos últimos dois anos. É, Cafca tem sido usado amplamente do lado operacional, né? A gente vê empresas tendo grande sucesso do lado operacional e agora nesse último ano que a gente começa a ver essa barreira sendo quebrada entre os dois lados. E e realmente é é o é o é o mundo perfeito, né? Mas voltando no nosso assunto, demora para chegar lá, né?
E eh esse é é o estado é o estado eh eh eh que a gente quer chegar, mas tem um trabalhinho que a gente precisa fazer no meio. né? Mas que a gente falou, só que acho que também tem um movimento interessante eh que eu vejo, por exemplo, no mercado financeiro, né? com a como as fintec já nasceram já, como a gente falou no início do do episódio aqui já com a arquitetura moderna, pensando em evento e você tem os bancos adicionais que ainda tem mainfame, então isso gera uma pressão gigantesca, né, na no nos bancos tradicionais para cara tem que correr porque eu tô perdendo o mercado. O negócio negócio não é tão e a a briga ficou agora interessante. Então isso também é legal porque de certa maneira ele empurra também isso. Obviamente tô falando do mercado financeiro, mas isso vale para todas as indústrias, né? É, os bancos tradicionais eles até nesse sentido de eh experimentação de tecnologias, eles criavam suas próprias fintex, né? E com tecnologias novas e apartada do do core que eles tinham eh no no banco eh oficial. Então, eh, eles fizeram essas experimentações e eu vejo agora o movimento de adoção dessas experimentações até nas tecnologias que eles usam. Então, eh eh as Fintex forçaram aos bancos tradicionais a se movimentarem também. Com certeza. É tipo testa lá que se der problema, cagada isolada, quietinho. É isso, né? Então, e resumindo o que tá na cabeça do executivo é isso, tipo, cara, beleza, quer testar isso aqui, vou testar aqui.
Eu não confio muito. Vamos ver se realmente que o programa fica isolado, né? Mas eh esse ponto que você colocou isso é muito bom, né? Que a gente vê as empresas tratando ainda muito como um uma ferramenta do domínio transacional, né? Você você vê muito Cafka por aí, que poderia ser um Rabbit MQ, por exemplo. Bastante.
Eh, é, é, é difícil porque todo mundo fala: "Ah, Kafka real time", real time.
O, o real time não é a parte mais importante do Kafka. Sim. É, é. Não, um rabbit bem administrado vai ser praticamente um time, né? Exato. Exato.
Mas, mas é é esse pacote completo, né, de o que a gente tá chamando de o daily streaming platform, né, que é o DSP, eh, que realmente os benefícios, que é o Cafka, são os conectores, eh, são e o processamento, né, e a governança, né, quando você tem esse pacote completo, daí que você vê o benefício, daí você vê o benefício do streaming, daí você vê o benefício que é colocar um daer bricks no nosso lado direito ali e fazer essa integração, entendeu? Eh, eh, quando você fala cáfica versus rab tal, eh, eh, não é não é uma, não é uma briga, não dá nem para comparar, na verdade. É, mas o problema não é comparar um com o outro, né? É que tem muito cara que tá com uma Ferrari que ele poderia ter um Fusca, né? Porque ele não tá usando a Ferrari como como deveria, né? E aí não dá para comparar o Kfka com rap, mas o cara às vezes tá usando uma uma Ferrari para andar a 20 por hora, né? É o que eu falo, a gente não quer matar uma formiga com uma bazuca, né? É, é exatamente isso. Usar o K fica para um caso de usozinho assim que que não tem necessidade. Mas novamente, né? É é tudo parte da jornada, né? Muitas vezes você tem que começar com aquele caso de uso pequeninho e vai ser over, vai ser uma ferramenta que não tô vendo, mas traz o o movimento que você precisa dentro da empresa, né, para conseguir chegar naquele ponto, né? Então, então sim, tem bastante casos de uso assim, mas é parte do processo, é parte da jornada. Precisa para aprender a para aprender a dirigir Ferrari, você tem que dirigir seu celo, né? É exato. Tem que começar uma um ponto de cada vez, né? Exato. Ron, alguma consideração adicional aqui com os nossos amigos?
Eh, cara, assim, eu olhando, né, depois que eu vi o anúncio e agora a gente conversando aqui, cara, traz acho que uma umas perspectiva muito interessante para pra área de dados essa integração e essa parceria, né, de novo, vai simplificar muito o processo, vai facilitar muito o time de engenharia de dados com esse com os fluxos de dados, toda essa gestão e pro negócio Sim, como a gente também falou aqui de poxa, o cara vai poder lá agora entrar lá na no datab, poder ver o dado que tá transacion passando ali no no stream e pô cara, tô tendo informação em real time aqui para tomar uma decisão ou para alimentar meu meu meu meu modelo, pô, isso vai trazer um benefício muito legal. Uhum. Então assim, tô bem entusiasmado para ver na prática os clientes. É, eu eu pensando de forma mais macro e do ponto de vista de gestão de TI, ficou um pouco mais fácil a gente abstrair legado, tecnologia eh mais antiga, etc. Porque Confant é uma plataforma que tem muito muitos conectores, né?
Então, eh, eu não depender a minha inestão paraas minhas camadas, né, pro meu modelo de alta, eh, de ter um tratamento e uma ingestão mais complicada com uma pluraridade de banco de dados, de tecnologias tão grandes que levam um overhead de operação muito grande, eu consegui fazer um shift left de abstrair isso através de uma plataforma forma unificada de streaming de dados e plugar meu streaming de dados direto na minha plataforma de de Delta Lake. Cara, é um é do ponto de vista de arquitetura, eu separo muito bem as camadas e fica muito bonitinho, sabe? Eu gosto disso de uma forma mais eu eu abstraio a tecnologia, né? Então, se eu trocar um banco ora para um postery, eu simplesmente vou trocar meu conector aqui no meu streaming. O meu produto de dados vai chegar íntegro, continuar chegando íntegro na minha camada analítica, né? Então isso leva a uma otimização da operação das tecnologias, né?
Eh, a gente tem que pensar sempre muito no produto que a gente entrega pro cliente, no valor que entrega pro cliente, mas como executivo a gente tem que pensar quanto custa do nosso lado também. Então, você entregar o mesmo valor como operação mais enxuta, como operação mais simplificada, é tão importante quanto você entregar isso pro cliente, porque se isso custa muito caro, o valor na ponta reduz, né? Então, eh, fazer essa abstração e cuidar muito bem desse, dessa dessas engrenagens por trás do que a gente tá entregando pro cliente e é super importante. Eu acho que estamos num caminho bem interessante aqui, né? Sem dúvida. Sem dúvida.
Meus amigos, últimas considerações pros nossos ouvintes sobre a nossa parceria pela Confluit e Data Bricks, já agradecendo a presença de vocês aqui com a gente. Não, eu que agradeço. Eh, obrigado, Lucas. Eh, essa parceria faz todo sentido que nem eu comentei. Eh, confluente data bricks e tem em comum vários clientes, né? Eu acredito que muitos clientes vão se beneficiar eh dessa simplificação, de toda essa integração que a gente tá entregando agora. já acontecia, né, que nem a gente comentou anteriormente, mas agora tem uma inovação que que é essa é o que vem com essa parceria mais oficial e também eh com todo toda essa eh junção de go to market, né, de toda essa parte mais comercial. Então, acredito que eh vamos ter bons frutos dessa parceria e agradeço aqui vocês pelo convite e o Lucas também pela conversa. Nós que agradecemos sua presença aqui, cara.
Muito obrigado. Obrigado. Não, acho acho que acho que você falou tudo. Eh, eh, eh, assim, desde que eu comecei a trabalhar com o Del Bricks, foi uma experiência excelente, assim, eh, que nem você falou, a gente tem vários clientes juntos e a abertura de vocês para ajudar eh um ou outro eh nesses casos de uso eh tem sido tem sido extremamente eh eh beneficiário, né?
Então, espero que isso só continue crescendo. Tô super animado paraa nossa parceria, super animado para os produtos que estão saindo, que nem o tableflow em Delta que vai sair daqui a pouco. Eh, então, então é isso, future looks pr bride, né? Então, queria agradecer vocês também pelo pelo convite aqui. Eh, um prazer fazer parte do podcast. Muito obrigado. Vocês estão sempre muito bem-vindos aqui na nossa mesa para para trocar ideia, falar sobre novos lançamentos, novas tecnologias. Então, cara, já fazem parte da família PPT.
Perfeito. São super convidados e bem-vindos. Obrigado pela presença de vocês. Obrigado a vocês. Bom, obrigado novamente, meu caro. Mais um, mais um belo episódio, cara. Mais um belo episódio. E aí eu te pergunto, o cara que ouviu tudo isso não sabe muito bem como encaixar confront aqui no Cusei Data Bricks e tal, procura quem para Jupiter essa assessoria aqui? Bom, a Tecl é uma empresa que é tanto parceira da Conflant como também recentemente parceira da DataBabs. Então, já tem pacotes inclusive de serviço que ajudem os clientes que têm as duas plataformas a trabalharem e tirar o melhor das duas plataformas nessa parte de dados. Então, conte com a gente para esse para essa nova jornada que vai ser interessante.
Isso aí, contato do ROM aqui embaixo, LinkedIn da galera também. vai ficar aqui embaixo, quer trocar uma ideia, adiciona lá que vai ser muito legal. E sabe o que é muito legal também? Você ser membro do PPT no CPIL. Se você já é inscrito, você pode ir lá do lado do botãozinho que era inscrever, se aparecer inscrito, lá vai estar escrito seja membro. Sendo membro, você vai ter acesso antecipado pros episódios PPT no CPIL. você vai conseguir ver os episódios antes de todo mundo e você vai ter algumas vantagens novas que nós vamos falar daqui algumas semanas já, viu, Ron? Tem tem coisa boa vindo aí, pô, legal, né? Então, e quem já for membro vai ter mais vantagens ainda, porque aí aí depois que você vê as vantagens vai ser muito fácil você querer ser membro, né? Então, quem já é membro antigo que tiver com a gente vai ter vantagem adicional. Então, se você gosta do nosso trabalho, se você acha que contribui com o nosso trabalho, nosso trabalho contribui com a sua vida profissional, se a gente enriquece alguma coisa, nem que seja por entretenimento, vai lá, contribua com valorzinho pra gente que já ajuda bastante a gente continuar gerando conteúdo para você. Se você não pode ajudar dessa forma, você pode ajudar demais a gente eh compartilhando o episódio, colocando no slack da firma, mandando no WhatsApp, manda pro time de engiro de dados que essa esse aqui tá excepcional. Isso é isso aí. Faça a nossa comunidade crescer, deixe seu comentário, deixa o seu like que já ajuda demais o nosso trabalho. Muito obrigado meus amigos, novamente.
Obrigado pela audiência de vocês. Valeu,
[Música]
Episódios Relacionados
1h 26minSAP: Estratégia e Uso do ERP Corporativo | PPT Não Compila Podcast
Marcelo Salles, Cláudio Fontes, Rômulo Barbosa
17 de dez. de 2025
1h 40minTop 10 Tecnologias para 2026 segundo o Gartner | PPT Não Compila Podcast
Marcos Brigante, Rômulo Barbosa
3 de dez. de 2025
1h 11minO melhor de 200 Episódios: Especial Inteligência Artificial | PPT Não Compila Podcast
Juliano Dutra
26 de nov. de 2025
1h 56minN8N e Lovable são o Fim do Dev Júnior? | PPT Não Compila Podcast
Felipe Kimio Nishikaku, Levi Bertolino
22 de out. de 2025
