Agentes de IA em Arquiteturas de Dados em Tempo Real | PPT Não Compila Podcast

0:00Como a ideia é aumento de produtividade, né, no geral, que é a grande aposta, né, do da da AI, principalmente da LLM, o Enterprise é onde precisa de produtividade e ouvindo tópico, etc., botando agente de APM, etc. E agora você me chega aqui >> falando que tem um projeto >> do da família do Flink.

0:23>> É. Ah, cara, volta, volta, ô produção.

0:28>> E aí a gente usava o Flink para fazer algum alguns processamentos e depois alimentava a o Gemini para pergunta e resposta sobre coisa de saúde.

0:38>> Acho que quanto mais desacopulado e você tiver o seu o seu processo, acho que ele é mais simples de você acoplar e ali e resolver problemas de de formas distintas.

0:49>> Muito bem. Muito bem, meus amigos do PPT no compil, estamos aqui para mais um episódio e hoje Rom vamos juntar aqui dois mundos, né, cara?

0:59Dois mundos interessantes, cara, e com relevância, no momento que tá bombando, vai ser um belo episódio pra gente discutir aqui.

1:10>> Bit vai juntar aqui uma questão de eh infraestrutura de dados, né, de como lidar com a sua estratégia de dados, com um grande hype aqui de tecnologia e inteligência artificial, que é o que a gente tá vivendo nos no nos últimos tempos, né? eh falar sobre inteligência artificial baseada em agentes, os agentes quei com que tomam algum tipo de decisões autônomas aqui. Tudo isso baseado numa arquitetura de dados em tempo real, que é muito importante para esse tipo de de solução que toma decisão em tempo real, né?

1:50>> E para falar disso, cara, a gente tem aqui dois caras, três caras, né? Vou fazer um adendo pro nosso convidado especial. Time, meu, veio time. Time veio veio forte, cara. Time veio forte dessa vez.

2:03>> Time importado, né? Só não trouxeram meu brisket, né? Mas um time aqui de peso da Confet.

2:10A gente tá aqui com o William Leite, que é engenheiro de soluções da Confl.

2:13Beleza, William?

2:14>> Beleza. Muito obrigado aqui pelo convite.

2:17>> Seja bem-vindo.

2:18>> Vamos falar de de AI aqui. É isso.

2:20>> Isso aí. Falar de dados. AI. E o Daniel, incrivelmente Takabayashi, esse japonês fake, tá aqui com a gente. Beleza, Taca.

2:29>> Valeu.

2:30>> Tô ótimo, cara. Obrigado pelo convite aí. Um prazer estar aqui com vocês.

2:33>> O Daniel que também é vulguta também engenheiro de soluções numa vertente mais voltada a IAI na Conflu, né?

2:42>> É isso aí. É isso aí.

2:44>> Bora lá que o episódio tá muito bom.

2:46>> E o Pedrão também, né? E o Pedrão que tá ali na reserva se aquecendo, daqui a pouco vai entrar aqui com a gente.

2:52>> Pedrão já é de casa, né?

2:53>> Pedrão já é de casa já.

2:54>> Pedrão já sabe tudo, já sabe.

2:56>> O Pedrão já pode pedir música. Três episódios, né?

2:58>> Nosso >> querido Pedro Pedro Busco. O nome dele é meio travaalíngua, né, cara? Pedro Busco.

3:06Depois de três cervejas, a gente dá uma travada, mas é isso aí.

3:09>> Vai vir aqui também dar uma palinha com a gente para falar sobre o o assunto de agentes de AI em cima. de um fluxo de dados em tempo real. Ron, acho que dá uma pauta muito boa, né, cara?

3:21>> Cara, uma pauta interessante com um mercado que tá em ebolição nesse sentido de adoção e ao mesmo tempo tem seus desafios, né, da melhor forma, como tratar dado, como trabalhar arquitetura para esse para esse fim. Então, [ __ ] vai ser um baita bate-papo, >> sem dúvida. Acho que a gente tem bastante pontos a discutir aqui. Algumas dúvidas que eu como arquiteto de TI tenho que eu quero tirar com esses caras. Vou fazer uma inquisição aqui nesse episódio, viu, Ron? Tô cheio de perguntas aqui para falar sobre esse tipo de arquitetura, porque é um novo paradigma, né, cara? Então, a gente tem que >> tem que examinar bem esse tipo de solução para que tem escala e princialmente os ouvintes, cara, acho que é um belo episódio porque muita gente tem muita dúvida, né?

4:10que >> a gente vê que tem muita gente tá tentando implementar, mas tem dificuldade. E uma das uma das questões é por falta de conhecimento, né? Então aqui vai ser um um ótimo episódio pra gente tirar dúvida, né, conceitualmente, falar um pouco de casos, enfim.

4:26>> Isso aí. Quer saber como é que você conecta o seu agente de A no seu stream em Cafca? Acompanha com a gente aqui que o Visor tá muito bom.

4:32>> É isso aí, >> né? E se você ainda não segue a gente, se você ainda não deixou o seu comentário, você vai ter oportunidade durante todo o episódio. Uma coisa que pouca gente sabe, viu, Ron, mas a gente sabe exatamente o momento que você comentou. Então, deixa seu comentário que a gente sabe exatamente o trecho que você comentou e a gente encaminha aqui a sua dúvida pro pros nossos amigos.

4:54televisão te responder aqui ou no NinkedIn ou no YouTube. Então não tenha não fique com dúvidas, deixe seu comentário aqui que ajuda a gente, valorize o nosso trabalho e a gente pode ajudar você nas suas dúvidas, né? Então segue a gente também no canal se você não segue ainda. E se você acha que o nosso trabalho contribui de alguma forma o seu desenvolvimento profissional, você pode ser membro do PPT no Compila. Vai lá no botão, do lado do botão de seguir, vai ter seja membro, só vai contribuir com um pequeno valor pro PPT no Compila todos os meses para ajudar a gente a pagar aquele rapaz loiro ali que tá com água oxigenada no momento, mas para ajudar a gente manter essa estrutura e trazer sempre conteúdo de qualidade para vocês, né? Então é isso, eh, obrigado pela audiência de vocês e bora.

5:45[Música]

5:54Primeiro quero deixar aqui pros nossos ouvintes já alguns cards aqui de alguns episódios que a Conflant já teve aqui com a gente para falar sobre o assunto de event driven, né, de processamento de dados em tempo real, que pode servir aqui, né, Ron, de um background >> pro assunto que a gente vai falar hoje, né?

6:14>> Sim. muitas das coisas, o que a gente vai tratar aqui, seria interessante que o nosso ouvinte agora já tivesse esse background do que é a as integrações tempo real, entrega de mensageria, event driven, etc. Pra gente chegar nesse momento aqui onde a gente vai falar sobre agentes de a em cima de dados em movimento, né? Não é assim que a >> dados em movimento. Muito bem.

6:42>> Já tá pronto, cara. É só botar a camiseta e trabalhar lá com a gente.

6:44>> Olha só, hein. Ó.

6:45>> E tem vaga, né?

6:46>> Tô esperando a propósito. Tô esperando a propósito. Vamos levar pro Texas.

6:50>> O Pedro ficou me devendo um brisket da próxima que ele viesse. Não trouxe. Acho que não. A vigilância sanitária não deixou embarcar.

7:00Mas olha só, eu vou eu quero fazer um contexto até pra gente fazer um depara de do que a gente evolui de tecnologia nesses anos e e como nós estamos hoje, né? Alguns anos atrás. Eu trabalhei numa seguradora, né, grande. Foi quando eu conheci meu amigo Ron, inclusive.

7:17>> E tinha um pouco de cabelo ainda, né?

7:19>> E ainda tinha bastante cabelo tinha.

7:22Você vê como a TI judia da gente mesmo.

7:25Tem cabelo dá para fazer só sobre isso.

7:27>> Pois é. Pois é. Você vê como a TI cada deploy é umas mechas que vai embora.

7:31Impressionante.

7:32>> Isso.

7:33>> Eh, mas a gente fez um projeto até revolucionário na época, utilizando APIs de saúde, etc., mas que a gente todo o processo de autorização que acontecia na seguradora para procedimento médico ou consulta, etc., ele caía numa fila de streaming da plataforma da Confl que a gente já utilizava na época.

7:56>> E isso era persistido num lake house dentro do GCP na época, caía dentro da PI de Fire HR7, que era uma PI de saúde, né? Legal.

8:10>> E isso estimulava imediatamente um modelo de a. Na época nem se sonhava em falar em a generativa, como você fala hoje, mas a gente utilizava o machine learning clássico, né? Então você tinha um modelo treinado >> para entender aquela classificação daquele daquele dado, né? e que atribuía uma porcentagem de score de risco para aquele segurado em um determinado momento para aquele tipo de consulta ou de procedimento que ele estava realizando, né? Então, eh, por que que o Ron está indo no pronto socorro três vezes em uma semana, né?

8:55Então o grau de risco dele é aumentado.

8:59E aí o machine learning criava essa essa regra e com base nisso estimulava um enfermeiro ou alguém que com base nesse trecho de de grau de risco entrava em contato com a pessoa para dar uma um suporte, etc. Isso só era possível por causa do streaming, porque não adianta eu fazer isso d mais do D mais 3, que o problema já pode ter tido um problema, né? esse acúmulo de consultas aí pode ter acontecido.

9:24>> Exatamente. Então tenho que saber que o cara tá lá na fila do do PS naquele momento, né?

9:29>> É >> porque se ele não tiver o desfecho resolvido naquele instante, eu tenho que entrar com o enfermeiro logo depois para dar um um uma assistência eh mais próxima para que ele não volte lá, né?

9:42>> Hum.

9:43>> E que ele não tenha nenhum problema. E aí aí entra todo aquele gatilho que a gente tem por trás no backend, né? o cara não teve um desfecho, qual que é o histórico desse cara, né? E aí você gera toda uma inteligência para isso. Eu queria usar esse plano de fundo, tá?

9:58>> Pra gente falar sobre o que nós temos hoje com o advento da IA Generativa e dos agentes de A, que não se falava tanto naquela época, né? Hoje a gente tem um mundo de possibilidades muito maior, mais amplo do que só a IA classificativa, né, que a gente tinha antes, >> que que era o machine learning clássico, né?

10:20>> Uhum.

10:22Você quer quer falar alguma coisa?

10:24Valendo.

10:25>> Cara, eu acho que seria interessante só para ajudar a galera a entender a evolução.

10:32A gente, eu tenho uma forma de uma classificação que eu encontrei que é bem fácil de entender a evolução pra gente tentar chegar no momento atual, que basicamente a gente pode colocar em três eras, né? E é um é a forma que a Conflit ela se posiciona também em relação a EAI. A primeira era seria essa ei preditiva, que é onde a gente basicamente tem um conjunto de dados que representa um problema específico. E aí você vai lá, treina o seu modelo para resolver aquele problema específico, né?

11:03Então você treina uma vez e consegue usar aquele modelo muitas vezes, desde que seja aplicado para aquele problema.

11:11Daí isso, cara, você coloca eh desde modelos de machine learning tradicionais como também deep learning, né? Então, problema de visão computacional, classificação, linguagem natural com NLP. E aí vai. Daí depois, né, como a evolução da Pilan, os caras criaram as LLMs, que seriam a Generativa, que é treinado com uma montanha de de informação, basicamente tudo que tem na internet, e que ela é usada para resolver problemas genéricos de interface, de comunicação, de interação, né, que é uma AI que ela é usada para cara para entender, raciocinar, esse tipo de coisa. E é o que a gente vê, por exemplo, com os chats, né? Chat de PT, basicamente, tal.

11:56E aí, e é que é basicamente o que a gente tá vivendo hoje, né? O boom, a gente tá já indo para uma terceira era que seria a era agente, que, né, que seria a era dos agentes, os os as reais de agentes, né, que seriam as reais que elas não só raciocinam, né, elas não só, mas elas planejam e elas agem, que aí é onde é que para quem já ouviu falar de MCP, por exemplo, e outros protocolos, que é justamente isso, é é seria o bracinho ali, né? Então, a a LLM seria o o cérebro e a EAI agêntica, ela ela seria o corpo, né, da da EAI. Então, basicamente esse é o ponto.

12:35E aí entrando no que você falou também sobre o stream, né, que é aquele exemplo que você deu de, cara, o tratamento aconteceu ou, né, eu não adianta eu querer esperar o dia seguinte para raciocinar. Isso é interessante porque tem a ver tem um pouco da influência do do streaming eh no geral, né? O mundo de streaming, as soluções de streams já estão crescendo cada vez mais. Um monte de empresa tá saindo desse mundo analítico, né, de D mais X, né, >> mundo bet.

13:04>> É o mundo bet, >> o mundo esquedulado.

13:08>> E tá todo mundo meio que >> morte crom.

13:10>> Como é quê?

13:11>> Morte crom. Exato. E aí tá todo mundo meio que implementando essa ideia de, cara, no flow, no streaming, o negócio tá acontecendo, não quero esperar, não quero acumular. E aí existe vários motivos, né? Um deles pode ser justamente, cara, minha janela de processamento bet já não aguenta mais.

13:26eu tenho muito mais dados do que é possível ou eu não consigo mais fazer aquele full scan na minha tabela e pegar todas as informações que eu preciso.

13:33Então tem vários motivos diferentes, mas no final é, cara, as aplicações estão ficando maiores, os eventos estão sendo são sendo exponenciados e a EAI ela só é útil se, cara, se ela tá ali no meu flow, né? Assim, ela é mais útil, não que ela não seja só, porque ainda existe a a o caso de uso onde você vai fazer um forecasting, né?

13:54você vai prever antemão, você vai raciocinar, ainda existe espaço para tudo isso, mas quando a gente traz por dia a dia mesmo para essas aplicações que estão transicionando pro mundo de streaming, daí a IAI ela vai ter que adaptar, ela vai ter que poder ser usa ideia de streaming agents, que seriam esses agentes, né, que planejam, raciocinam e agem.

14:17Eh, mas dentro do streaming, em vez de ser aquele negócio esquedulado a partir de API, esse tipo de coisa. Então, é essa é daí que vem que vem essa ideia.

14:29Eh, antes da gente entrar diretamente no funcionamento do do dos agentes de streaming, eu queria trazer um ponto pra gente discutir o que é mais estratégico, que é muitas empresas elas estão trazendo de alguma forma a a IA para dentro do seu dia a dia de TI, ou pelo menos as iniciativas de AI estão ali no na mesa do do CIO ou do COU, né?

15:00>> Tem até aquele meme, né, do queremos que que nós queremos? Queremos AI.

15:07>> Eh, para quando nós queremos, para agora, por que nós queremos, não sabemos, mas nós queremos, né? Eh, isso tá na mesa de toda a empresa, né, atualmente.

15:19Mas quando a gente fala sobre uma arquitetura e uma forma que seja amigável para paraa EAI, hoje, quando a gente olha para pro próprio modelo anterior, como você comentou, de inferência estatística, que é tipicamente bet, que eu tenho dois estágios, um de treinamento e outro de inferência, >> Uhum.

15:43A maior parte das empresas ainda não estão preparadas para isso, né? Quando a gente fala de tomada de decisão em tempo real, olhando para streaming, talvez menos ainda, né?

15:54>> Uhum. E e como que a gente consegue fazer esse paralelo para que as empresas olhem pro pro parque que elas têm, pra tecnologia e pra governança e pra estrutura de dados que é necessária para que eles eles consigam de fato ter esse resultado de negócio, que é ter um agente ouvindo um streaming, por exemplo, e tomando decisão em tempo real.

16:23Porque hoje eu vejo dois grandes movimentos, né? Um das empresas que estão olhando para pra Ei, ainda muito dentro do mundo analítico, né? Então, o cara passa lá pela arquitetura, medalhão, etc., chega lá na ponta, roda um bet que joga na generativa, pega os insightes e consegue ter algum resultado.

16:46E outras estão usando meramente no transacional, galera. Ela tá pegando dentro do transacional, chamando a Pit PT e utilizando aí a eh generativa para isso.

16:58>> Uhum.

16:58>> Como que vocês veem essa escala de maturidade?

17:04Porque a gente tem oportunidade aqui de botar essa negócio transacional e já ter já ter um um resultado, certo?

17:11>> Aham. É. É, mas ainda tem uma uma curva aqui de fato para você trabalhar com esse dado e conseguir de fato alavancar resultados que são mais potencializados, né? Eu eu vejo um ponto aqui, eh, a gente tem o o plano e o e a maturidade ideal desse desse dado e desse acesso ficar disponível, mas a gente tem do outro lado, na contramão, e acho que a velocidade disso hoje é muito rápida, que é o acesso. Então, muitas vezes, até sem estar pronto, a gente já tem acesso a esses recursos e e a essas funcionalidades que muitas vezes acontece isso, pô, eu já eu deveria ter o meu dado, eu deveria ter essa estrutura definida, mas em contrapartida eu já tenho aqui uma LLM que vai fazer análise e vai me dizer se o meu chat tá positivo ou negativo. Isso já tá. Então, implementar isso é mais acelerado. Acho que tem tem essa tem esse viés aí do do processo que é esse acesso a e a velocidade que que principalmente com a NLM veio e com a generativa de isso tá acessível, integrável e rapidamente o pessoal começou a embarcar isso em sistema, eh, na contramão de eu ter o dado estruturado, que foi o que você falou, pô, muitas empresas ainda não tm o machine learning que faz análise e forecast dos dados dela, como ela também não tem o streaming dado real, ela ainda, né, tá tá nessa jornada ainda de de entender esse dado, porque no enfim, todo mundo precisa disso, mas ao mesmo tempo tá acessível a LLM. Então, mas eu acho que a gente vive um grande momento de maturação ainda de entendimento. É o que você falou, tá muito rápido e a gente ainda tá, então acho que tem muito isso, tem tá acessível. Então esses esses dados vão ser integrados nas aplicações, no operacional, no no analítico. Isso vai acontecer. É, será que eh eh vocês comentando aqui e o que me veio em mente é, cara, a gente tem um um uma questão básica que a gente já discutiu diversos episódios aqui, que é, cara, a parte de integração, ainda você tem dados espalhados, né? Eh, e aí agora com essa pressão de [ __ ] eu quero usar EA, não sei para que não, mas eu quero usar para que para que >> achea um jeito aí, >> é, acha um jeito, mas de novo vai cair sempre naquela questão, cara, será que eu tenho dado? será que eu tenho dado contextualizado? Será que o meu dado tá preparado para isso? E aí eu vejo nesse sentido que a confluente pelo pelo arcabolso de conectores, a riqueza desse ecossistema pode ajudar muito nesse processo, porque agora, cara, tá bom, você quer usar, é, mas tem que resolver um problema básico que não vai deixar não dá mais para deixar de lado, né? Eh, e eu vejo muito ainda essa esse esse pelo menos nas leituras e até converso com o cliente ainda esse esse essa esse problema é um problema a ser resolvido ainda, né?

20:04Vai lá.

20:04>> Não, com certeza. É, cara. E na verdade assim, tem um ditado que diz que eu não sei quem disse, não sei, mas que fala o seguinte: >> "Todo ditado na internet você pode colocar qualquer autor que você quiser que vai funcionar".

20:16>> Foi o William. O William criou esse ditado. William >> o William criou esse um ditado que diz o seguinte: todo problema de AI é um problema de dados >> básico. Ponto. Muito fácil de entender.

20:29Se você quer TI, você vai ter que fazer a lição de casa, que é o quê, cara?

20:32centralizar, obter, normalizar, limpar os dados, botar isso no streaming, se você quer ter uma uma algo mais real time, near real time ou não. Mas no final é é essa essa essa ideia de, cara, eu quero ter IAI, eu quero fazer IAI por qualquer que seja o motivo. E eu poderia até listar alguns grandes motivos, né, que as pessoas estão falando sobre AI, mas antes de qualquer coisa você vai ter que organizar. O tipo de esse tipo de plataforma que a Conflent tem é legal por quê? Porque ele vai te ajudar a se conectar, porque tem aquela tecnologia de conectores que em 5 minutos você tá trazendo todas as informações pro flow.

21:09Mas no final o problema vai sempre ser, cara, onde estão os dados, quem que são os donos, o que que significa, né? Então você saber o que significa aquilo e a partir daí sim, pô, você tá pronto, você tá habilitado a ter o whatever você quer, você tá planejando a ter, né? E aí vem as motivações, né? Por exemplo, quando a gente fala de por que que as empresas querem ter a no geral é produtividade de alguma forma, né? Então aí pode ser a produtividade do time interno, pode ser a produtividade de alguma forma ou as algumas empresas estão sim olhando para uma inteligência mais como vantagem competitiva em relação aos aos os próprios competidores e tal, né? Eu quero ter uma interface mais legal, quero ter uma interação muito mais inteligente, quero detectar mais fraldas e blá blá blá. Eh, mas então isso seria um outro motivo, né, de de é e e eu acho que essa parte, por exemplo, tem uma empresa que é a Gllean, eu não sei se já usaram o Glen, o Gleen é uma plataforma de Enterprise AI, que é uma vertente que tá crescendo muito, que basicamente é o seguinte, é uma sacada para mim é fenomenal, porque eu trabalho com AI, sei lá, faz mais de 10 anos e quando chegou o quando começou a estourar, tipo, o chargipt, alelema, ainda não ficou muito ainda não era muito claro para mim como é que a gente ia usar isso. dentro de para aplicações mesmo, engenharia e tal, né? Não tava muito claro para mim.

22:31>> Claro.

22:32>> E aí eu tava olhando muito para essa dimensão de na aplicação, pô, eu quero, eu queria uma aplicação aqui transacional, como é que eu usei nessa sem ser os mesmos casos de uso que a gente implementava antes, que é a anomalia, fraude, blá blá blá, né?

22:45>> E eu não tava olhando para esse lado de enterprise, que é basicamente o quê?

22:49Como a ideia é aumento de produtividade, né, no geral, que é a grande aposta, né, do da AI, principalmente da LLM, o Enterprise é onde precisa de produtividade, que é onde as pessoas estão fazendo tasques, tarefas, né, o nosso dia a dia, não é o meu, a minha a implementação do meu caso de uso, mas sim a forma que eu vou implementar o meu caso de uso. Então, o processo envolvido na implementação. Então, todas as áreas, como elas se comunicam, onde tá a informação que eu preciso, os testes foram feitos, cadê o código? Então, toda essa produtividade que tá em volta da criação, né, do produto em si, é onde a EAI tá impactando para caramba. E o Glin é o quê? É o é seria é o é o líder de mercado mundial de Enterprise AI, que é uma área que, cara, eu nem ouvi falar e de repente já tem um líder que tá arrebentando, tem lá um valuation de quase 8 bilhões.

23:40>> Ô louco, >> tá arrebentando. E basicamente o que que é? é uma ferramenta que conecta várias fontes de dados internos, porque agora a gente tá falando de seas forces, GitHub, Gmail, >> gira >> e compila tudo e faz e vira o seu agente. Daí vem e aí, entendeu? Então é uma aplicação de Ai que muita gente não tava olhando, que traz produtividade na veia, assim, os números animais, cara, 20%, 30%, você salva um dia por semana.

24:08Então, tava olhando dentro do de estatísticas de telecom e era tipo isso, era uma coisa bizarra, um dia por semana você consegue salvar de produtividade dos seus funcionários, sabe? Na área de venda, sei lá. E é bizarro. Então essa é a aplicação de AI que eu acredito que é que a gente tá vivendo hoje. Só que eu acho que a maior parte da galera, igual a mim, a gente tava olhando pro nosso dia a dia, que é, ó, eu crio >> e produtos transacionais, como é que eu trago para esse daqui? Na verdade, a galera tá, muita gente tá tendo sucesso, tá aplicando em outras dimensões da empresa.

24:43Quero falar com você agora que ainda não conhece a Clever. Clever é uma empresa que já tem mais de 3 milhões de usuários em 30 países com 30 idiomas diferentes, que tem trazido soluções em blockchain, criptomoedas e ativos digitais. O objetivo da Clever é te dar liberdade financeira para operar nesse mercado de cripto. Então, se você acredita nisso, se você acredita nessa liberdade, você já pensa como a Clever, vai conhecer os caras, é clever. Estão contratando também pessoal para trabalhar com cripto, com blockchain. Então, se você tem interesse, se você tem conhecimento nessa área, procura a Clever. Se você gosta de criptomoedas, se você opera no mercado, você precisa conhecer a Clever, precisa conhecer as soluções da Clever.

25:23Então o endereço tá aqui embaixo no vídeo. Para quem não tá no YouTube é clever. Vai lá, vai conhecer que realmente é um mercado sensacional.

25:33[Aplausos] E esse é um ponto interessante, cara, porque eh existem de fato essas duas e esses dois mundos, né, quando a gente fala sobre produtividade.

25:47Um é a aplicação da EI na sua operação, que acho que é esse caso que você colocou da Glen, né? onde eu consigo, pelo que eu entendi, do produto deles, trazer uma confluência de todos os dados que atingem ali o colaborador, a a pessoa que tá na operação para dar produtividade paraa operação.

26:06>> Uhum.

26:07>> E tem esse outro momento que você colocou também, que geralmente nós do mundo de desenvolvimento a gente tem um foco maior que é como que eu trago inteligência pra minha aplicação transacional. E aí você logo imagina, tipo, cara, como é que eu faço um web service inteligente para fazer isso?

26:25Primeira coisa que você pensa >> isso. Qual, qual a função da minha aplicação vai ficar inteligente?

26:29>> É isso. Você na sua cabeça de arquiteto, você já define um componente, [ __ ] aqui eu vou estimular esse cara com a mensagem, ele vai ter um processamento, vai ser assim. Você já pensa assim, de uma forma transacional, né? É, >> mas talvez você precise de uma outra abordagem, >> é, >> de que a consiga ter um uma visão talvez um pouco mais ampla do processo como um todo e até do produto como todo, né?

26:53>> Exato. É, é, é o, é o que eu, o que eu, o que eu imagino também, mas >> é essa, essa corporativa aí a gente volta lá no que você falou, Ron, são os dados, né? Então o a riqueza dela ali tá dar tá em trazer sentido para essa quantidade de dados que já estão ali na empresa, já tinha acesso. Só que o processo para você conseguir obter essa informação era apenas então você vê, né?

27:15São é produtividade de novo, mas em cima da obtenção de informação que você já gerava e continua gerando dentro do flow. E é isso mesmo, é economizar um dia de trabalho por conta de você fazer uma query e conseguir trazer um ticket no seu force, um item do gira e um e um fac ali que tá trazendo exatamente como resolve aquele problema. E você fala: "Ah, beleza aqui".

27:39>> É, e esse é só um caso de uso, né?

27:41Porque hoje é porque é o caso de uso que tá tendo mais sucesso, que é esse de aumento de produtividade interno. Mas se você olhar da perspectiva do Gleen, né?

27:50Agora vamos lá e vamos se materializar e vamos virar engenheiro do Glen. Cara, eles estão usando AI pra cara. Eles estão usando muito AI. Você deu um prompt deu um no transacional deles.

28:01Acting as engineer.

28:02>> É o transacional deles. Eles estão usando porque o transacional deles é o Enterprise nosso.

28:09>> Então na verdade se você botar nessa perspectiva, todos os produtos, de uma certa forma tá resolvendo o processo de alguém do seu nicho de clientes. Todo mundo. A rede bancária, >> toda aplicação é transacional em algum lugar. Exato. Então, na verdade, eu acho que é só é um caso de sucesso, porque >> Vou fazer um coaching. Eu gostei dessa frase assim, ó.

28:29>> É, tô me lembrou outras.

28:31>> Fala de novo. Fala de novo.

28:32>> Toda aplicação é transacional em algum lugar. Exato. É, é só uma questão de perspectiva. Eu acho que, e por isso que eu acho bem interessante que você falou, que é se a gente mudar a nossa perspectiva um pouquinho e falar, em vez de falar, cara, como é que eu faço al um pouco diferente, o mesmo, né, que eu sempre fiz, é mudar completamente. É olhar a visão macro e falar, cara, o que que eu tô fazendo? Qual o valor que eu entrego? E aí sim eu tenho certeza que a vai te ajudar e aí sim você vai chegar no ponto de fato, que é como é que a gente traz o verdadeiro valor, entendeu?

29:04E eu acho que tem muita empresa que ainda não percebeu isso porque é difícil. Então pensa só, eu antes de de começar a trabalhar na Conflet, eu fui, sei lá, engenheiro por 25 anos. Nos últimos 10 eu trabalhei com EAI e para mim foi diferente, foi difícil ver isso.

29:21E agora para mim tá bem claro essa por causa, mas teve alguém teve que ter sucesso, uma empresa teve que se tornar líder para eu conseguir enxergar isso, né? Um mercado foi criado, um mercado completamente novo foi criado.

29:34>> Eh, aquilo que a gente via antes de paradigmas de desenvolvimento, etc., de de olhar análise de aplicações, tá sendo transformado de uma forma que a nossa geração que se formou aí há 20 20 e poucos anos não tem dificuldade de olhar isso de fato, né? Eu tenho um pouco de dificuldade de de de prospectar o futuro, por exemplo, que a gente fala muito sobre IA para produtividade, a gente fala muito sobre IA como geração de código, por exemplo.

30:07Cara, isso para mim parece tão e sabe, tão, como é que eu posso dizer, transitório assim, porque >> transitório. Eh, eh, eh, porque, cara, eu, eu vou dar um exemplo do que me parece mais claro assim. Por que que eu vou usar a IA para gerar código se eu poderia ter uma IA que fiz que faz aquilo que o código faz?

30:28A Ia ela ela não vai precisar de código, sabe? Então, a gente tem um momento onde a gente tem que dar tem que dar manutenção nas aplicações ligadas que ainda eh eh utilizam código fonte da forma tradicional que a gente conhece.

30:46Mas a gente vai ter um uma IA que vai ser capaz de resolver o problema que o nosso software resolve. Ainda mais agora que a gente tá falando de Ha, MCP, etc., a gente vai passar a desenvolver software talvez de uma forma diferente de tudo que a gente fez até hoje.

31:03>> Quase uma aplicação on demand, né?

31:05>> Exatamente.

31:06>> Você não desenvolve o software, você vem com problema, o software é desenvolvido, resolve o problema e acabou. ou você tem uma IA especialista daquilo que o input que você tem e o fluxo que você tem passa a ser prompt, sabe? É, tem uma disrupção ainda acontecendo, né? E e em um momento ainda de maturação, né? Desse >> acho que eu fui abrir um parêntese de futurologia aqui que vamos longe agora.

31:29Cara, >> pô, então, talvez você eh explique, bom, o que você falou aqui, na verdade, tá explica um pouco que é uma é uma uma declaração. Eu não eu não eu não li na íntegra, mas o que o presidente da Microsoft falou que acho que no início ano aqui que ele participou de um podcast também e falou que o SAS vai morrer.

31:52>> Uhum. E aí, talvez o que você comentou aqui, não sei se pode ser exatamente isso, ou seja, cara, daqui a pouco a gente já nem precisa codar mais.

31:59>> É porque a a voltando lá na essência, o que uma aplicação faz é resolver um problema de negócio de uma forma estruturada.

32:10A inteligência artificial pode fazer isso de alguma forma, né? Eh, a gente tá acostumado a lidar no momento atual com inteligências inteligências artificiais, processam a linguagem natural e nos dão resultado em texto. Mas isso, por exemplo, inteligências como Geminai, as até as da Antrópica também já são multimodais processam já vídeo, texto, etc. E com os canais de comunicação de Hwaya, MCP, etc., cara.

32:44é especialização do REST para você fazer a integração de entre agentes, né?

32:49Então, acho que os componentes de que a gente tem de arquitetura de software hoje, naturalmente vão passar a ser agentes. E aí, por que que eu tô fazendo esse gancho?

33:01porque a informação precisa fluir entre eles. Eu acho que vai ser muito difícil que a gente chegue a um Jarves de uma inteligência, talvez a gente chegue nesse ponto, mas ela vai ser muito custosa e talvez serão poucas, que são as inteligências artificiais de propósito geral, de fato, que você fala de tudo, mas acho que a gente tem uma tendência aqui de ter uns small language modeles, naqueles temas que você vai ter que fluir informação entre eles e criar um fluxo de negócio, né? E aí, por que que eu tô trazendo isso? Porque tem a ver com o nosso tema do episódio, que é como a gente tem um flow de informações aqui, um fluxo de informações entre esses agentes para que isso aconteça de forma natural, seja via MCP, seja via Hwaya, eh, enfim, ou até como é a nossa realidade hoje, voltando um pouco para 2025, eh, dentro de um componente ali num num contexto de uma solução comum, né, onde eu tenho um agente gente inteligente, lidando com outros componentes mais comuns, digamos assim, não só agentes, mas que eu tenho um backend, tenho um web service, etc. Interagindo entre eles, né? Não sei se eu dei uma viajada muito grande aqui, gente, desculpa.

34:18>> Falar de e não e não tem filosofia.

34:22>> Não, não, não. A gente não tá falando certo de a gente não >> tem que viajar, tem que abrir a mente >> e não estamos usando entorprescente. Só cer uma uma tirar uma dúvida. Vocês acham que eh empresas que já t uma arquitetura orientada a eventos, ela pode tirar mais proveito dos agentes e e da generativa do que aquelas que não tem? Aí uma dúvida que me me veio aqui.

34:45>> Bom ponto.

34:47>> Posso de uma forma direta e reta? Eu acho que sim, porque por conta do desacoplamento, acho que quanto mais desacoplado eh você tiver o seu o seu processo, acho que ele é mais simples de você acoplar a EAI ali e resolver problemas de de formas distintas, né?

35:03Quanto mais emaranhado tiver o seu processo, >> a informação fica mais disponível, >> mais dependente de um, né, de um formato ou algo muito ali, fixo, hardcoded, se a gente pode dizer assim. Sim, >> mas tem um porém, tem um, tem uma pegadinha, né? Dependendo do desse desacoplamento, né? Ou desacoblamento da informação, vamos falar assim, eh você pode ter um problema, porque uma das qual que é o grande, a grande ideia, lembra do Ah, e o problema de EA é um problema de dados, tem a ver com contexto quando a gente fala de LLM.

35:40E você precisa ter o contexto. E o contexto talvez ele vem de fontes diferentes de dados, né, que talvez não tá fluindo naquele mesmo streaming.

35:49Então você vai ter que juntar streamings. Você vai ter >> quanto mais acoplado, menos contexto você tem, né? Exatamente. Então existe sim, tem eh existe vantagem porque fica mais fácil, mas talvez fique incompleto e não seja tão poderoso. Então tem uma tem um tradeoff que tem que ser feito, mas não que seja ruim, porque no final é só uma tarefa que você vai ter que ser e responsável, que é juntar contexto, é criar esse contexto, enriquecer esse contexto de forma que ele fique útil para que a EAI ela e ela tome a decisão, raciocine de forma ideal. Porque também é é interessante lembrar e pros ouvintes que quando a gente fala de LLM é literalmente um auto complete baseado em estatística e senso comum.

36:34Não tem nada mais do que isso. Tudo todo o resto é contexto. É o prompt engineering que vai basicamente dar todo o contexto e e pedir o senso comum ali, a inferência da da EI, né?

36:49Então não tem muito segredo. Então o contexto para mim é a coisa mais importante. Então independente do que você pensar, sempre pense no contexto, porque é ele que vai dizer se você vai ter sucesso ou não.

37:01>> Esse é um ponto importante. Inclusive falando aqui já no entrando um degrauzinho abaixo no Technice.

37:09Como é que eu trato isso dentro do do dos agent streamings eh para resolver problemas? mais complexos.

37:20Agora fiquei com a pulga atrás da orelha. Você você me pegou aqui no contexto, porque a boa prática para a modelagem de de eventos é você ter um domain design muito bem ajustado, né? Então, eu tenho que ter entidades bem definidas, eu tenho que ter eh informações completas dentro daquele pacote de informação. Então, tô fazendo um streaming de clientes, vou passar um tópico com pacote completo sobre clientes, etc.

37:50>> Esquemas, contratos, >> esquemas bem definidos lá com meu árvore bem certinho, tudo. Beleza. Por quê?

37:57Porque isso foi desenhado para um contexto transacional e informacional, >> né? Tenho garantir a estabilidade da informação que eu recebo e garantir a estabilidade da informação que eu produzo. Uma coisa que eu não tenho é estabilidade em LLM.

38:13Como é que eu consigo trazer um contexto que vai além do meu domain driven design, né? Vai muito além do DDD, porque senão eu vou ter um contexto muito limitado dentro do meu DDD, né?

38:27>> Uhum. Como é que eu consigo trazer um agente de fato mais inteligente ouvindo esse stop? Eu eu tô entrando meio que no tecnic case aqui. Legal. É uma pergunta uma pergunta muito e muito fair, muito justa.

38:41>> Porque eu penso assim, cara, tem um agente que tá ouvindo um tópico, esse tópico não tem informação do fluxo completo.

38:47>> Então é, isso aí é interessante.

38:49Pergunta pergunta bem legal, bem maneira. Eh, e aí, eh, a gente pode pensar o seguinte, existem várias formas de você montar esse contexto, né? Porque no final é, cara, como é que eu consigo criar esse contexto de uma forma rica que seja suficiente eh pro pro Lelem para tomar uma decisão pro agente? Eh, sendo que talvez essa informação ela não tá fluindo ela não faz parte do meu streaming, ela não faz parte daquele daquele pedaço, daquele componente da minha arquitetura.

39:23A solução ideal, né, a solução mais famosa e mais efetiva é o rag, certo?

39:29Que é basicamente o quê? É quando você aumenta o contexto, né, que vai ser usado para gerar para para ir à generativa a partir de uma fonte externa de informação.

39:38>> Sim. Mas eu tô falando de de enriquecer o contexto com dados >> estacionários, não com dados em movimento dentro dos meus tópicos, certo?

39:46>> É, e depende, é porque aí depende da perspectiva, porque o dado ele pode estar sendo indexado em real time, certo? Então, uma coisa é o dado, você fazer o join de dois streamings, porque aí você tem alguma chave, algo em comum.

40:02E a outra coisa é não existe algo que é completamente aleatório, que eu não consigo trazer de volta ou o volume é muito grande, fica quase impossível. E aí, portanto, eu vou ter que usar algum tipo de retrieval, né, algum tipo de search, esse tipo de coisa, que aí seria esse caso que eu tô explicando. Entendi.

40:17>> Então, eu teria, desculpa te cortar que eu tô pensando ao mesmo tempo que você tá falando, mas seria tipo, eu teria um uma fonte de de eu teria uma persistência dentro de uma base eh indexada. dentro de um rag e e aí em cima disso eu teria algum gatilho e eu usaria esse dado que tava em movimento.

40:39Eu estacionei mesmo que seja segundos antes para poder enriquecer enriquecer a >> Exato. Exato. Essa é a porque você não tem muito para onde correr, né? Você só tem duas coisas. Ou você faz o join do stream ou você faz locup. Não tem mais nada. Não existe mais nenhuma forma de obter informação. Ou a informação ela tá chegando >> ou a informação ela tá em algum lugar.

41:00Agora, o fato dela tá estacionada ou não é relativo, né? Porque dependendo do tempo de indexação, esse tipo de coisa, pô, a informação é completamente fresca, então depende do meu requisito e tal, que é praticamente quase o mesmo tempo.

41:12Então é muito relativo. Então no final não importa. O que importa é o seguinte, quando o agente ele for fazer o R, o que que é o rag? O RAG é só uma busca. É uma busca semântica. É igual a gente vai lá no Google e busca. Então uma busca semântica. E aí dá para você fazer essa busca de várias formas diferentes. Você pode fazer ela só usando o token, você pode fazer ela usando, por exemplo, um grafo, que é uma um grafo, um knowledge graph, né, que seria muito mais complexo, mas é uma busca que você vai trazer pra gente dizer isso pro pros nossos ouvintes que não tem muita familiaridade, mas geralmente a base de dados de um regnar comum, né? Era uma base indexada de uma forma diferente para busca por semelhança, né?

41:49>> Exatamente. É isso aí. É um é um é o que a gente chama de índex, né? seria um index, né? Você vai usar tipo um elastic search, vai usar um mongo. Hoje até dentro do póst. Então quando a galera escuta fala de vector database, o que que é? É justamente são essas bases onde o texto, né, o conhecimento, ele tá eh num num formato diferente, que é um formato de vetor, seria uma matriz, eh um vetor multi eh eh que uma matriz. E e basicamente toda vez que o LM ele precisa de algo, né, ele o processo vai nessa base e traz o contexto daquela informação que é necessária. Então vai trazer todas as últimas transações do seu cliente, vai trazer todos os chats que foram conversados no passado ou até aquele momento, né? E nada impede que você use time information. A grande questão é a tecnologia em si, né? Quer dizer, eu preciso ter esse search, né?

42:45para poder, porque um outro problema da Llaman do contexto, né? Então, se ele muito grande, talvez estore o o o tamanho da Window, né? Que seria a quantidade de informação que a LM ele consegue processar. Então você tem que garantir que aquela busca ela é muito relevante, então ela vai trazer a informação que é necessária paraa tomada de desdecisão, né? Para colocar dentro desse desse prompt. Então você Mas você não tem nada que impeça de da gente implementar algo em memória.

43:13>> Uhum. um um índex em memória, né? E porque é uma coisa muito não é nada super eh complexo na implementação, falando da implementação em si, né? Uma busca por similaridade. Ah, mas mas >> é, >> se você não tem um acúmulo muito grande de informação, né?

43:31>> Porque senão você vai criar um outro lake, né? Para um para um reg. Se você for e persistir tudo que passa no seu tópico para poder fazer o o aumento de contexto, não vai ter contexto que que resista. Exato. É. Então critério que você tem que ter do que acumular e quando acumular, né, para poder de fato fazer o enriquecimento para aquela tomada de decisão.

43:50>> É, exatamente. Mas enfim, no final, então eu vejo esses duas essas duas formas, né? E aí dependendo do seu contexto, você vai usar uma, outra ou ambas elas ambas para para resolver o seu problema de de criar esse contexto da forma mais rica possível.

44:06>> Show. Eh, a gente fez um um evento em junho no Google aqui em São Paulo e a gente usou um contexto muito parecido com o que você comentou eh que se aplicaria com um agente, mas enfim, a gente pegou dados públicos de saúde do Ministério da Saúde, então a gente fez um uma aplicação para baixar esse esse pegar esse dado e fazer ingestão no Conflate Cloud.

44:34E aí a gente usava o Flink para fazer algum alguns processamentos e depois alimentava a o Gemini para pergunta e resposta sobre coisa de saúde.

44:45>> Uhum.

44:45>> E aí o que que a gente fez? Eh, e aí que se aplicaria um um agente ali num cenário, como você comentou, é, eu poderia ter um agente que ficaria monitorando o que que os as pessoas estão perguntando. Putz, alguém fez uma pergunta, sei lá, sobre diabetes e não tá alimentado lá.

45:02O a base não tá alimentada, não tem no tópico essa informação. Então, [ __ ] manda um outro agente para ir lá no no site, pegar essa informação, baixar, gerar uma reg, uma reg em tempo real, usando o conflant, o cfka, obviamente, para responder isso pro pro usuário que tá pedindo essa informação. Então, cara, poderia se aplicar exatamente o que você comentou. Eh, daria para fazer exatamente esse cenário que a gente a gente fez isso, a gente mostrou isso, como funcionaria usando na conflante cloud, exatamente pensando num num fluxo mesmo, né, de dados em tempo real.

45:34>> No exemplo que eu dei no começo do episódio, que eu comentei essa implementação que a gente fez uns anos atrás aí na numa seguradora, a gente tem o mesmo conceito de arquitetura, mesmo não falando de LLM, não falando de RG.

45:49Por quê? Eu não consigo classificar o seu risco naquele exemplo que eu dei com base numa consulta só.

45:58Então, quando eu recebi o evento de que o ROM está chegando no pronto socorro, eu preciso alimentar o meu modelo com quantas consultas ele teve no passado.

46:10Então, o próprio web service que recebia para passar pro modelo, ele recebia o estímulo daquele evento que estava acontecendo naquele momento, ia na base histórica do paciente, pegava toda o o contexto de dados do histórico daquele paciente e o score de risco que ele tinha atualmente passava pro modelo. Então, com base no histórico, mais o evento que tava chegando naquele momento, ele conseguia fazer uma classificação e aí ele julgava se precisava aumentar ou diminuir aquele score de risco.

46:43>> Legal.

46:44>> Então ele é uma ra eh antepassada, vamos dizer assim.

46:51>> É, é, cara, eu tive >> não deixa de ser uma recuperação de contexto, >> não é? É exatamente igual, a mesma ideia. É só é só o o propósito final que vai ser usado de uma forma diferente, né? Mas é exatamente igual quando você pega busca, por exemplo, e busca e recomendação, esse tipo de coisa, não recomendação, mas busca em si também eu segue o mesmo mesmo, a mesma ideia.

47:13Então eu tive a oportunidade de implementar uma busca por imagem, aquele aquela ideia de que nunca foi pra frente, mas que você tira foto de alguma coisa aí, uma uma garrafa, um objeto, tal, e aí você faz a busca no banco de dados para todas as imagens, né, todos os produtos são relacionados de forma visual com aquele com aquilo que você fotografou.

47:33>> Google Lens fez isso.

47:34>> Google Lens hoje em dia, né? Eu trabalhei com isso em 2014, 2016 e a gente implementava tudo na mão, né? Não tinha implemententava tudo na mão e era exatamente igual.

47:46Era, ou você vetorizava, só que hoje você tem um modelinho que você vai lá, faz o download, gera os embeddings, que são os vetores.

47:54>> Você não precisa se preocupar com isso.

47:55A gente não, a gente criava um modelo que gerava os embedings e que depois e aí você implementava o algoritmo de busca, basicamente, e depois implementava o algoritmo de similaridade e aí depois o algoritmo de ranking, né?

48:09Porque aí você basicamente você faz a a busca, você faz aplica a similaridade e aí depois você tem que ranquear para trazer o que é mais importante. E aí você aplica threshold. Eh, é a mesma, exatamente a mesma coisa. Então a técnica em si, ela é igual, o propósito que é diferente porque antigamente morria ali, pô, tenho meu resultado final, usuário, é isso, fiz o melhor que eu que eu pôde. Dá um joinha aí para eu poder receber esse feedback, né, e alimentar o meu sistema e aprender com meus erros. Hoje em dia não. Hoje em dia você pega aquilo, joga dentro de um prompt, então basicamente um template de prompt que vai direto pro pro LLM e o LLM vai sim gerar algo.

48:49>> A natureza da rede neural já é de detectar o próximo passo por similaridade naturalmente, né? Então ela incorpora esse embeding como se fosse do próprio modelo de treinamento dela, né?

49:01O Rag ele é ele tem esse conceito, né?

49:03de você aumentar a janela de treinamento dela sob demanda, digamos assim, né? Eh, talvez esteja sendo simplista aqui sobre como as coisas funcionam embaixo do capô, mas é basicamente isso. Aumenta os as trilhas de busca que ela tem com contexto adicional fora do do da própria janela de treinamento dela.

49:24>> É, well, preciso estudar essa parte aí.

49:29Eu tô posso estar sendo simplista, mas é é basicamente isso, porque a a rede neural é isso, né? Ela vai buscando as trilhas de similaridade dentro do próprio treinamento, né? Você ela traz esse embeding para dentro do que seria o próximo passo e ela pode pular para um dado adicional que você trouxe.

49:47>> É, é para mim o jeito mais fácil de visualizar é como se fosse uma grande, gigantesca árvore de decisão.

49:54>> É isso. É, é, é exatamente isso. É o jeito mais fácil de você imaginar.

49:59Então, ela é gigantesca.

50:01Eh, e ela tem e aquele caminho, né, aquele, então imagina que cada parâmetro seria um uma entrada, né, seria uma opção de caminho >> que aquele que aquela que aquele >> aquele valorinho no vetor, pega lá o index, imagina um vetor bidimensional, pega um o zero zero ali, aquele numerozinho, o caminho que aquele número vai percorrer, >> cara. E por isso que a gente fala de quantidade de variáveis que tem cada modelo, que é um negócio absurdo, cara.

50:30É bizarro. É bizarro.

50:32>> Agora, como ela pega esse contexto e classifica para poder entrar dentro da janela de de decisão dela, aí temos que estudar os dois.

50:41>> É. Aí, aí tem uns caras que eu posso chamar para você conversar que vão conseguir explicar muito melhor.

50:47>> Mas mas no final é é incrível o que faz e eu acho que a gente tem que aprender a a usar isso.

50:55Eh, e às vezes até essa parte de prompt engineering, a minha sugestão é o seguinte: tentem fazer algo, o mais simples que seja, criem um rag usando não usa Lang Chain, não usa Crew Aii, não usa nada, cara. vai lá e tenta fazer a parada na mão, porque aí você aí dá para entender os passos, né? E como é o geral é é bonito porque é simples, não as os o modelo em si ou como o modelo foi treinado, porque você não precisa, nós somos usuários de modelos, a gente não cria modelo quando a gente tá criando esse tipo de aplicação, mas aí a gente vê na perspectiva de para de programar mesmo, sei lá, 200 linhas de de código, aí você vai criar um rag que vai ser interessante e você vai aprender bastante esse tipo de coisa. Por exemplo, uma coisa que quase ninguém se preocupa é o prompt, né? A parte de prompt engineering. Cada modelo ele foi treinado de uma forma diferente, a maior parte deles, né? E e cada modelo ele foi treinado usando eh prompts diferente, né? Eles foram eh tunados de uma forma diferente. Isso significa o quê? De uma certa forma o prompt que funcione em um não vai talvez não funcione no outro, vai funcionar de uma forma diferente, de uma forma diferente em outro. E quando você começa a criar esse tipo de coisa na mão ali, ver como é que você tá criando e alimentando, né, o que que é o prompt, né, quais são os tokens que você tá passando a ordem, o formato que você tá passando pro modelo, >> você começa a entender essas nuances, eh, você começa a entender isso porque vai ficar claro, não tá mais mascarado, abstraído, né? Porque tem muita coisa que abstrai tanto que a gente não sabe na real o que que tá rolando, inclusive o output, como é que aquele negócio é gerado e tal, esse tipo de coisa. E o rag é a mesma coisa, né? Como é que você faz, o que que é importante? Às vezes implementando, pelo menos olhando a implementação de referência, dá para entender e simplificar, né? Porque aí fica, meu, quando o negócio fica claro na mente, daí é muito mais fácil de você bolar planos para responder esse tipo de pergunta, porque no final você vai entender o quê? que toda hora que a gente faz inferência no modelo, você tem que maximizar as chances de sucesso, trazendo as informações que estão próxima do resultado que você quer. É isso.

53:12>> Então, quanto mais, só que de uma forma estruturada, de uma forma que é que o modelo ele vai entender o que você quer, entendeu? Então, no final é isso.

53:19>> Essa dica é muito boa. Faça uma implementação simples para entender como funciona. Acho que isso vale para tudo, né?

53:26>> Não só para LLM, mas para todo tipo de tecnologia. Faça uma implementação simples para entender como funciona. Uma vez que você entendeu, use a abstração para poder potencializar >> e fazer um modelo maior, tá? Então, pô, beleza. Agora eu sei como é que tá funcionando um rag aqui, porque eu fiz na unha, cara. Aí pega um link chain, etc. e e aí usa a abstração para para dar escala, né?

53:50>> Mas é importante você entender como que a coisa funciona embaixo do capô, né?

53:54>> É, eu acho que nesse caso sim, porque é muito parece muito mais complexo do que é. Essa é a questão, tá? Não é para fazer isso com tudo. Por exemplo, streaming, cara, vai passar o resto da sua vida tentando fazer implementação simples e não vai conseguir.

54:07>> Exatamente. Não recomendo não. Não administre um cluster K. fica sozinho.

54:17Você que tá aí escutando esse episódio bacana e quer levar toda essa tecnologia, essas novidades pra sua empresa e não sabe como, chama o time da VemBERS. A gente pode ajudar vocês com desenvolvimento de software, com arquitetura de soluções, a entender os problemas que vocês estão vivendo e sair do outro lado com uma solução bem bacana. E se você tá escutando o podcast para aprender coisas novas, faz o seguinte, manda um e-mail pra gente no peoplecare@vems.

54:46E você pode fazer parte também do nosso grupo de talentos. Valeu.

54:51Agora o time do Relações Públicas vai gostar mais de mim.

55:00>> Trazendo agora um reforço aqui como cohost. Pedro Busculo, >> boa noite, bom dia, boa tarde.

55:05>> Obrigado, mano. Agora nós vamos entrar no hardcore aqui do Tecni Case. Vamos trazer um reforço para complementar aqui a nossa, que agora eu vou ser cruel agora. Minhas dúvidas aqui, cara, depois desse começo, eu estou fervilhando aqui de dúvidas para para tirar com vocês.

55:22>> Vamos embora.

55:24A a o primeiro ponto que eu queria que vocês esclarecessem, que eu fiquei com a pulga trás da orelha aqui durante o começo do episódio inteiro, é a maioria dos processos que a gente tem de AI são assíncronos.

55:38A grande maioria. Quando a gente tá falando de tomada de decisão em tempo real com streaming, geralmente a gente tem um processo já treinado, muito rápido, eh, ou de enriquecimento de dado ou de persistência. que é estimulado o streaming para manter o flow. Então, chego, recebo uma mensagem do streaming, processo, persisto, enriqueço, devolvo.

56:03Como que eu coloco um processo de AI que é naturalmente demorado e por isso a natureza dele ser assíncrono dentro de um flow e de um streaming, num processo de fluxo de dados.

56:20>> E aí, Pedro? Valendo.

56:22>> Eu sou corrhost, eu vou fazer pergunta aqui para vocês. Eu não vou responder não, amigos. Eu vou >> não >> antes de responder essa pergunta, né, eu queria esclarecer alguns pontos. Não, alguns pontos não. Na verdade, eu quero esclarecer um ponto só. Eh, >> simplificar, viu? Não é para simplificar, não. Então, vamos embora.

56:42>> Quando a gente fala de agente, eh, sistema que usa agentes, né?

56:47Primeiro, o que que é definição de agente? Acho que seria legal a gente falar um pouquinho sobre isso. O mais fácil, a que eu gosto de usar mais é um microsserviço com com o cérebro. Microsserviço que usa de alguma forma elelé, a gente não sabe ainda. O agente em si é um conceito antigo, é um componente de software, pode ser qualquer um. O agente que a gente tá falando, esse AI, agente de AI, é um microsserviço, um componente que tem de alguma forma, que usa de alguma forma LLM. Beleza? É isso que a gente tá falando.

57:17>> E aí a gente pode até contextualizar um pouco mais. Tipicamente é um web, um um microserviço >> que recebe um envelope, vai gerar um request num LLM ou local ou via PI >> para ter a tomada de decisão do que ele vai agir como agente, certo?

57:36>> É. É. Aí você pode ser a tomada de decisão, pode ser a sumarização, aí o intuito, objetiva, vai depender do papel daquele agente. Então cada agente vai ter um papel, vai ter a gente que planeja, vai ter a gente que toma decisão, tem a gente que que vai fazer coisas, né? Então vai chamar tools, esse tipo API, esse tip. Então depende do do papel do agente no flow. É, >> é que eu quero dizer mais que assim, a inteligência geralmente não tá no microerviço, ele é estimulado por API ou por uma chamada externa onde tá o Ll. LM não está dentro do micerviço.

58:07>> Isso é isso. Mas poderia estar, tá?

58:09>> Que seria no caso do native inference, que é quando o modelo ele tá na barriga do serviço de fato.

58:16>> Bom, então só para porque depende se você tem problema de latência, >> você vai resolver. Você não vai jogar o gargalho em outro lugar, você vai trazer para dentro e aí você vai ter resolver lá. Então não, eu acho que não dá para separar. O que importa, a forma mais básica é é um microsserviço que tem a capacidade de usar um LM. Isso é um agente, um sistema de monoagente, né?

58:38Ele é um sistema simples que ele só tem uma capacidade. Uhum. Quando a gente cai nesses nesses contextos ou nessas conversas, né, que são mais complexas, a gente tá falando do sistema multiagente, que ele basicamente ele tem um conjunto de agentes e geralmente cada um deles é responsável e especializado num pedaço do meu processo e e eles precisam de alguma forma se coordenar ou um orquestrar o outro. dependendo da arquitetura de do sistema multiagente, eles vão trabalhar de uma forma diferente. Mas no geral agora eu tenho um monte de componentes, então eu tenho uma arquitetura de multerviço, né, e que e onde cada serviço dele é responsável por um pedaço desse flow.

59:20Então eu acho que você já mais ou menos tá tá já tá entendendo o meu ponto.

59:23Então meu ponto é o seguinte, >> se você tem um processo que ele é complexo ou um sistema que ele pode eh geralmente, né, quando a gente programa um flow, a gente programa o flow, a gente define eh o os steps, né? Então a gente programa os steps, a gente eh programa as condicionais, a gente tenta cobrir todas as situações possíveis e imagináveis. Geralmente Dino consegue, cai nas exceções, a gente vai lá, né?

59:49Não é isso, William? Você, principalmente o que você cria, sempre tem as exceções, né, velho? Cas.

59:56>> Mas quando a gente agora trazendo isso pro mundo de multiagente, o que que esse mundo de multiagente me permitiria? Não ter, mas não me preocupar mais com essas exceções, não precisar pré-definir os flows, né?

60:10Porque basicamente o que eu poderia fazer é montar uma arquitetura onde cada agente ele conhece os outros agentes e ele faz o roteamento de acordo com o que ele acha que é melhor, com as intenções, porque cada agente vai ter uma intenção, né? Então faz parte da do papel daquele agente, né? Daquele flow. Então, eu tenho uma intenção. Eh, então, por exemplo, eu tenho um agente que ele vai obter uma informação, uma transação, e ele vai definir se aquela transação ela deveria ter, deveria ser enriquecida com mais informações de sistemas internos externos ou não, né? E aí é um outro agente que vai fazer o enriquecimento. E aí eu tenho um outro agente agora que vai analisar aquela informação e ver se aquilo pode ser e automaticamente ser gerado um red flag ou se aquilo deveria ir para um operador manual, que seria um outro agente especializado nessa. Então e aí que você começa a compor essa arquitetura, tá? Então, nesse cenário, onde você tem um cenário de um sistema multiagente, que eles são completamente autônomos, porque você não precisa definir o comportamento do agente, você só define o as a o escopo e o e a intenção do agente, né, que seria as os guard rails, né, que seriam até onde se agente tem liberdade de agir, né, quais são as barreiras, esse, entendeu? E aí, e aí nesse momento, é onde a gente tem um sistema que ela é completamente multiagente e que faz muito sentido é trabalhar com o seu flow. E aí é óbvio que vai ter alguns agentes que eles vão ser muito mais rápidos e tem outros agentes que vão ser muito mais devagar.

61:43Então, por exemplo, um agente de research que tem que ir num em algum algum tipo de baixo de dados externa ou na internet para pesquisar coisas, vai ser muito mais devagar do que um agente que só precisa analisar ali uma página de informação e tomar uma decisão, entendeu? Então vai depender do do agente.

62:02>> Ota, quando você fala eh desse flow multiagente e etc, quando você eh pensando, você falou, cada agente vai ter o seu escopo ali, mas quando você pensa no flow como um todo, eles de certa forma vão ser interdependentes ali e como no flow como um todo. Quando você pensa nessa no propósito do flow, não só do agente ali, você dependendo de como você fizer, e aí tá associado um pouco com Willam, com o que o William falou antes de de acoplamento e desacoplamento quando você tá falando de dados, você não acaba gerando um monolitão de agentes ali quando você tá E como é que a gente resolve isso? Como é que esse problema?

62:41>> É, com certeza, cara. É o mesmo problema, né? Isso é o que o que eu vou discutir na no TDC e tal, que é justamente ou o que eu já discuti no TDC.

62:52É verdade, é verdade, >> é verdade. Mas basicamente isso tem a ver com porque realmente o problema que a gente tá falando aqui é o mesmo problema de meu microsserviço, né? Então quer dizer, tinha um monolito, a gente teve a brilhante ideia de quebrar, vamos quebrar o monolito, vamos, vamos criar os microsserviços.

63:08Daí, cara, mas calma aí, para compor o meu valor, né, para resolver meu problema de negócio, eu vou ter que começar a fazer microsserviço, conversar com microsserviço.

63:16>> Existe já o conceito de agent mesh?

63:20Cara, não popularmente, né? Mas vamos chegar lá, provavelmente, >> porque é o que faria mais sentido, né?

63:26Eu tenho um MH que resolve um problema de uma cadeia de valor, que são vários serviços trabalhando de forma conjunta, né? De forma diferente do que a gente trabalharia num service, que seria eh coreografado, etc., com fluxos estáveis, digamos assim. os agentes teriam condições de eh decidir o seu próprio fluxo e não de acordo com a coreografia que eu traria >> dentro do próprio Service MH, né?

63:53>> Se você olhar alguns protocolos que estão nascendo e você inclusive falou sobre o agent to agent, né? Ele é justamente para definir o quê? Porque o agente ele é mais inteligente, você não programa, você só tem que entender qual que é o objetivo daquele agente de existir, né? E aí os agentes eles vão, por def eles vão se coreografar. O protocolo a gente ve é justamente para como é que eu exponho? É para ajudar a expor a razão daquele agente de existir, né, e ajudar os agentes a se comunicarem. Então, na verdade já existe algo, mas a gente não tá chamando de meh, a gente tá chamando de outra coisa, né? Porque a gente tá evoluindo de pouco em pouco. Por enquanto a gente tá vindo desse monolito, né, que seria um sistema eh single agente. E agora a gente tá crescendo. E a analogia que eu queria fazer era justamente de, pô, a gente quebrou o microsserviço, a gente tá quebrando o sistema multiagente também em componentes pequenos. Só que a gente cria um outro problema que é justamente como a intercomunicação entre eles, né, que aí fizeram aquela bagunça que a gente resolveu como com o eventeria.

64:54E é exatamente o caminho que a gente tá indo para responder a sua pergunta. É o quê? É, cara, agora eu vou usar esses protocolos, né, de comunicação para para definir a interface de comunicação, mas e eu vou usar, por exemplo, o sistema igual o Cafka para usar como transporte, né, como lei de transporte para ajudar esses agentes a se comunicarem. E aí quando a gente fala de stream agents, ele passa por isso também, né? ele, porque ele vai ter resolver esse problema também de, cara, eu tenho 10 agentes, 15, 20, 100 agentes diferentes, eu não posso criar essa essa essa dependência forte entre eles, né?

65:29>> Eh, então vai passar pelo é a mesma solução. A gente vai usar a Envit Broker para para quebrar essa dependência direta entre os agentes.

65:38>> Cara, tá ficando cada vez mais legal aqui. Eu tô ficando com mais perguntas aqui. Vamos lá que tá ficando bom. Eh, eh, eu acho que faz muito sentido porque, eh, eu fiz até uma pegadinha na pergunta falando do processo síncrono, mas a natureza do streaming é justamente para que você mantenha um processo assíncrono que possa gerar um outro evento e você não tenha que ter à espera desse processamento, né? Então faz muito sentido que você tenha um agente que tenha um um workload, um um weight maior para processamento dentro de uma camada de streaming, porque esse cara pode receber um envelope, ele processa e coloca um outro envelope numa outra fila que ele pode ser inteligente suficiente para saber para onde ele vai disparar essa mensagem, se é pra gente A, B ou C, né?

66:26>> Eh, agora que agora que você falou do way to eu fiquei com uma pulga aqui atrás da orelha.

66:32>> Uhum.

66:34Quem já programou para para agentes, por exemplo, quando você cria um tool, seja no LC Chain, no CRAI, etc., sabe que você não não faz a chamada de função automaticamente, você descreve o objetivo daquela função, os parâmetros com linguagem natural e o próprio agente ele entende quando deve chamar aquela aquela função ou não de acordo com o escopo que foi definido ali no no tool para aquele agente.

67:00>> Uhum. O Hway é abstração disso a nível agente, né? Então você descreve ele ali de como ser ser chamado e etc, de acordo com o propósito de cada gente e eles através de um broadcast ali, eles conseguem se entender do que do que se comunicar. Mas isso seria síncrono. Como é que eu coloco o o mensageria dentro desse protocolo, por exemplo? Porque eu posso tratar isso de uma forma assíncrona. Uhum. Desde que eu não uso esse protocolo, eu recebo um envelope, tenho uma tomada de decisão de E aí eu tenho que parametrizar isso. Eu vou pro tópico A, tópico B, tópico C. O tópico A pode ser um enriquecimento de dados, o B pode ser uma chamada de um MCP para chamar um outro agente, o C pode ser um outro caminho de acordo com o meu processamento do agente.

67:50>> Uhum.

67:50>> Mas nativamente com os protocolos que eu tenho, ele seria uma chamada síncrona ou não? Não, ele se o assíncrono, o assíncrono versus eh eh síncrono, ele tem a ver com a comunicação, certo? E a comunicação, quer dizer, um agente está chamando o outro. No nosso caso aqui, a gente já definiu que não, porque senão a gente vai criar aquele emaranhado. A gente tá definindo que eu sempre vou ter um broker >> que vai propagar aquela mensagem.

68:19>> Mas o Hway não não define que um agente chamaria o outro. o agente, o Hway, ele vai tá, ele tá mais preocupado em definir a função do agente pro agente ser eh possível de ser descoberto, né?

68:31>> Independente do da forma de chamada.

68:33>> Independente da forma de chamada. Essa é a minha interpretação. Então, por exemplo, se você pega o MCP, que é um outro protocolo, que ele serve para abstrair tools e uso de recurso, ele, a primeira versão dele, ele era assíncrono, era versão, era chamada, é, é óbvio que isso não vai funcionar, mas a intenção do protocolo é criar um standard para uso de tools a partir de de agentes de LLMs.

68:57>> Então, existe mesmo esses todos esses protocolos são protocolos novos, né?

69:01Então, eles vão evoluir de acordo com o uso, >> né? Então, mas no final a gente sabe que quando a gente traz para um auto escala, para uma aplicação Enterprise em produção, não funciona, não tem como, né? Porque você tá criando de novo monolito que a gente já aprendeu que não faz sentido criar, tá certo? fazendo um experimento. Então, tem muita ferramenta que a gente tem framework que a gente usa que ele é muito bom para experimento, para provar a ideia, mas na hora de colocar em produção, cara, você vai ter que refazer, vai ter que criar de uma forma diferente. Mas enfim, eh o que importa é a porque assim, quando você cria um sistema multiagente, existem várias arquiteturas diferentes, tá? A arquitetura vai definir o nível de eh conexão ou relação que um agente vai ter com o outro. Então, por exemplo, você pode ter uma arquitetura onde existe um agente que é um orquestrador.

69:49Então, ele pega a task, a tarefa, ele quebra a tarefa porque ele conhece todos os agentes que estão disponíveis, ele quebra e distribui essas tarefas, tá certo? Então ele é o cara que vai paralelizar. Como é que ele se comunicaria com esses outros agentes? A partir de broker também, porque a gente tá aqui falando de event driven, certo?

70:08Então, sempre vai ser esse a gente vai gerar eventos e vai ficar escutando os os resultados desses eventos. Então, isso é uma arquitetura. Eu tenho uma outra arquitetura onde é mais hierárquica, onde cada agente tem um conjunto de subagentes e ele ele tem uma dependência forte com esses subsagentes.

70:26Ou eu tenho uma arquitetura onde é chamado de, eu acho que é é blackboard ou alguma coisa assim, que basicamente o que que é? Todo agente faz a task dele e deixa registrado em um lugar centralizado tudo que ele aprendeu, a memória dele e todas as taxas que ele acredita que deve ser executada a partir daquilo.

70:44>> Então ele tem uma persistência ali não efêmera para para manter o conto.

70:47>> Exato. Porque na verdade eles estão ele tá compartilhando todo o aprendizado, toda aquela memória e de short term, né, com todos os outros agentes. E aí todos os agentes podem simplesmente pegar aquela mensagem e falar: "Opa, será que eu consigo ajudar de alguma forma aqui a a chegar no objetivo final?" Então, existem várias arquiteturas diferentes que vai definir o nível de acoplamento entre os agentes, né? Mas no final, quando a gente fala de events, event driven agents, né? Multient systems, você tá falando de um monte de agente que vai trabalhar em conjunto com autonomia para chegar no resultado final, que seria o que que é o resultado final? É o que a gente tá falando no começo da da do da do podcast, né, que no começo da nossa conversa, que seria, cara, o objetivo de negócio, qual que é o objetivo que eu quero, qual que é o meu objetivo final?

71:36>> E aí teoricamente, mas sem tese, cara, pra gente chegar nisso que que eu tô falando aqui vai demorar. Tem algumas empresas que estão fazendo que eu sei, a gente tem alguns clientes que já estão implementando, mas é uma é uma assim, se você parar para pensar, >> você tá delegando muita coisa pro agente, né? Ah, >> é. É, mas cara, é é assim, mesmo que de forma didática, esse tipo de de arquitetura faz a gente pensar de uma forma diferente, né, o e perdão, eh, a gente tem o costume como arquiteto e como desenvolvedor pensar no isolamento e no desacoplamento dos componentes de forma muito forte, né?

72:18Mas como a gente já falou inclusive no começo do episódio, né, taca? Eh, o contexto faz toda a diferença, né?

72:27Então, isolar e componentizar esses caras de uma forma muito eh eh >> isolada e componentizada. Ex. É, não tem outra forma de dizer isso, né? Eh, que o exemplo que você falou, tipo, de ter uma persistência não efêmera para aquele componente, etc., que seja distribuída com os outros agentes, faz a gente pensar de uma forma que, cara, quebra alguns paradigmas que a gente aprendeu de isolamento e componentização, que até então era uma mantra na na arquitetura de software, né?

72:59>> É. E e isso daí a gente tá falando de estado, né? Seria, cara, eu tenho uma arquitetura de agentes com estado, né?

73:05É, é um agente que é stateful, ele não é isolado e ele compartilha eh o seu estado com outros componentes. Então, >> é que a gente, cara, o agente ele tá tentando simular ou pelo menos essas arquiteturas iniciais tá tentando simular o o comportamento de um time de fato, né, de um time que tá trabalhando para resolver aquele problema. Então, a gente tá ali literalmente criando um agente que representa uma das especialidades, né? Porque cada gente ele tem que ser bem específico para maximizar o o ou minimizar o problema, né? Minimizar a alucinação, que seria o grande problema nesse mundo. Eh, mas basicamente a gente tá simulando, a gente tá imitando ali os os as entidades, né? As pessoas, o time, os membros do time que tão. E a gente sabe que é muito mais dinâmico do que isso, não é organizado, cara. A qualquer momento você pode falar: "Opa, calma aí, eu achei aqui uma parada para tudo. Olha aqui, ó. eu descobri essa essa coisa nova aqui que pode mudar completamente o objetivo ou o resultado final do do do processo ali, né? Então, acho que que é é diferente, é diferente.

74:15É diferente, com certeza.

74:17>> É de desse ponto, esse esse momento de transição que a gente tá passando nessa história dos dos agentes, etc., como você falou, né? Tem muita coisa mudando muito rápido. Eu, como um bom velho Hanzinza, gosto de reclamar, né? falando o tempo todo. Falo para eles que entendem mais disso do que eu, que a gente tá vivendo num grande beta teste a céu aberto, né? E todo mundo >> é um beta teste em produção, cara.

74:39>> Pois é. Pois é. E com e com acesso para todo mundo, né? Igual vocês falaram antes, todo mundo com um acesso muito fácil para isso, né? E aí acaba >> gerando muita coisa muito rápida com diversos desses problemas que que que você trouxe, né? Eu acho que e aí traz alguns problemas quando o pessoal tá levando esse grande beta teste pra produção de alguma coisa e começa a surgir problemas ali quando você precisa fazer modificações, precisa o negócio começa a escalar de verdade, etc. E aí tem que ter algumas tomadas de decisão e usar algumas coisas como a parte de de streaming, coisas, situações como o Cafca para ajudar a a minimizar algum desses problemas que você tá tá tá tão sendo gerados, né, quando a gente faz essa essa utilização dos agentes com com essas tecnologias muito novas e etcas não toma esses cuidados, né? Então, acho que um pouco do que você falou da parte de streaming e utilizar uma camada, um broker de persistência por esses esses dados, eh, minimiza um pouco desse problema quando você vai para uma escala maior de produção, né? Acho que é por aí.

75:49>> Com certeza, cara. Assim, imagina para que que a gente vai reventar a roda, [ __ ] A gente tá aí há quantos anos, cara? 30 anos?

75:57>> 15 anos.

75:58>> Sei lá. Só eu tenho 25 anos criando um monte de coisa, aprendendo. Vou esquecer tudo isso só porque agora o meu microsserviço ele ficou inteligente.

76:06>> O mais novinho nessa mesa aqui apertou o turbo de um 386. Fala.

76:10>> Opa.

76:11>> Não. Observabilidade, segurança, confiabilidade, escalabilidade, manutenabilidade, eles são é as mesmos requisitos. É igual. A única coisa que mudou agora é que eh esse microsserviço ele vai ele tem ele tem muito mais liberdade, né? Não preciso codar tudo que tem que ser feito. Ele tem liberdade de dentro de um de um escopo ali limitado de agir e raciocinar porque é muito mais fácil e porque ele com certeza vai ir além do que eu poderia programar. Mas todo o resto que tá em volta, quando a gente fala de uma aplicação de produção Enterprise que tem que escalar, é exatamente a mesma coisa.

76:50Esses princípios de arquitetura se mantém, >> com certeza. Não tem nada diferente. A única coisa que vai acontecer é o seguinte, a gente vai ter outros designs, né? Vai criar outros outros design patterns que são específicos para pro problema de de agente e tal que vai lidar com isso. Mas no final, para mim é só software, cara. Engenharia na veia.

77:09Não tem nem cara, esse negócio, ó. Nem traz o seu cara de ai pra mesa.

77:15>> Não traz, vai atrapalhar. Deixa ele só testar o modelo sozinho. É, nem traz. A galera de engenharia, velho. A engenharia na veia, a galera de dados, a galera de engenharia, é os mesmos caras, a galera de operação, a galera de plataforma, esses caras aí. E eu acho que eu gosto muito de me comunicar com essa galera, porque não tá mudando stack. Stack vai ser a mesma. A única coisa que vai acontecer agora é que a gente vai aprender a criar coisas diferentes que antes a gente não sabia criar. Mas a stack é a mesma para mim, pelo menos. A minha é o jeito que eu enxergo, tá?

77:47faz muito sentido, toca, porque, por exemplo, eh, pegar um caso de uso aqui que poderia ser que eu consigo entender como problemático, assim, a gente tem uma uma imprevisibilidade do modelo que é razoavelmente grande. Por mais que você tá o prompt, por mais que você tenha controle de output, input por contrato, etc., O RM ele é razoavelmente imprevisível e ele pode te dar um retorno ali que não tá dentro da sua da sua previsibilidade, digamos assim.

78:18>> Uhum. Se você tem um um stack de observabilidade razoavelmente OK, você pode jogar esse cara para um dead ler ali e estudar aquele caso depois e falar: "Porra, aqui o cara alucinou e foi para um para uma fila que precisa ser a eh de fato analisada para que eu faça um uma retroalimentação e e que tente reduzir esse >> cer absoluta. E eu tava, eu tava pensando porque eu falei de, ah, vai ser criados novos design patterns tal. E tem um que é o é o Judge Agent, que com certeza logo o [ __ ] vai est escrevendo no livro, mas eu quero deixar aqui >> publicamente que eu fui um dos primeiros que caiu. Mas o que que é o judge, né? É o cara que vai julgar se o que foi gerado pelo agente anterior se deve ser levado em consideração ou não.

79:10>> Uhum. que é justamente é um design par completamente novo. A gente nunca teve um componente no final da stack, no final ali do meu pipeline que fica olhando, ó, isso que foi gerado pode leve em consideração ou não leva, não, isso daqui não dá. E hoje com esse tipo de arquitetura de ser multiagente, você precisa ter.

79:26>> É loucura se você não tivesse, justamente por causa dessa desse resultado fuz, né? Esse resultado que é você não sabe o que vai acontecer. Por mais que você consiga testar, você tem um controle ali que, cara, é longe de ser 100%, entendeu? case virou a alucinação, tá?

79:42>> É, exatamente, exatamente.

79:45>> Agora, uma coisa que já que a gente falou da da dessa questão da imprevisibilidade dos modelos, tem um problema que é muito crítico dentro da observabilidade do fluxo transacional como todo, que é a estabilidade dos dados, né? Por isso que eu tenho contratos de eventos, tenho contratos de rest para chamaras de APIs, tem um avro lá, não sei se ainda é o padrão de mercado >> para para para manter a estabilidade dos meus contratos de eventos.

80:15>> E e cara, eu eu tenho tido algumas experiências, apesar de eu não codar mais eh profissionalmente, o você sai do da programação paraa gestão, mas o programador continua dentro de você no final de semana, né? E e cara, eu tenho feito alguns testes ali com algum link chain, com CAI, que eu gosto muito do Crei, etc. E o maior a maior dificuldade que eu percebo dentro desses frameworks, quando você está trabalhando com modelos que são razoavelmente eh imprevisíveis, como todo modelo de LM, é você manter estabilidade do seu output, né?

80:57Eh, esse esses frameworks eles têm algumas manobras para isso, né? Então eles têm retratativas, você consegue validar o contrato, por exemplo, no CREI lá com Pentic, etc. Para manter um resultado estável dentro de um contrato de Jon, etc. Mas isso pode acarretar em mais chamadas de API, por exemplo, e pode te bilar muito mais, dependendo da instabilidade ali do do do seu modelo.

81:23>> Uhum.

81:25Existe algo dentro da plataforma que me facilite trabalhar essa gestão? Porque, cara, se eu tiver um modelo alucinando e e que eu não consiga tratar o output para para fazer esse modelo de informação seguir com uma certa estabilidade, eu posso ter uma trava no fluxo ali. Aí o o jud vai vai precisar entrar para poder manter a estabilidade do contrato dessa informação, porque diferente do de um serviço transacional que você tem controle total do output, no LLM você não tem esse controle total, né?

82:01>> Não é no final com LLM tudo se resume a prompt engineering, né? Você tem que, cara, ser o mago do prompt para tanto ajudar o Ll entender o que você quer que ele entenda, né, >> cara? Mas é uma desgraça esse esse prompting de new. Você fala pro cara, eu preciso de um output estruturado em Jon.

82:23Aí ele bota o Jon dentro do Markdown.

82:25Eis aqui o seu dis. [ __ ] Ô bicho, ele deu de Jon.

82:30Mas vai >> a a Apple trouxe no acho que no WWC desse ano, algumas algumas coisas nessa linha de geração de código baseado num template.

82:43E o e ele ele põe esses exemplos mesmo.

82:45Você faz uma chamada LLM para gerar lá uma classe, ele gera a classe, eis aqui a sua classe e aí o código, quer dizer, aquilo não já não passa no par. E ele tinha algumas algum alguns steps ali que auxiliavam exatamente nessa geração de código previsível, né? E isso fazia parte do framework do do Excode que tá vindo, deve deve ter vindo, né? no caso, >> foi a WWC desse ano >> para trazer isso. E eu vi que era bem focado exatamente na geração de código tradicional com uma previsão do do output ali. Isso rodando com modelos locais ali dentro do do Excode. E >> a função era essa de conseguir trazer previsão no output gerado pra geração de código.

83:26>> Sim. Eu abordei esse tema porque eu eu fui dar uma olhada por dentro do CR como ele trata isso. Quando você faz lá o contrato, cria uma classe lá pidantic para ele eh garantir o output daquela classe, cara.

83:41por dentro ele tem um inferno de código para você poder para poder pegar o retorno, fazer um parcer e aí ele tenta tratar, encaixar no contrato. Se o contrato não, se se não bateu com a com a tua classe de definição, ele chama de novo.

83:55>> E isso em larga escala, porque você tá fazendo um teste, beleza? É, rodou bonito, você não sabe. Mas, cara, quando você faz eh para um modelo corporativo que você, pô, em vez de uma chamada, ele fez cinco, fez seis, fez sete, até poder ter o retorno correto, você tem uma instabilidade do bililling e de de escala que você tem que ter para aquele modelo que é muito grande, entendeu?

84:23>> E aí a gente tá falando de controle de alucinação, basicamente.

84:25>> Sim. É exat >> aquele aquela conversa de de modelos hiperespecializados.

84:29>> Não, isso que eu ia eu ia falar, a gente tava conversando sobre alguma coisa parecida. Eu o que que eu acho que vai que existe, né? Deve ser modelos que são tunados. Aí sim, o modelo tunado, não, o prompt responder com mais acurácia, né? Então tem modelos que eles vão responder com mais acurácia, o parse, né, do output e tem outros que vão responder com menos acurácia. Aí eu acho que talvez o que a gente vai conseguir ter vai ser vão ser, sei lá, o talvez poder usar modelos, né?

84:58Lembra que eu falei daquele design pattern que pode exigir que é o jud, né?

85:01Que é o que é o agente que só fica ali só vendo se ninguém tá falando merda, né? Tipo, isso, você vai ter a gente que vai talvez ser especializada em só fazer o output final baseado em todo o contexto. Lembra aquele black, aquele blackboard que eu falei? Então você usa aquilo como a gente que ele só serve para fazer pars e ele tem uma corácia muito grande de fazer parse porque ele consegue cara extrair informação e ele entende muito bem o outputs. Então talvez a gente vai acabar indo por porque, cara, o que o Crew tá fazendo é prompt engineering, ele tá tentando e aí ele tá, por que que ele tá usando várias vezes? Provavelmente ele tá aumentando ou diminuindo a alucinação, né, que seria o >> Sim, temperatura, >> é, mudando alguns parâmetros e tentando outra vez até, sabe, ele tá forçando, ele tá ali, é brut force, né? Porque não tem como garantir, é brut force. Então, o único jeito de resolver esse problema seria você ter um agente. Aí de novo, por que um agente? Porque aquele agente, a única preocupação da vida dele, isso é importante entender, o agente eh, todo LLM, quanto menos contexto, quanto mais específico o contexto, mais específico o papel, melhor o resultado. Isso a gente já sabe. Então, quanto menos responsabilidade você dá pro mesmo agente, melhor ele vai desempenhar.

86:21Então, nesse caso, cara, o meu problema é o quê? Fazer o passe e garantir que o meu resultado ele é compatível com o meu esquema Restry, por exemplo, com o meu contrato do esquema Restry. O que que eu faria? Eu criaria um agente que só serve para isso, para maximizar o meu o meu sucesso em uma chamada só, por exemplo.

86:39Então, >> e naquele agente você define qual modelo que você vai usar para aquela ação específica do agente.

86:44>> Exato. E aí você e aí com isso você pode usar agentes que eles são não são agentes de raciocínio nem nada disso, mas são muito bom em código, principalmente para essa parte de de para essa parte de parte. Porque uma coisa que é interessante também quando você vai nesse mundo eh esse mundo multiagente é entender que cada agente ele pode usar um tipo de modelo diferente >> que é especializado naquele pedacinho daquele contexto. E aí vão ter modelos que vão ser maiores, modelos que vão ser menores, modelos que são remotos, outros que são locais, entendeu? Então você tem essa liberdade >> e aí você consegue distribuir a inteligência de forma mais inteligente.

87:18>> Exato.

87:18>> Né? Pois é. e e dizem que os modelos da Antropic, por exemplo, são mais eh específicos justamente para geração de código e e outputs estruturados, né?

87:31Enquanto os outros foram projetados para ter uma interação humana mais próxima, né?

87:35>> É. Então, e aí você pode conseguir, por exemplo, fazer um mix aqui de um agente que ele tem uma interpretação melhor do problema na ponta e aí cascateia para esses outros agentes que têm uma interação que precisa gerar um output mais estruturado, uma geração de código e aí com agente mais antrópico, um cloud, etc.

87:56e conseguir montar uma solução híbrida que de fato atenda o resultado final com otimização. Porque e esse é um ponto que eu queria abordar também, na prática você consegue com esses frameworks e com com esses com esses brotces que a gente tem, etc, e com com os frameworks que a gente tem, é basicamente com o modelo resolver qualquer tipo de problema. O problema é a eficiência que você tem disso do ponto de vista de eh ponto de vista computacional e financeiro também, né? Então, às vezes uma solução que, cara, uma chamada de API a menos ou a mais em larga escala pode dar um uma diferença financeira muito grande, né?

88:41Eh, essa semana, por exemplo, tava fazendo uma volumetria de uma aplicação, cara, tipo para 200.000 chamadas, que era para análise de um arquivo de alguns megas, né, cara? você reprocessou o input token, já foi pros caralhos, já você teve que fazer de novo uma a mesma chamada. Então isso dá um impacto na eficiência da aplicação do ponto de vista financeiro, que pode ser muito grande, né?

89:04>> É, e eu acho que é um dos fatores que ainda tá impedindo muita empresa de ter sucesso com com JNI. na é minha impressão, não tenho nenhum dado para justificar, >> mas eh eu lembro que eu vi, eu tava estudando Telecom, tava me preparando para conversar com o cliente e eu vi essa estatística falando que >> que Telecom de 60% das empresas de Telecom tinha projeto de GNI, né? Tava iniciando e só 15% conseguia colocar em produção, o resto todo desistia. E aí tem vários motivos, né? Tem falta de conhecimento especializado, né? Então, um cara tenta fazer, chega na hora, fala: "Eu não faço a menor ideia que eu tô fazendo, desiste, desiste, desiste." Você tem, >> é mais comum do que parece.

89:49>> Não é porque tu não falar: "Mano, é fácil, fácil. Vamos aí, vamos aí, a gente faz." É o criar versus comprar, tá ligado?

89:55>> Daí tem isso, tem os eh tem eh o Time to Market, que é eu passei, eu tive essa experiência, felizmente, de, cara, demoramos muito para criar parada, agora ninguém quer mais ou já tem um que é bem melhor, ferrou.

90:10E tem os os costos, os custos escondidos, né, os hidden costs, que é basicamente isso que é, cara, tem muita coisa que a gente não calcula ou quando a gente vai fazer, a gente faz aquele average e cara e no no hora do vamos ver, meu amigo, ferrou, né? E brut às vezes pode resolver, mas não é >> aqui custo, né? Que custo nesse ponto.

90:32>> Examente. Não é viável. Galera, agora a gente colocou todo esses essas eh esses essas, como que posso dizer? Não vou dizer dificuldades, mas essas etapas que a gente tem para atingir o modelo, desafios. Desafios são corporativamente bonitos, né, cara? Aceitável, né? Você fala: "Pô, tô com a dificuldade, não, tô com desafio." É corporativamente mais aceitável.

90:57>> O que seria da gente sem desafios?

90:59>> Examente. É isso aí. desempregado.

91:04>> Pobre coitado, banda de pobre coitado local.

91:07>> É o que eu sempre digo, né? O que seria do cara de ter sem problema para resolver, né? Aí eu tava [ __ ] O cara reclama de problema, mas que seria de nós sem problema, né?

91:15Eh, como que a plataforma da Confl pode ajudar pro cara que tá vivendo, por exemplo, desafios como que eu o que eu coloquei aqui para vocês, eh, como que a gente consegue utilizar a plataforma para acelerar eh seja monoagente ou multiagente, eh, uma empresa que tem oportunidade de automação ou de insites de de melhoria no processo, etc., e ter uma adoção de agentes dentro da operação dela.

91:49>> Posso começar e depois você vai no específico dos agentes?

91:52>> A gente falou um monte de coisa aqui hoje. A gente falou da necessidade de você ter essa comunicação assíncrona de forma segura, de forma escalável, etc.

92:05Bom, você tem aí o CAFC. Eh, a gente falou muito de esquima de contrato de dados e etc. a gente falou de ter controle sobre isso, de ter garantir a qualidade dos dados, etc. Ou seja, você precisa ter uma governança em cima desses dados. E aí você tem que manipular esses dados ali para você conseguir ter contexto e etc. Aí você tem que ter o processamento desses dados. E aí com o da conflit o o lance é que a gente se propõe a uma plataforma completa de streaming de dados. Tá? E tudo isso que eu que eu falei são os pilares principais que a gente acredita que compõe essa plataforma. É a parte do streaming, a parte da conectividade para você conseguir interagir com o streaming, para ter facilidade de você produzir e consumir esses eventos, a parte de governança e a parte de processamento desses dados para aí você conseguir enriquecer e trabalhar com esses streams em eh eh eh eh em tempo real ali, né? E aí toda essa a dentro dessa camada de processamento, muito dessa parte de agente, de inferência e etcaixa.

93:13Então a a plataforma de streaming da Confluent completa, né, que vai muito só do Cafloba todos esses grandes pilares, né? Então eu acho que essa é é o lance e muito além só do Cafeta de streaming de dados, né? tendo, cobrindo todos os as coisas que a gente conversou hoje, que tá tudo bem no contexto. E aí dentro dessa parte de gente, a gente tá evoluindo com algumas coisas bem específicas, especialmente no no na questão de processamento que acho que o TACA consegue falar um pouquinho mais das coisas com com o Flink que tá emedado dentro da plataforma, etc. que que tá que vai mais específico aí no assunto. A gente pode dizer então que eh paraa gente chegar nesse estado que o TACA vai colocar agora sobre o o uso dos agentes, a gente tem alguns building blocks que a plataforma da Confluente consegue trazer um acelerador aqui justamente para que eu consiga chegar nesse estágio, né, para poder trabalhar com streaming, trabalhar com governança e ter algo que eu não consiga, que eu não precise ter o overhead de operação de desenvolver dentro da minha própria companhia, né? Isso. E teve aquele um um ponto que a gente falou que assim e independente você tá falando de de microsserviço, de agente, alguns princípios de arquitetura ali eles se mantém.

94:30>> Uhum.

94:30>> né? Eles ainda são se fazem necessários.

94:33>> E aí esses componentes dessa plataforma de estime de dados, esses esses componentes básicos ali que você que são permanentes ali de arquitetura, eles estão ali, né? E aí falando específico da conflit oferece isso de uma forma eh robusta, segura e etc, que para assim para pr pra galera utilizar, né?

94:52Chegando até no no nível de ter eh isso gerenciado para você, né? Ali para facilitar a adoção.

94:59>> Amo serviço gerenciado.

95:02>> E pô, você não falou do streaming agents, cara?

95:04>> Essa era é é a parte para você. deixa para você, amigo.

95:08>> E é óbvio que é muito importante a gente começar sobre a visão macro, né? Toda vez a gente fala alguma coisa e a e eu queria falar sobre a visão macro da conflant em relação a o mundo de agentes, né? Que é basicamente o que eu tenho, o que eu que eu tô falando até basicamente desde o começo da dessa conversa, né? Que essa ideia de o um sistema multiagente, ele tem que ser event driven e a gente já discutiu vários pontos, né? a gente discuti alguns problemas e tal, fez a analogia em relação ao monolito, quebrando para microsserviço e o problema que isso gerou e é tudo igual. E a visão da conflit é justamente essa, é é trazer o agente pro flow, pro streaming. E e a e com isso a Conflet, ela lançou esse esse produto novo, né, essa esse conjunto de features que talvez no futuro vai virar um um pilar muito importante da empresa do do produto, né, de DSP, que é isso que a gente chama de streaming agents. E ele é baseado num numa num subprojeto do Flink chamado Flink Agents, que é uma colaboração entre a Conflet, o Alibaba, LinkedIn, Veverka, outras empresas que basicamente traz a capacidade de criação de agentes para dentro do Flink, porque aí vai ser um agente que ele tem estado, ele é um agente que ele ele pode ele ele tem observabilidade, ele tem vários outros mecanismos, né? Ele e ele parte a ele parte de um dado que tá que faz que tá dentro do show.

96:38>> Per, pera pera pera pera aí, pera aí. Tá falando que aqui depois de 1 hora e meia de episódio, você me fez imaginar que eu ia ter que instanciar um agente usando Springboot, Fest API, etc.

96:53>> E ouvindo tópico, etc., botando agente de APM, etc. E agora você me chega aqui >> falando que tem um projeto >> do da família do Flink.

97:04>> É.

97:05>> Ah, cara, volta, volta. Ô, produção.

97:10>> Mas esse é o segredo. Esse é o grande é o grande falar no final. Não tem graça.

97:16>> Foi de tudo isso, cara. Eu >> resolve. Vamos resolver na edição.

97:18Depois resolve na edição. Pensando aqui como é que carregar módulo de APM no Festpi PI para rodar com >> Não esquece tudo isso, cara. O que que você vai fazer é o seguinte, a gente tem, a gente lançou já uma primeira versão do produto, né, que basicamente você consegue definir com com SQL, né, que seria a linguagem principal do Flink de alto nível. Você vai conseguir definir lá o seu agente, o comportamento do agente e a Confet ela vai gerenciar aquele agente. Você vai conseguir fazer chamada MCP, você conseguir fazer inferência. Então tem alguns algumas coisas mais complexas que já são eh de comportamentais, né, paraa interação entre os agentes. Então já tem uma série de coisas que é bem legal e que elimina completamente esse esse design pattern, que é o que muita gente tá fazendo, que é ter esse sistema externo fazendo o pulling da informação, né? Então a gente vai, isso mata. Esse seria um dos dos das coisas que a gente não não acredita que que um um sistema, um da streaming ele deveria ele deveria ter, né, que essa essa esse essa dependência externa só porque é AI, né? Então não, a gente tá trazendo isso dentro do vai ser só mais um do seu streaming e a observabilidade é completa, a parte de segurança também já tá resolvido e e aí você vai, >> cara. E mas como é que isso funciona?

98:41Tipo, é um é um SDK boto numa aplicação minha e plugo lá ou é um SAS completo que >> eu defino dentro da aplicação? Me dá um pouco mais de detalhe disso que eu vou >> então ele é é completamente gerenciado, né? Ele é ele é construído em cima do Flink. Então o Flink ele é basicamente um grafo, né? Um sistema distribuído de processamento distribuído em grafo. E e você tem operators, né? Você tem operações são pré-definidas.

99:06>> Basicamente o stream eh o stream agent ele vai ser uma dessas operações que representa um agente. E aí um agente ele tem comportamento, ele tem um papel, ele tem uma descrição, né? Então, a gente tá usando os protocolos de Wange para definir o papel de cada gente. A gente usa a MCP para definir as tools que vão ficar disponíveis, né, pro agente. E basicamente ele é gerenciado pela conflit. Você instancia, você declara o agente.

99:32>> Uhum.

99:32>> E você coloca ele literalmente para processar os dados que estão vindo do flow. Então você fala: "Ó, tá vendo esse? Eu vou fazer o join dessas duas informações e eu quero que isso faça parte do contexto desse agente. E aí toda vez que uma formação daquela fluir, uma uma chamada de agente vai ser vai ser executada. Então eu vou entrar na plataforma da Confluent e aí eu vou ter dentre todos os componentes que eu já tenho lá, que que eu já conheço e que boa parte dos nossos ouvintes também conhecem, eu vou ter a possibilidade de colocar um step dentro do meu flow, que aí eu vou instanciar um agente que provavelmente vai me pedir o modelo, chave do do modelo, etc, pra chamada de de API externa, etc. E aí eu vou ter alguns campos ali para definir persona, eh, papel, etc., dentro da própria plataforma com linguagem natural. E aí ele vai realizar esse processamento e vai me dar métricas ali de retorno, de output.

100:30>> É isso aí.

100:31>> É isso.

100:31>> É isso aí. E nessa primeira versão a gente ainda não tem um IUI, um negócio bem legal, mas na segunda versão já tem, você já vai ter ali o painel de visualização, você vai conseguir já fazer todo o debugging, né, do agente.

100:45Uma característica muito importante desses stream agents é a possibilidade de você dar um replay no agente, né, que é uma coisa para debug, é importantíssimo você entender o que aconteceu, o resultado, né, para para melhorar. Então, então isso também vai ser possível. E aí ao longo do tempo tem várias outras coisas bem legais que tá no roadmap que eu não posso falar aqui agora, mas é porque é bem é bem bem interessante.

101:08>> É bom porque vocês vão voltar aqui para para contar o futuro. Agora uma pergunta curiosa e que eu sei que vocês sabem, mas talvez vocês não possam dizer, mas se vocês puderem dizer, eu ficaria muito feliz. É baseado em quê? Esse agente que eu sei que a Confluente trabalha com bastante open source, colaboração.

101:27Ele além do flink por trás, ele tem algum tipo de framework que opções.

101:35>> Então ele é baseado nesse projeto chamado Flink Agents, que é um subprojeto do do Apach Flink.

101:43>> Ah, tá. Então tem uma tem um uma FIP, né, que é basicamente descreve Flink Agents, né, que a gente desenhou >> com em design, a gente fez o design eh coletivamente com essas outras empresas que eu falei, né, o LinkedIn, Iveca, Alibaba, né, e outras empresas. Então, a gente criou essa especificação >> e o que que a gente fez? A gente fez a versão gerenciada, que é o que a gente nomeou de Flink Agents, mas é baseado, basicamente ele é uma camada acima do Flink. Então ele usa o day stream API, ele usa o table, o table eh table API e ele é uma camada acima de abstração em cima do Flink que usa todo o controle de estado. É basicamente uma operação nova no Flink que vai usar todo o controle de estado, todas as capacidades de de processamento do Flink, de distribuição para criar essa essa figura de agente. E aí a gente criou as conexões, né? Então usando essas essas esses protocolos novos, né? Que seria o AG to engine para definição de agente.

102:42>> Uhum. e o de MCP para para possibilitar o seu agente de usar MCP eh MCP servers.

102:50>> Então o próprio agente ele vai ser um MCP clients por default, né?

102:54>> Uhum. E e já tá disponível para quem é cliente da Conf?

102:57>> Já tá disponível. Não a, né, Pedro? Não, Di não, que é essa primeira versão que que não tá disponível na na console ainda, toda a parte de UI e etc, mas já vai early access dá dá dá para ser acessado, dá para ser utilizado.

103:15>> Legal. Se quem tiver interesse, for cliente da conflent, se mandar mensagem aqui, vocês dão um jeito, o cara testar.

103:21>> Valendo. Redireciona a mensagem pro celular, pessoal do Pedro. Cara, >> não, a Eu acho que a sugestão a sugestão adequada seria entre em contato com o seu account team, >> seu time de conta, o responsável pela conta e >> provavelmente a gente que vai aparecer, entendeu?

103:42>> Vai rodar um round robin nessa mesa aqui, ó. Vai aparecer um dos três aqui.

103:45>> É, vai aparecer um da gente ou talvez o Lucas, a Rosane.

103:50>> Vai, mas é um vai, alguém vai aparecer lá e vai ajudar.

103:53>> Legal. Eu fiquei curioso para testar essa parada também. Quero, eu tô, tô nesse hype aí de voltei o a minha época de coder e quero quero fazer o meu, os meus benchmarks, >> não? No site da Confl tem uma demo muito muito interessante que mostra exatamente esses conceitos >> do stream chegando, ele fazendo busca de do chegam pedidos, ele busca pedidos em sites eh teoricamente concorrentes. Aí com esse dado em mãos, ele chama um LLM para limpar essa informação e deixar ela estruturada. E aí no final ele dispara um e-mail. Aí como ele dispara o e-mail?

104:29Porque eles chamam MCP que tem a capacidade de mandar e-mail e e-mail no flow do Flink, no flow do streaming. Ah, é aquela demo dele para comparar o preço, né?

104:40Prficação dinâmica. Então eleou o preço atual, busca o preço nos concorrentes, >> aí manda o e-mail pro pro seu comprador e fala assim: "Não, eu eu bato o preço do concorrente, tá aqui, eu te faço por quanto?" Por quanto? Cara, isso é muito interessante. Mas eu vou fazer uma crítica aqui até pro pessoal achar, não achar que é episódio patrocinado. Não é não, viu, gente? Eles estão aqui porque os caras são bom mesmo. Eu gosto de conversar com eles. Eu gosto muito desse tipo de, eu falei, eu sou fã de solução gerenciada, mas ao mesmo tempo como red de arquitetura, me incomoda o acoplamento de regra de negócio em uma plataforma, né? Isso é um tradeoff que precisa ser lidado de acordo com a sua estratégia, né?

105:25Eh, você tem que medir aqui o seu retorno e a facilidade que você tem de de ter esse tipo de coisa, né?

105:31>> É verdade. Com certeza. É, é tradeof, cara. Tradeof. Lembrando também que teoricamente com um sistema multiagente você vai diminuir, na verdade, o que você tá fazendo é o deploy dos agentes, né? Uhum.

105:43>> Eh, que que vão ser autônomos e vai ter uma característica, vai ter um um prompt engineiro ali envolvido nele, né, definição dele e tal. Então, essas são as coisas que você vai tá trazendo, né?

105:56Agora, as coisas que é hardcore, que ainda é regra de negócio, ainda ainda fica a maior parte deles ainda fica para vai ficar dentro da aplicação.

106:05>> Mas um um um negócio nesse ponto aí, nem tanto específico dessa desse toro.

106:10Lembrando que a Confluent ali é o pessoal do Apch Cafca, né? Então, e aí junto agora o pessoal do do Apach Flink, o que o TAC comentou, essa história, a gente tá vai entrar na conforta, etc.

106:23Mas é uma FIP, >> né? O que que é a FIP? É um uma proposta de entrar na no no upstream, no open source do do Flink.

106:34>> Então você vai ter a sua você tem sua implementação ali, seja na na solução da Conflant Cloud, no gerenciado, mas tanto a a parte de CAFCA que você tem dos seus clients, etc., tanto a parte que você vai estar implementando nisso, eh, esse acoplamento na no vendor, né, no fornecedor, ele acaba sendo tão forte eh no no na sua da parte que você tá implementando do seu negócio, porque ele todas essas soluções gerenciadas ali, todas são baseadas nos projetos open source.

107:05>> Sim. É por isso que eu fiz a pergunta do do que era baseado, justamente porque eu preciso ter uma equivalência, mesmo que eu seja louco de trazer essa minha operação para eu fazer sozinho, eu não vou ter grandes impactos na arquitetura e na forma de lidar com o negócio. Se eu quiser, tipo, amanhã fazer um KFCA gerenciado e usar o Flink aqui na mão ou usar um outro serviço, etc. Consigo ter >> Boa sorte. Sim, concordo contigo, >> cara. Mas eu vou, é, eu vou ajudar você a crucificar, a gente mesmo, né? Não crucificar, mas fazer uma um advogado do diabo, mesmo que temha, porque o que o Pedro falou tá 100%, né? A gente tá criando algo que é no geral, né? Então você pega, por exemplo, o table table flow, que é uma outra solução que a gente tem, que basicamente materializa tópicos no formato iceberg, por exemplo. Então, é que segue um um standard de alguma forma ou algum projeto open source.

108:02mesmo isso ou mesmo Flink, né, ou mesmo Cafka, sempre existe features que são Enterprise, são especializados, que é o nosso a cereja do bolo e que não vai existir e que provavelmente é uma das melhores features que você não vai ter em lugar nenhum.

108:17>> Isso, enfim, >> até porque se fosse a mesma coisa ficava com open >> exatamente não tem ainda tem o o >> a operação, etc.

108:22>> É, ainda tem a operação que seria o que ainda daria lucro e tal. Não lucro, mas daria não o lucro, daria revenue pra empresa.

108:31>> Mas é o tradeoff. Eu acho que você já colocou, cara, como arquiteto, você vai ter que fazer o tradeoff. O tradeoff vai ser o quê, cara? Custo. Lembra que a gente falou, 60% das empresas de Telecom tá começando projeto, 15% consegue colocar em produção. Por quê? Então, a questão é quem que você quer ser, os 60% ou os 15, né? Então, se você tentar, e tem a ver também com eh comprar versus eh fazer, né? E quando a gente fala de fazer, é muito importante, né? Que é o build versus buy. Quando você fala de build, quando você eh constrói algo, você tem que lembrar que tem pelo menos três custos envolvidos, né? Que é o custo upfront, né? Que seria o custo de iniciar o projeto e criar o projeto em si, criar a parada, criar essa e isso baseado no open source ou que que seja que você escolha.

109:23você tem o custo de manutenção, que é aquele custo que vai vir depois para manter aquele troço, e você tem o custo de oportunidade, que é o tempo que vai demorar para você criar isso antes de você começar a ter valor. Então o tradeoff, né, é muito mais >> nessa perspectiva, olhando o negócio do que a tecnologia em si. Não, eu eu sou total partidário a serviços gerenciados, por exemplo, mas como como você bem colocou a questão do build and buy, ele vem bem antes do arquitetura de solução, por exemplo, ele tem uma camada ali executiva mais ligada à arquitetura corporativa, etc., onde faz essa análise que não é estritamente técnica, né? Mas um arquiteto responsável, ele precisa ter um caminho de saída. Por mais que o tradeof ele tenha uma compensação, né?

110:16>> Uhum.

110:16>> O problema é quando você tem um loquin que não tem saída, que aí você tem um um problema.

110:21>> O blaz isso.

110:24>> Isso. Não seja o blaze.

110:25>> Para vocês que usam blaz, cara. Eu não ia falar nome de produto nenhum. Eu >> ninguém me falou. Eu já falei nome de empresa. Falei nome de abraço pro pessoal do Blazer. Se quiserem vir aqui e levar uma surra. Estamos, estamos aqui. Mas cara, eh, é, é isso. Você porque assim, uma coisa é você ter um loquin justificável, intercambiável, mesmo que você tenha prejuízo na operação, né? Então beleza, tô indo para um CAFCA gerenciado, para um Flink gerenciado e talvez para uma FIP do do Flink que eu estou totalmente gerenciado e não tenho problema de operação. Cara, amanhã a Confluent fodeu 10 vezes o meu contrato, eu vou ter um problema de operação, mas eu tenho eu tenho eu tenho para onde sair, entendeu?

111:14>> Não faz super sentido.

111:15>> O problema é eu não ter porta de saída, né? O que muito se eu erra, muito sítio erra e fala: "Porra, mas é muito bom, vou para lá". Aí, cara, o mundo muda, tem guerra, etc. Você tem um um contexto não técnico que te coloca numa sinuca e você não tem para onde ir, teu negócio tá na mão, né? Então, eh, um ponto positivo aqui é que a gente trabalha com opções, né, eh, que são intercambiáveis, digamos assim, né, não tem não tem um uma ciência mágica aqui que >> que só seria a confia a única opção, >> né? E eu acho muito fair e como eu falei, não é patrocinado, mas eu acho muito bacana ressaltar isso. Quando o vendor ele te mantém pela qualidade do serviço, não por falta de opção, né?

112:04>> Ah, com certeza.

112:04>> Então, cara, beleza, eu posso ter um Cafka na no meu data center, se eu quiser, eu posso ligar um monte de SC2 e instanciar lá um monte de cluster do de Cafca. Eu vou ter uma dor de cabeça, né?

112:16Mas é Cafca.

112:18>> Sim. Agora, eh, eu posso ir para um serviço gerenciado como confluent porque eu vou ter benefício e não porque eu só tenho a conflant, né?

112:27>> Eu acho que isso é é o ganha ganha, né?

112:30>> É a única forma de usar ficar etando na confl.

112:32>> Exatamente, né? Mas é, >> mas a única forma de usar stream agents é na con pelo menos por enquanto. Por >> enquanto por enquanto enquanto porque a parte legal também de ser baseado numa FIP é que logo mais teremos comprar e e uma característica da da confront, né?

112:50Muito de projetos, por exemplo, como o Cafka ainda sei lá, 80% dos comits ainda saem dentro da na conflit. Então é é um ciclo natural. tem um um investimento ali da empresa, um feature, entra é disponível com uma feature enterprise ali, etc. e eventualmente vai pro upstream do do open source. É assim, esse ciclo acontece naturalmente, né?

113:12Precisa compensar ali o PID, pagar e depois vai embora.

113:15>> Claro. Não, e e faz parte, né?

113:18>> Faz parte do jogo, mas é fair. É fair para para todos os lados. É, tem que ser fér para todo mundo. Eu já trabalhei com open source, eu tive um projeto também que foi incubado pela PH e e sempre todo o projeto open source, você tem que tem que ter um jeito de monetizar se você quer sustentar aquele projeto. Então, tenho certeza, por exemplo, >> que várias, eu não pode falar mais o nome, pô, não pode falar o nome das plataformas, não, não.

113:44Mas tem várias plataformas dessas de multiaent, né, que vão ter que figure out, os caras vão ter que descobrir como é que eles vão ganhar dinheiro de forma constante, né? E aí que aí o o 100% open source ele começa, >> cara, não, você precisa ter as features a mais, né? As você precisa ter o enterprise, você precisa ter outras garantias, >> tem que ser serviço de suporte, subscrição, etc. Tem que ter um modelo de negócio que isso tente, né? É, >> meus amigos, muito obrigado pelo pelo papo. Acho que conseguimos juntar dois mundos aqui que fazem muito sentido, que é o mundo de integração e dados em tempo real, que qualquer empresa hoje que está começando, se você é um CTO, se você é um desenvolvedor, tá começando uma empresa agora do zero, tá fazendo uma uma estrutura de dados e e não pensa em streaming, você já tá começando errado, na minha opinião, tá? Acho que além de ter carregamento em lote, etc., faz sentido para quando você tem legado, que não foi pensado assim. No mundo de hoje, não, na minha opinião, não faz mais sentido você não trabalhar com dados em tempo real e stream em tempo real, né?

114:56Eh, o que, enfim, leva um monte de consequência sobre problemas de MDM, etc. Mas eu tô muito empolgado e minha cabeça tá viajando, é preciso encerrar o episódio.

115:08Então, se você eh chegou até aqui e tá aqui com com os nossos amigos, a gente tem o nosso link aqui com a as soluções da Conflent. Vocês vão deixar o link da palestra do TDC pra galera assistir aqui embaixo. Não vão passar não.

115:26>> Eu não sei.

115:26>> Tem tem como ver? Não >> tem. Ahã. Vai ter uma tem uma parte online do evento. As palestras presenciais eu não sei se é gravado e disponibilizado depois.

115:37>> Eu não sei também.

115:38>> Algumas algumas eu sei que fica, mas se tiver, >> mas mas posso dar uma dica? A gente logo quando terminar o TDC, né, que é que a gente tá vai se concentrar bastante lá, a gente vai vai lançar um webinar que é só para falar sobre esse assunto que aí sim vai ser público.

115:52>> Boa, boa. Aí manda o link, a gente deixa aqui no episódio, não sei se vai ser antes ou depois do lançamento, >> né? para quem tiver aqui com com interesse mais no assunto, poder conhecer aqui o a plataforma e conhecer >> o streaming agents flink/ffluent ou confluent/flink, não sei.

116:14>> Streaming agent tá ótimo, nome de bola, >> maravilhoso. Galera, obrigado pelo pela participação de vocês aqui, pelo papo.

116:21Foi muito bom.

116:23>> Nós nós que agradecemos pelo convite mais uma vez. Espero ver vocês mais uma vez aqui. Você tá me devendo um brisket.

116:29>> Tá bom, tá bom.

116:30>> A próxima vez você >> Agora você pode cobrar eles também.

116:32>> É verdade. Vocês tá, >> cara, ele ele cozinha melhor. Eu sem nada.

116:36>> Agora tô estamos devendo três brisquets.

116:38Não, ele vai trazer o briscet, vocês vão trazer cerveja, que vocês falaram que a cerveja de lá é boa também. Então, >> um rótulo que você nunca viu.

116:44>> Isso, exatamente.

116:44>> Perfeito.

116:45>> Meus amigos, obrigado novamente pela pela participação de vocês. Você que acompanhou a gente até agora, muito obrigado pela audiência de vocês. Se você chegou até aqui, você ainda não deixou o like, se você ainda não deixou o seu comentário, se você ainda não segue o canal, você tem a última oportunidade agora, senão você vai ter no próximo episódio. Então, deixa o like. Se você acha que a gente contribui com a vida profissional de você, se você acha que a gente consegue trazer algo de mais de de valor para pra sua carreira profissional, você pode ser membro do PPT no Cupila. Se você for membro do PPT no compila, você tem algumas vantagens eh aqui com com com os nossos amigos e com os nossos episódios, né? Por exemplo, você pode ver o episódio dois dias antes, né? Já é alguma coisa, >> né? Em breve vamos ter sorteios de camiseta e de alguns brindes aqui do PPT no Compila. E vai vir aí também um um um evento de aniversário do PPT no Compila, que alguns membros vão poder participar com a gente. Então aproveita, vai lá, siga a gente, seja membro e ajude o nosso canal a crescer. Se você não pode seguir, não pode ajudar dessa forma, pode colocar no slack da firma aí, né, no WhatsApp, >> pode mandar no Teams o episódio, ajuda, >> ajuda a gente a crescer e trazer cada vez mais gente pra nossa comunidade.

118:05Meus amigos, obrigado novamente pela presença de vocês.

118:08>> Obrigado.

118:09>> Você que acompanhou a gente, muito obrigado. Valeu, [Música] [Aplausos] [Música]