Maio, 2024 - (8min), atualizado por último dia 17/Maio
Em Fev/Mar desse ano, fui para os EUA com o Alexandre Alvares (founder da Livus, ex-CMO do Banco Neon) conversar com pessoas que estão construindo, pesquisando e investindo em genAI. Nós dois passamos 2023 estudando as novas possibilidades, testando ideias e montamos alguns protótipos juntos.
Falamos com mais de 30 pessoas entre fundadores, VCs, SWEs, pesquisadores e professores em NY, SF, Palo Alto, Boston e Cambridge, trabalhando em diferentes setores e nos diferentes níveis de IA - foundational models, infra, dev tools, aplicações B2B e B2C. Em Cambridge, participamos da MIT AI Conference e tivemos contato com as pesquisas relacionadas a IA de professores de diversos departamentos do MIT (de Ciências de Dados e Finanças até Direito, Planejamento Urbano e Futuro do Trabalho).
A ideia desse texto é dividir um pouco do que vimos, das conclusões que tiramos e da visão atual que construímos. Tentei sair do lugar comum e trazer percepções das conversas.
O texto tem 3 partes:
A primeira fala sobre o momento atual, passando o pico da hype, traz comentários e análises de investidores que falamos. Depois falo da tecnologia por trás da hype, trazendo observações do evento no MIT, de como a academia enxerga genAI no nível prático (não técnico).
A segunda parte é mais prática, e vem de conversas com founders e VCs. Divido minha síntese de como as pessoas estão pensando em oportunidades de aplicar genAI e gerar valor pra sociedade e as diferenças entre startups vs. growth vs. incumbentes. Depois entro em dois conceitos de como ir além dos “GPT-wrappers” (1. transformar dados desestruturados em estruturados; 2. agents).
A terceira busca falar do futuro com um pouco mais de nuance do que o discurso mainstream. Muita gente fala de AI-first, então trouxe algumas visões sobre possíveis “platform shifts” e uma conversa sobre um espectro de AI-companies (nem tudo faz sentido ser AI-first, por mais que muitos pitch decks digam isso).
Como o espaço tem evoluído muito rápido, importante lembrar que estou escrevendo entre Abril e Maio de 2024.
A hype se manifesta como muita atenção na mídia e redes sociais, promessas de mudar o mundo (ou de que ele vai acabar), valuations inflados e muita empresa surgindo tentando construir algo com a nova tecnologia, muitas vezes sem resultados convincentes. A leitura durante a viagem e acompanhando o mercado é que a recém passamos do “pico de expectativas infladas” do modelo de hype cycles da Gartner.
Só usar IA e ter um time que chama atenção e/ou tração inicial já não é o suficiente para levantar investimento com os principais fundos dos EUA — até o fim de 2023 era, com fundos principalmente da costa oeste apostando em colocar dinheiro e tentar ganhar “first mover advantage” em diferentes mercados. Poucos fundos (e poucas startups) tiveram sucesso assim, porque tinham tração inicial forte (fator novidade) mas retenção baixa, especialmente de usuários pagantes (o que dificulta fechar a conta com custos ainda altos de LLMs).
O Andrew Chen fez um post no começo de Abril que exemplifica bem o cenário que vimos por lá:
Atualmente, quando você olha para muitos "data rooms" para produtos de AI, você vê um baita crescimento — gráficos exponenciais indo de 0 a $1M e além — mas também uma taxa de churn muito alta.
(...)
Uma visão é que ao invés de tentar prever o momento certo do mercado, você só precisa investir continuamente. Eu acho que isso está certo.
Em NY foi onde encontramos mais conservadorismo. Uma frase que ouvimos de um fundo famoso de VC early stage foi:
We're being deliberately slow on AI
(estamos sendo deliberadamente lentos com IA)
Essa hype é reflexo de uma tecnologia de fato transformadora
“Em 20 anos no MIT, nunca vi um avanço tão significativo tão rápido”
Prof. Aude Oliva, MIT director in the MIT-IBM Watson AI Lab
IA como estamos vendo hoje (IA generativa) é diferente de todo tipo de tecnologia que construímos até agora.
A OpenAI caracteriza ela como uma “General-purpose technology” (comparável com a roda, a eletricidade, o computador e a internet). A diferença é que, diferente dos computadores, ela simula a inteligência humana (redes neurais): baseada em padrões, flexível, criativa e passível de erros e alucinações by design.
Isso de fato significa que ela pode substituir muitas tarefas cognitivas feitas por pessoas.
“Tech tende a substituir tarefas, não empregos”
Prof. Kate Kellogg (Management and Innovation @MIT)
Um dos achados mais interessantes que a prof. Kate apresentou veio de uma pesquisa do MIT (na íntegra aqui): nas funções que a IA generativa já performa bem, ela aumenta a produtividade de todos profissionais, mas ela aumenta desproporcionalmente mais para profissionais menos qualificados. Isso tem um efeito democratizador do conhecimento que os professores argumentam que pode diminuir desigualdades.
Isso, somado ao conceito de que será cada vez mais comum vermos empresas inteiras de 1 pessoa só (como argumentado nessa palestra da Sequoia) e à premissa de que a IA vai trazer ganhos de produtividade em toda a economia (e consequentemente uma pressão deflacionária), fazem de mim um otimista: acredito que ela vai ser bem disruptiva, e para melhor.
Tem muitos gargalos pra tecnologia chegar em um nível de fazer descobertas científicas com autonomia, desde GPUs disponíveis e volume + qualidade de dados, até a própria arquitetura e capacidade energética. Mas o que temos hoje já é bizarro do ponto de vista de 2 anos atrás e a quantidade de pessoas e dinheiro trabalhando em desenvolver isso só aumenta. A expectativa unânime das nossas conversas é que genAI vai ser transformacional (por isso a hype). Os mais céticos só são mais conservadores em relação ao tempo que vai demorar.
A tese de IA, as principais aplicações e diferentes formas de enxergar oportunidades
Pra camada de aplicações com IA, as preocupações de VCs hoje (pós pico da hype) são as mesmas de sempre: qual o tamanho do mercado, qual seu insight único para desenvolver o produto, por que você, por que agora.
Um primeiro recorte é olhando as fases de empresas explorando AI:
Startups
Não faz sentido pensar em inovação incremental (vai vir dos incumbentes)
Muito capital disponível para early stage & AI
Alta competitividade
Scale ups
Agilidade de uma startup para experimentar e implementar
Conhecimento do consumidor e do problem space para identificar oportunidades
Distribuição existente como diferencial
Incumbentes
Essa revolução tecnológica é muito mais fácil de implementar que as anteriores (já temos APIs enterprise-grade) e muitas já passaram pelo primeiro passo de transformação digital
Aversão a risco: Vão começar com trabalhos de estagiários (como tomar notas, fazer resumos), não tarefas de missão crítica (como diagnósticos)
Algumas formas de enxergar oportunidades em AI:
“What's something that's only possible now?” Andy Rachleff (Benchmark)
“O que é algo que só é possível agora?”
“What's something too risky for a big company?” Adam D’Angelo (Quora)
“O que é algo arriscado demais para uma empresa grande?”
“Every Unix command became a company. Every Excel template became a company. Dropbox was just a thin wrapper around S3. The differentiation is abstracting complexities (UI), understanding the industry's / customers’ needs and being able to distribute that value” Ben Evans (ex-a16z)
“Todo comando Unix virou uma empresa. Todo template de Excel virou uma empresa. Dropbox era só um “thin wrapper around S3”. A diferenciação é abstrair complexidades (UI), entendendo as necessidades da indústria / consumidores e conseguindo distribuir esse valor”
“Where can AI leapfrog the digital transformation that hasn't yet happened?” Anna Piñol (NFX)
“Onde IA pode pular a transformação digital que ainda não aconteceu?”
A do Andy eu acho mais clichê, no sentido que todo mundo tá se perguntando isso, mas ouvimos esse quote de diferentes pessoas.
A do Adam achei muito boa. Uma empresa grande de saúde vai ter muito mais receio de fazer merda do que uma startup, porque tem o nome dela na reta. Uma lawtech grande também. Uma fintech grande também. E por aí vai.
”Humanos são muito mais severos com erros das máquinas se forem erros que eles mesmos não cometeriam”
Prof. Julie Shah, Interactive Robotics Group Leader, MIT
Outra forma de pensar é que soluções com AI podem ir diretamente contra o modelo de negócios de uma empresa (ex: Intercom fez um co-pilot de customer support, mas cobram por seats e é um mercado onde muita gente tá desenvolvendo soluções completas). Innovator's dilemma.
O ano das aplicações e dos agents
O desafio atual se resume em resolver problemas relevantes das pessoas. Isso significa encontrar oportunidades que gerem receita, tenham boa retenção e potencial de margens saudáveis.
Todo mundo quer fugir de ser só “GPT-wrapper”
O desafio dos “thin wrappers around chatGPT” é a alta competitividade, não ter “moat”.
Conversamos com founders de empresas que caem nessa descrição e dava pra sentir o medo.
E conversamos com founders e VCs que enxergaram formas diferentes de usar a tecnologia. Percebemos dois modelos mentais interessantes que fogem disso:
Usar AI no backend para viabilizar o que antes era inviável
Produtos sem chat, como os SaaS, apps e produtos digitais atuais. Porém, o valor vem de usar AI para absorver dados relevantes de fontes desestruturadas (pdfs de notas fiscais, imagens de pratos de comida, videos de câmeras de segurança, conversas do slack).
Unstructured data → Structured data
E em cima disso, utilizar modelos clássicos de Machine Learning (RegLog, Social Graphs, etc) em cima de dados estruturados.
Como a precisão e performance dos modelos ainda não é tão grande, outra forma de pensar nisso é:
AI como um exército de estags
Um grupo grande de estags que poderia assistir milhares de horas de videos em poucos minutos e classificar o que acontece nos vídeos. Como são estags, talvez o trabalho precise ser revisado.
Produtização de serviços (Agents, ou SaaS → “Service as a Software”)
Quais serviços feitos de maneira personalizada, por pessoas, podem agora virar um produto digital que oferece o mesmo grau de personalização?
Software houses → app generators
Call center → AI chatbots
Arquitetura? Advocacia? Contabilidade?
2023: Copilots (ferramenta de apoio, human in the loop)
2024: Agents (independentes, human out of the loop)?
Para fazer um Agent independente que resolve tarefas cada vez mais complexas, existem diferentes estratégias para fazer a IA planejar os passos, utilizar ferramentas externas, acessar bancos de dados externos, revisar o resultado de cada etapa, arrumar o que for necessário, se comunicar com outros Agents e garantir a entrega final como esperado.
O Devin, “world's first AI Software Engineer”, consegue resolver 14% das issues que um humano conseguiria (vs. < 4% dos principais modelos puros). Por um lado, ainda tem muito chão pela frente. Por outro, o crescimento é bizarramente rápido (1 ano atrás só existia o GPT 3.5 desse benchmark abaixo, que conseguia resolver só 0.5%).
A MIT AI Conference se dividiu entre professores advogando por human in the loop e outros enxergando Agents autônomos em poucos anos. Um assunto interessante sobre isso foi sobre situation awareness:
O risco de você automatizar demais o processo e ficar muito dependente da tecnologia ao ponto de se ela falhar, você não estar prestando atenção ou estar despreparado por falta de prática (piloto de avião — removeram parte da automação pro piloto ficar ligado + treinamentos constantes pra não perder a habilidade)
Uma pesquisa do MIT Future of Work mostrou que o GPT4 já é bastante convincente, mesmo quando está errado
pesquisa feita com analistas da BCG analisando um case mostrou que as pessoas confiam no GPT mesmo desconfiando que ele está errado
Sem GPT 85% dos analistas acertaram o case
Com GPT só 70% acertaram
Mesmo com as pessoas argumentando com o GPT, no fim parte delas era convencida de algo errado
Com GPT + treinamento sobre GPT, só 60% acertou!
Por estarem treinados, confiaram ainda mais na ferramenta (menos push back)
Estudo europeu demonstrou que GPT-4 é mais persuasivo que humanos em determinadas situações
Para tarefas de missão crítica, é fundamental considerar isso e avaliar formas de mitigar.
Menlo Ventures: das investidas deles que estão indo bem, 1 é só “LLM wrapper” e tem muita tração, poucos usam finetuning ou fizeram a própria LLM. A grande maioria são “compound AI systems”
Esse texto da Menlo Ventures aprofunda nessas ideias (e em outras) e traz exemplos bem interessantes (do portfolio deles claro).
PS: depois de algumas conversas sobre isso, escrevi outro texto aprofundando mais no que são aplicações com AI que vão além de “thin wrappers around GPT”:
Sobre o momento geral, gostei desse tweet do Elad Gil. Ele diz que a primeira onda de founders eram pesquisadores percebendo o potencial dos modelos e trabalhando majoritariamente nos foundational models. A segunda onda veio com infra engineers percebendo os desafios de deployar os modelos em produção, monitorar erros, lidar com GPUs. E a terceira onda está vindo com PMs, product engineers, “app builders” em geral construindo aplicações.
Isso tá em linha com o que vimos e com ondas anteriores (iPhone lançado em 2007, em 2008 explosão de apps simples com pouca utilidade, 2010+ que vieram os grandes apps como Whatsapp, Instagram e Spotify). A expectativa é que dessa vez o ciclo seja mais curto dado os aprendizados das ondas passadas e a evolução das técnicas e ferramentas para construir produtos digitais.
Provavelmente. Depende da definição, da indústria, da empresa, do horizonte de tempo.
Existe a expectativa de um “major platform shift” para uma UI mais intuitiva, de chat e/ou de voz. Falamos com um founder de uma empresa de AI por voz que tinha uma latência de 450ms de ida e volta, e a Hume está desenvolvendo uma “Empathic Voice Interface” (demo aqui). Sempre que falamos de AI via voz lá surgiu a referência do filme “Her”.
A expectativa aqui é que os incumbentes levem essa, por já terem sistemas operacionais, distribuição e muita informação para personalizar as interações e serem relevantes.
Minha visão é que a Siri/Alexa/Ok Google (ou o próprio Whatsapp) vão ficar muito mais relevantes e vão se comunicar com Agents criados por outras empresas tech (ex: falar com Agent da Instacart para fazer as compras, tirar dúvidas do pedido com você, mudar o horário de entrega, etc). Ou seja, as empresas também devem construir “APIs” a serem consumidas por Agents — usuários que não são nem humanos (lentos e que podem errar) nem servidores (rápidos e determinísticos), são uma mistura (rápidos e que podem errar).
→ Existe um debate se a arquitetura atual das LLMs (Transformers) é suficiente para esse nível de atuação (demanda muito dado para ser precisa), ou se será necessária uma nova arquitetura mais eficiente que use menos dados pra mesma precisão (esse video do Project Astra é a visão deles, um early prototype).
Minha interpretação das conversas, palestras e leituras (não sou especialista em Machine Learning ou LLMs) é que Transformers ainda tem espaço para escalar, tanto com modelos maiores, quanto com modelos menores e mais eficientes. Eu acredito que, evoluindo as técnicas de Agents, já vai ser suficiente para destravar essa nova interface/plataforma.
Mas que vai ser necessária sim uma nova arquitetura em poucos anos, tanto para trazer essa eficiência (energética, GPUs, custos, velocidade) quanto para processar dados em tempo real (câmeras, robôs, conversas).
Nesse episódio do Dwarkesh Podcast, o Demis Hassabis (CEO da DeepMind) afirmou que metade do time dele trabalha em pesquisar avanços de arquitetura.
→ Na batalha dos foundational models, a expectativa geral é termos vários modelos disponíveis no mercado, cada um com suas especialidades. Os modelos Open Source estão 6~12 meses atrás dos modelos fechados. Em um horizonte de tempo maior, isso significa que eles serão extremamente poderosos. Não necessariamente as big techs vão liderar nessa camada.
Para quem não é incumbente, gosto muito desse modelo da NFX do espectro de IA:
A não ser que você esteja desenvolvendo as ferramentas por trás de GenAI, não existe você ser uma "AI company".
Nós esperamos que todas nossas empresas apliquem essa tecnologia. Quem não aplicar estará perdendo uma enorme oportunidade.
(trecho do texto)
Isso não significa que todas empresas vão “subir” nesse espectro. Não faz sentido pensar a Liv Up ou o Mercado Livre como empresas AI-First.
Faz sentido pensar todas como pelo menos AI-Enhanced.
Conclusão
Foi muito bom termos ido para lá e conversado com tanta gente diferente. Os pontos principais sobre ir pessoalmente foram (i) ter trocas interativas e profundas com pessoas construindo software em ecossistemas diferentes do nosso, (ii) pegar informações subjetivas como a empolgação, medo, ansiedade, vieses, das pessoas que estão onde o grosso do capital de IA está sendo investido e (iii) sair da nossa bolha de pessoas e conteúdos, diminuindo o risco do viés de confirmação nas análises.
Voltamos inspirados e otimistas pra construirmos esse futuro.
Se você tiver uma visão diferente ou complementar sobre algo que foi dito aqui ou quiser trocar uma ideia sobre isso, manda uma msg e bora conversar ✌️
