Blog

Groq Prevê que Startups Optarão por LPUs Velozes até o Final de 2024

A ascensão financeira da Nvidia, com um salto notável de 265% em seus lucros anuais, vem dominando as conversas do setor. Entretanto, é impossível ignorar o avanço da Groq, uma promissora empresa do Vale do Silício, que vem desenvolvendo chips de IA inovadores, destinados à inferência em modelos de linguagem de grande escala (LLM).

Esses chips são projetados não para o treinamento, mas para a execução eficaz de decisões e previsões baseadas em modelos preexistentes.

Recentemente, a Groq alcançou um destaque viral que muitas startups sonham em atingir, embora não tenha provocado o mesmo alvoroço nas redes sociais, comparável aos comentários de Elon Musk sobre o Grok, um modelo de linguagem não relacionado.

Certamente, que a atenção da Nvidia foi conquistada quando Matt Shumer, CEO da HyperWrite, destacou no X a “tecnologia incrível” da Groq, que esta servindo Mixtral a quase 500 tok/s” com respostas “praticamente instantâneas”, fornecendo respostas com uma rapidez impressionante.

Shumer prosseguiu no X ao compartilhar uma demonstração impactante de um “motor de respostas relâmpago”, gerando  “respostas factuais e citadas com centenas de palavras em menos de um segundo”. O comentário rapidamente se tornou o centro das atenções no universo da inteligência artificial, com muitos profissionais e entusiastas da área explorando o aplicativo de chat da Groq em seu website. Neste aplicativo, era possível selecionar respostas geradas pelos modelos de linguagem LLMs Llama e Mistral.

Esse burburinho em torno da Groq ganhou ainda proporções maiores devido a uma entrevista concedida à CNN pelo CEO e fundador da empresa, Jonathan Ross, mais de uma semana antes. Na ocasião, Ross demonstrou como a tecnologia da Groq impulsiona uma interface de chat de áudio que “bate recordes de velocidade”, destacando a capacidade inovadora da empresa em processamento de linguagem natural e interações de IA.

Atualmente, é inegável que a Nvidia mantém uma liderança robusta no mercado de chips de alta performance, detendo mais de 80% dele. Startups inovadoras no ramo de chips de IA, como a SambaNova e a Cerebras, ainda estão lutando para se estabelecer, mesmo considerando suas contribuições para a inferência de IA.

A Nvidia, por sua vez, reportou recentemente uma receita impressionante de $22 bilhões apenas no último trimestre. No entanto, em meio a esse cenário, Jonathan Ross, CEO e fundador da Groq, apresentou uma perspectiva intrigante durante uma entrevista. Ele apontou os elevados custos associados à inferência de IA como um diferencial competitivo para a Groq, oferecendo uma alternativa “super-rápida” e mais acessível, especialmente para aplicações que utilizam modelos de linguagem de grande escala (LLM).

Ross expressou uma visão audaciosa sobre o futuro próximo, sugerindo que a Groq está a caminho de se tornar a principal escolha de infraestrutura para a maioria das startups até o final do ano. Ele enfatizou a postura amigável da empresa para com as startups, incentivando-as a entrar em contato para beneficiar-se de custos significativamente mais baixos em comparação com outras opções disponíveis no mercado. Essa abordagem não só destaca a competitividade da Groq em relação aos custos, mas também reflete um compromisso em apoiar o ecossistema de startups, potencializando a inovação no campo da inteligência artificial.

Em uma afirmação ousada, Ross comentou: “provavelmente seremos a infraestrutura que a maioria das startups estará usando até o final do ano .. somos muito favoráveis às startups — entre em contato e garantiremos que você não pagará tanto quanto pagaria em outro lugar”.

Groq LPUs vs. Nvidia GPUs

O website da Groq descreve suas LPUs, sigla para ‘unidades de processamento de linguagem’, como um inovador sistema de processamento que promete revolucionar a inferência em aplicações que demandam alto poder computacional e têm natureza sequencial, a exemplo das voltadas para linguagem de IA (LLMs). Essa tecnologia se propõe a entregar resultados com velocidade inédita para tarefas complexas que envolvem a compreensão e geração de linguagem natural.

Por outro lado, as GPUs da Nvidia, embora dominantes no mercado de processamento gráfico e computacional de alto desempenho, são otimizadas para uma gama diferente de tarefas. Seu foco está no processamento paralelo, ideal para gráficos e cálculos que beneficiam dessa arquitetura.

As LPUs da Groq, no entanto, foram meticulosamente projetadas para superar os desafios específicos encontrados em aplicações de linguagem de IA, como a gestão eficiente de sequências de dados complexas, incluindo código e linguagem humana. Essa especialização permite que as LPUs superem as GPUs tradicionais em tarefas específicas de LLM, contornando limitações como a densidade de cálculo e a largura de banda de memória, áreas nas quais as GPUs e CPUs frequentemente encontram obstáculos.

Ross salienta uma vantagem distinta da Groq em relação a gigantes da IA como a OpenAI: a Groq foca exclusivamente na inferência, sem se envolver no treinamento de modelos. Essa abordagem elimina a necessidade de armazenar dados, garantindo a privacidade total nas consultas de chat.

Esse diferencial não apenas reforça o compromisso da Groq com a privacidade, mas também abre possibilidades para uma colaboração com a OpenAI.

Embora Ross não tenha confirmado uma parceria, ele sugere que uma colaboração com a OpenAI poderia ser viável e mutuamente benéfica, especialmente considerando que as LPUs da Groq poderiam potencialmente acelerar o ChatGPT em mais de 13 vezes. Essa sinergia entre as tecnologias de ambas as empresas poderia levar a avanços significativos nos projetos de processamento de linguagem, promovendo uma parceria potencialmente revolucionária se ambas as partes compartilharem objetivos alinhados.

A Open AI pode estar interessada em aproveitar as capacidades únicas das LPUs para seus projetos de processamento de linguagem. Poderia ser uma parceria empolgante se eles compartilhassem objetivos semelhantes”.

As LPUs da Groq um divisor de águas na inferência de IA?

A oportunidade de dialogar com Jonathan Ross estava na minha agenda há meses, desde o contato inicial de um representante de relações públicas da Groq, que destacava a empresa como a “fabricante de chips dos EUA pronta para liderar a corrida da IA”. Minha curiosidade foi aguçada, mas compromissos anteriores impediram nossa conversa naquele momento.

Agora, priorizei esse encontro com Ross para desvendar a real substância por trás do burburinho que envolve a Groq: seria esta empresa apenas mais uma na onda efêmera de entusiasmo que caracteriza o setor de IA, onde a visibilidade midiática parece sobrepor-se à substância? Estariam as LPUs da Groq realmente estabelecendo um novo padrão no campo da inferência de IA, distanciando-se de serem apenas uma novidade passageira?

Além disso, busquei compreender como Ross e sua equipe, os ‘Groqsters’, composta por cerca de 200 colaboradores, têm vivenciado os dias subsequentes a um episódio de reconhecimento significativo no cenário tecnológico, marcando a empresa não só como uma promessa, mas como uma realidade emergente na vanguarda da inovação em hardware de IA.

Ross descreveu os posts de Shumer como “a faísca que deu início à explosão”, compartilhando essa visão durante uma videochamada direto de um hotel em Paris, após um encontro com a equipe da Mistral, uma promissora startup francesa dedicada a modelos de linguagem de código aberto, que também experimentou sua parcela de atenção viral recentemente.

Ele revelou que, surpreendentemente, mais de 3000 interessados procuraram a Groq em busca de acesso à sua API logo após a divulgação feita por Shumer, um detalhe que Ross mencionou com um tom de bom humor: “não estamos cobrando deles porque não temos a cobrança configurada. Estamos apenas deixando as pessoas usarem gratuitamente no momento”

Ross esclareceu que, por enquanto, a empresa optou por não implementar um sistema de cobrança, permitindo que os usuários explorassem o serviço gratuitamente, uma decisão que destaca uma abordagem aberta e acessível da Groq neste estágio inicial.

Ross possui uma vasta experiência no ecossistema de startups do Vale do Silício, e sua visão para a Groq tem sido uma constante desde a fundação da empresa em 2016. Sua trajetória inclui um papel significativo na criação da unidade de processamento tensorial (TPU) da Google, uma inovação que marcou um ponto de inflexão na computação de alta performance. Decidido a levar suas ideias adiante, Ross deixou a Google para estabelecer a Groq, um movimento audacioso que se mostrou promissor com uma rodada de financiamento impressionante de $300 milhões em 2021, destacada pela Forbes.

Na Groq, Ross e sua equipe adotaram uma abordagem única no desenvolvimento de seus chips, focando na “experiência de direção” antes mesmo de projetar o chip em si. Esse enfoque inovador começou com seis meses dedicados exclusivamente ao desenvolvimento de um compilador, estabelecendo uma base sólida que guiaria o design e a funcionalidade do chip.

Essa filosofia de design reflete uma compreensão profunda das necessidades do mercado e uma visão clara de como a tecnologia pode ser moldada para atendê-las de maneira eficaz.

Ross comenta que eles estão criando o que ele chama de “um chip muito incomum, porque se você está construindo um carro, pode começar com o motor ou pode começar com a experiência de direção. E nós começamos com a experiência de direção — passamos os primeiros seis meses trabalhando em um compilador antes de projetarmos o chip”.

A fome por acesso a GPUs Nvidia se tornou um grande negócio

A crescente demanda por GPUs da Nvidia transformou-se em um tópico fervilhante no Vale do Silício no último verão, impulsionando significativamente o setor de IA. Essa demanda acelerada não só consolidou a posição de empresas já estabelecidas, mas também catalisou o surgimento de novos “unicórnios” no nicho de nuvem de GPU, como Lamda, Together AI e Coreweave.

Em um desenvolvimento interessante, Nat Friedman, ex-CEO do GitHub, revelou recentemente a criação de uma espécie de “Craigslist” para aglomerados de GPU, evidenciando a criatividade e o empreendedorismo em resposta à crescente demanda por esses recursos.

Além disso, um relatório do Wall Street Journal apontou para os ambiciosos planos de Sam Altman, CEO da OpenAI, que pretende redefinir o cenário dos chips de IA com um projeto de escala monumental, possivelmente envolvendo investimentos trilionários e navegando por um contexto geopolítico intrincado. Esses movimentos sublinham a dinâmica vibrante e as rápidas evoluções no campo da inteligência artificial, onde a inovação e a adaptação contínua são cruciais.

Ross observa que as atuais movimentações no mercado de GPUs estão, em parte, reagindo às inovações introduzidas pela Groq. Ele menciona um “ciclo virtuoso” em andamento, exemplificando com a estratégia da Nvidia de engajar nações soberanas em seus projetos, uma abordagem que Ross também está adotando em sua turnê mundial de cinco semanas em busca de acordos internacionais. Essa dinâmica sugere uma influência recíproca entre as ações da Groq e as tendências mais amplas do setor.

Além disso, Ross critica de forma audaciosa a tentativa de Sam Altman, CEO da OpenAI, de levantar até $7 trilhões para um ambicioso projeto de chip de IA, propondo que a Groq poderia realizar um feito semelhante por uma fração do custo — apenas $700 bilhões. Essa afirmação destaca a confiança de Ross na eficiência e no valor competitivo das soluções oferecidas pela Groq, posicionando a empresa como uma alternativa econômica no cenário global de inovação em chips de IA.

Ross destacou o papel da Groq na expansão da disponibilidade de chips de IA, prometendo uma capacidade substancial no mercado. e ainda comentou:

“Até o final deste ano, teremos definitivamente capacidade para 25 milhões de tokens por segundo, que é onde estimamos que a OpenAI estava no final de 2023”, disse ele. “No entanto, estamos trabalhando com países para implantar hardware que aumentaria esse número. Como os Emirados Árabes Unidos, como muitos outros. Estou na Europa por um motivo — há todos os tipos de países que estariam interessados nisso.”

Paralelamente, a Groq enfrenta desafios mais rotineiros, como estabelecer um sistema eficaz para a cobrança de sua API, especialmente após a atenção maciça que a empresa recebeu recentemente. Ao questionar Ross sobre a implementação de um sistema de cobrança para a API, ele indicou que a questão será explorada. Rapidamente, um representante de relações públicas da empresa, também presente na conversa, assegurou que a resolução dessa questão será uma prioridade para a equipe da Groq.

Conclusão e o Futuro das IAs

Neste artigo conseguimos enxergar um panorama vibrante do setor de chips de IA, destacando a ascensão da Groq como um concorrente promissor no domínio dominado pela Nvidia. A Groq, com sua abordagem inovadora focada em unidades de processamento de linguagem (LPUs), parece estar à beira de uma revolução, prometendo avanços significativos na velocidade e eficiência da inferência de IA.

A capacidade anunciada de processar 25 milhões de tokens por segundo até o final do ano coloca a Groq em uma posição competitiva, potencialmente alinhada com as capacidades da OpenAI no final de 2023.

A colaboração com países e a expansão global, mencionada por Ross, sugerem uma estratégia ambiciosa que poderia expandir significativamente a influência da Groq no mercado global de IA. Essa abordagem, juntamente com a promessa de uma solução mais econômica para chips de IA, poderia redefinir as dinâmicas do mercado, oferecendo uma alternativa viável à atual hegemonia da Nvidia.

A Groq ainda enfrenta alguns desafios imediatos, como a implementação de um sistema de cobrança para sua API, uma questão fundamental para sustentar o crescimento e a escalabilidade a longo prazo. A resposta da empresa a esses desafios operacionais será crucial para manter o ímpeto gerado pelo seu recente momento viral e para solidificar sua posição no mercado.

Em conclusão, o futuro da Groq no competitivo setor de chips de IA parece promissor, com potencial para impactar significativamente a eficiência da inferência de IA e oferecer alternativas econômicas às soluções existentes. No entanto, o sucesso a longo prazo da empresa dependerá de sua capacidade de superar desafios operacionais e de implementar uma estratégia global eficaz. A Groq está posicionada de maneira única para desafiar o status quo, mas somente o tempo dirá se conseguirá transformar seu potencial inovador em uma presença estabelecida e duradoura no mercado de IA.

Fique por dentro das últimas Notícias

Veja mais sobre a Nvidia e a seu último balanço neste artigo Ações da Nvidia Atingem a Marca de $2 Trilhões em Meio à Frenesi da IA em Wall Street.

Nossa missão é informar, fornecendo as últimas notícias do Brasil e do Mundo, signos e não deixe de ler as últimas notícias do nossos Portal Noticiare World News.

Esta Publicação Groq LPUs vs. Nvidia GPUs – Corrida dos Chips de IA: CEO da Groq Desafia a Nvidia Foi vista primeiro no Blog Noticiare – World News