Pete Warden aponta usabilidade como barreira para adoção da IA local
Pete Warden avalia o avanço dos modelos locais e aponta a usabilidade como principal barreira, apesar de usos em laptops e empresas.
Usabilidade é a principal barreira
Pete Warden, cocriador do Moonshine Voice e engenheiro de deep learning, avalia que modelos de IA executados localmente já atendem a muitas tarefas. Em entrevista a Ben Lorica, ele disse que a qualidade deixou de ser a principal barreira e apontou a facilidade de uso como um obstáculo maior para a adoção ampla.
Warden afirmou que modelos locais ficam apenas alguns meses atrás dos sistemas comerciais de Anthropic e OpenAI em benchmarks. Ele também observou que ferramentas como Ollama podem ser mais simples de usar do que muitas pessoas imaginam. A divulgação desses modelos é limitada porque eles não geram a mesma receita recorrente que serviços em nuvem.
Memória define quais modelos podem rodar
A quantidade de memória necessária varia conforme o modelo e a forma de executá-lo. Warden citou modelos com 9 bilhões de parâmetros como capazes de oferecer resultados úteis. Em uma versão quantizada para 8 bits, os pesos ocupam cerca de 9 gigabytes; com quantização Q4, o tamanho pode cair para aproximadamente 4 gigabytes de memória de vídeo.
Segundo ele, essa capacidade está ao alcance de algumas placas gráficas de laptops intermediários e até de computadores mais antigos. Warden também citou uma configuração do M5 Studio, da Apple, com 256 gigabytes de memória de sistema, que pode ser disponibilizada aos aceleradores dos Macs. Com essa capacidade, modelos com centenas de bilhões de parâmetros podem rodar em velocidade razoável.
Empresas podem controlar a implantação
Na conversa, Warden afirmou que o uso local não precisa ficar restrito ao computador pessoal. Uma empresa pode hospedar modelos em sua própria infraestrutura ou em uma instância de nuvem sob seu controle, mantendo uma experiência semelhante sem depender de um serviço público de IA para cada solicitação.
Ele também apontou que modelos locais podem ser relevantes para profissionais de cibersegurança que investigam ações maliciosas. Na avaliação de Warden, restrições de modelos comerciais podem atrapalhar trabalhos legítimos de equipes de segurança, mesmo quando os sistemas aplicam essas proteções com boas intenções.
Modelos de fala podem tornar a voz mais natural
A entrevista também abordou modelos de fala de baixa latência e seu potencial para tornar a voz uma interface mais natural. A conversa incluiu ainda a execução de modelos de IA em laptops e navegadores entre os temas relacionados à adoção local.
Ferramentas precisam ficar mais simples
Apesar de defender que modelos locais já conseguem apoiar tarefas de conhecimento, Warden reconheceu que a usabilidade ainda fica atrás da facilidade dos serviços em nuvem. Quem executa modelos próprios precisa lidar com ferramentas, instalação e manutenção, enquanto serviços online concentram essas etapas.
Warden também sugeriu que modelos locais podem se integrar ao sistema operacional e ficar disponíveis para diferentes aplicativos. Para empresas, executar a IA em equipamentos próprios ou em ambientes controlados amplia as opções de implantação; para uma adoção mais ampla, as ferramentas precisam ser simples de instalar e operar.
Informações deste conteúdo
Tecnologias: AI, Cloud, Edge Computing, LLMs, Ollama
Carreiras: Administrador de Cloud, Arquiteto de Cloud Computing, Engenheiro de Machine Learning, Especialista em Edge Computing
Idiomas: Português
Tags: cloud, gpu, hardware, ialocal, inferencialocal, llm, modelosdepesosabertos, privacidadededados