Vitalik partilha uma solução de LLM privada local, destacando a privacidade e a segurança como prioridade

Notícias ME, mensagem de 2 de abril (UTC+8). Vitalik Buterin publicou uma mensagem a partilhar a sua solução de implementação local e de privacidade para LLMs, até abril de 2026. O objetivo central é ter a privacidade, a segurança e o controlo autónomo como premissas, reduzindo ao máximo as oportunidades de modelos remotos e serviços externos entrarem em contacto com dados pessoais. Além disso, pretende reduzir os riscos de fuga de dados, jailbreak do modelo e exploração de conteúdos maliciosos através de inferência local, armazenamento local de ficheiros e isolamento por sandbox.

Em termos de hardware, testou soluções como portáteis com GPU NVIDIA 5090, dispositivos com memória unificada AMD Ryzen AI Max Pro 128 GB e também o DGX Spark. Foram usados modelos Qwen3.5 35B e 122B para inferência local. Entre eles, o portátil com 5090 atinge cerca de 90 tokens/s com o modelo de 35B, a solução AMD cerca de 51 tokens/s e o DGX Spark cerca de 60 tokens/s. Vitalik afirma que prefere construir um ambiente de IA local com base em portáteis de alto desempenho e, ao mesmo tempo, usar ferramentas como llama-server, llama-swap e NixOS para montar o fluxo de trabalho completo. (Fonte: ME News)