Qual IA local rodar na sua máquina? O guia com os números que a documentação publica

Traduzindo para a vida real: modelo de 8 bilhões cabe tranquilo em um PC comum de hoje; o de 70 bilhões exige uma estação de trabalho; o de 405 bilhões não é coisa de PC — a própria tabela mostra por quê.

O que significa o "Q4" no nome do modelo

É a quantização: reduzir a precisão dos pesos do modelo — o llama.cpp descreve como ir de números de 32 bits para inteiros de 4 bits, o que "shrinks the model's size and can speed up inference". É por isso que o Llama 3.1 de 8B ocupa 4,9 GB e não os 32,1 GB originais. O LM Studio resume para o usuário: comprimir o arquivo "while giving up some degree of quality" — troca-se um pouco de qualidade por muito espaço e velocidade. Sem esse truque, IA local em PC comum não existiria.

Onde a placa de vídeo entra (o gancho deste guia)

Aqui está a decisão de hardware, na palavra dos próprios projetos:

• O Ollama mostra o quanto do modelo foi para a placa: "100% GPU means the model was loaded entirely into the GPU", e um parcial tipo 48%/52% significa metade na placa, metade na RAM do sistema.
• Quem decide isso é a VRAM: "Ollama evaluates the required VRAM for the model against what is currently available".
• Sem VRAM suficiente, não é proibido rodar — só fica pior: o Ollama usa a RAM do sistema, "but responses may be slower".
• O llama.cpp faz o mesmo de forma explícita: dá para escolher quantas camadas manter na placa (-ngl, "999 para empurrar tudo") e suporta "CPU+GPU hybrid inference" — acelerar parcialmente modelos maiores do que a VRAM total.

Conclusão honesta em uma frase: a VRAM da placa é o teto do modelo que roda inteiro na velocidade máxima; o que passa disso desce para a memória do sistema e desacelera. É por isso que, para IA local, a pergunta "qual placa comprar?" tem resposta objetiva: a que tem VRAM para o modelo que você quer rodar com folga.

E os seus dados, ficam na sua máquina?

O que cada doc afirma — sem exagero:

• Ollama: "We don't see your prompts or data when you run locally." E existe um modo exclusivamente local, desativando os recursos de nuvem do próprio programa.
• LM Studio: "Nothing you enter into LM Studio when chatting with LLMs leaves your device" — e, em geral, funciona sem internet depois de baixar os modelos.
• llama.cpp: o aplicativo do projeto se apresenta como "Works offline".

Uma ressalva que vale sempre: "rodar localmente" se refere ao programa e ao modelo. Baixar o modelo precisa de internet (obviamente), e qualquer recurso extra de nuvem que você ligar por cima é sua escolha — daí a existência do modo local do Ollama.

A decisão em três caminhos

• PC com 8 GB de RAM, sem placa dedicada → comece com modelos pequenos: gemma3:1b tem 815 MB. Dá para começar hoje, sem gastar nada.
• 16 GB de RAM com placa de 4 a 6 GB de VRAM → o padrão da IA local: modelos de 8 bilhões quantizados (4,9 GB). É a combinação que os próprios programas tratam como recomendada (o LM Studio pede 16 GB de RAM e 4 GB de VRAM).
• O alvo é 70 bilhões de parâmetros → 43 GB de memória. Máquina específica — ou um grupo de placas. Para 405B, são 249 GB: território de empresa, não de mesa.

Por onde começar, na prática: instale o Ollama, baixe um modelo pequeno, converse — e repare no número que ele mostra de GPU contra CPU. Esse número é o diagnóstico da sua máquina; ele diz, sem você precisar entender de hardware, o quanto do modelo está na placa e o quanto está na memória do sistema.

E se a sua ambição é ter um assistente que usa essa IA local para trabalhar sozinho — arquivo, terminal, rotinas agendadas —, veja como instalar o Hermes Agent, que é o agente que roda aqui na nossa bancada. Se o que travou é o computador velho, o guia de SSD resolve a primeira parte do problema por menos de R$ 360.