VSCode + Ollama + Continue = chat e tab completions gratuitamente

Como instalar e usar LLMs localmente no seu VSCode:

1- Baixe Ollama diretamente pelo site https://ollama.com/, ele ira criar seu server local para a LLM

2- Baixe uma LLM (neste tutorial vamos usar o qwen2) no site https://ollama.com/library

Você deve ter pelo menos 8 GB de RAM disponíveis para rodar os modelos de 7B, 16 GB para rodar os modelos de 13B e 32 GB para rodar os modelos de 33B.

3- Abra o terminal e cole este comando:

ollama run qwen2

4- Após a instalação ele ja estará rodando a LLM no seu terminal, onde você ja pode testar fazendo alguma pergunta. Digite /bye para sair

5- Instale a extensão Continue no seu VSCode:

6- Abra o Continue e verá a tela de adicionar modelo, selecione Ollama:

7- Selecione Autodetect, ele ja reconhecerá a LLM instalada na sua máquina

8- Chat funcionando! Para saber mais detalhes e comandos acesse: https://docs.continue.dev/intro

Tab Autocomplete:

1- Vamos configurar o Continue para utilizar sua LLM para o autocomplete no VSCode. Selecione a engrenagem no canto inferior direito da tela de chat

2- Dentro do arquivo config.json: adicione:

"tabAutocompleteModel": {
    "title": "Tab Autocomplete Model",
    "provider": "ollama",
    "model": "qwen2",
    "apiBase": "http://localhost:11434/"
  },

Irá ficar mais ou menos assim:

Depois você pode testar outras LLMs para o autocomplete, como a starcoder2-3b

3- Tudo certo, agora você tem autocomplete via LLM local!

Agora você tem todas as funcionalidades do Copilot na sua máquina, de forma totalmente gratuita.