ARTIGO

Adeus ChatGPT? Testei uma IA local para programar

Eu vou te mostrar nesse vídeo aqui duas maneiras que você pode rodar localmente IA e LLM na sua máquina, ou seja, sem ter que ficar pagando para um chat EPT ou para um cloud para você rodar uma IA e rodar ela direto no seu computador para tarefas do dia a dia ou também pra programação. E ainda nesse vídeo vou te mostrar como que você pode usar essa IA rodando no seu computador para te ajudar a programar também. Fala turma, seja muito bem-vindo a mais um vídeo aqui nesse canal.

O que voce vai ver

• Então, o LM Studio é uma das ferramentas que eu mais gosto também e que é uma das mais famosas que você tem também, como o OLAMA, você tem uma interface e você pode baixar modelos lá dentro, tá?
• Então o OLA, o legal deles é que você pode instalar tanto localmente na sua máquina quando você consegue instalar o olama dentro de uma VPS, por exemplo, e usar via API, via API, por exemplo.
• Dá para utilizar o Open Code, que tem alguns modelos grátis ali, mas dentro do Open Code você pode colocar os seus modelos também, modelo que você tá rodando localmente ali, como do OLAMA.
• E uma coisa legal que dentro do site do OLAM ele não identifica aqui, como ele tá instalado, ele identifica que é se o modelo que você tá clicando ele suporta no seu computador ou não.
• Então isso é bem legal e também não demora tanto ali, ele é bem mais otimizado do que o outro que a gente instalou no Olama, mas também tem esse salto a mais de gráfico aí.

Nesse vídeo aqui, se prepara que eu vou te mostrar duas maneiras pr você rodar e a LLM local no seu computador. Clar, se você tem um computador, eu vou te mostrar algumas alternativas, né? Tanto alternativa um pouco mais alta, alternativa, ah, tem uma placa mais razoável, tenho menos de memória RAM para rodar aí também modelos LLM.

E aí você pode ter aí a rodando e dependendo das atividades que são triviais, atividade do dia a dia, sem que você tem que ficar pagando para uma IA. Ou também nesse vídeo aqui eu vou te mostrar como usar um modelo que, cara, é muito bom, auxiliar na programação ou também te ajudar ali quando você tá programando sem ter que ficar pagando para uma IA como um chat EPT ou um cloud como uma alternativa aí no seu dia a dia, se você quer algo mais econômico, algo mais custob benefício.

Contexto atual

Então bora lá. Primeira coisa, se inscreve aqui embaixo, ó.

Deixa seu gostei se você gostar desse vídeo, se você gostar desse conteúdo e você que já conhece aqui, comenta alguma coisa para ajudar o algoritmo a chegar a mais pessoas, porque a gente tá tentando a chegar a 100.000 inscritos aqui, falta pouquinho, então se inscreve aí. Bora lá.

A primeira das alternativas que é muito famosa e que é muito utilizado, acho que é uma das mais utilizadas, é o OLAMA, né? Então o OLA, o legal deles é que você pode instalar tanto localmente na sua máquina quando você consegue instalar o olama dentro de uma VPS, por exemplo, e usar via API, via API, por exemplo. Claro que o OLAM, se você instalar numa VPS, é legal que essa VPS ela tenha GPU, então ela tem uma placa de vídeo e não uma VPS comum sem placa de vídeo.

Analise detalhada

É um único adendo, senão vai ficar muito lento para IAT te responder. Agora se você tem essa PPS aí seria legal.

No caso aqui o OLAMA eu vou instalar dentro da minha máquina. Então você pode instalar via aqui PowerShell ou se você tá no Windows, como eu tô gravando aqui o vídeo, eu tô no Windows, você pode vir aqui em download o lama.

E aí você tem aqui, tá, Windows tem aqui tanto instalar no PowerShell, colando ali o comando ou baixar um instalador de um programa qualquer, tá? Então você pode instalar ou está no Linux, só mudar aqui também cur ou está aqui no Mac também você pode instalar dessa forma.

Oportunidades

Então vou baixar aqui. Eu acabei de baixar só para não perder tempo.

Então deixa eu abrir aqui. Opa, já tá instalado.

Deixa eu até tentar instalar por cima aqui porque eu já tenho ele instalado. Mas eu quero ver se ele vai instalar de novo. Mas é só dar next.

Desafios

Next não tem nenhum segredo. É como instalar qualquer programa.

Vamos aguardar aqui. Maravilha. Então ele instalou aqui para mim.

Às vezes ele já abre automático. Se ele não abriu, só você vir aqui, vi no seu iniciar aqui, digitar o olama, né? Então vai aparecer e você abre ele aqui.

Então ele tem o modo launch que a gente já vai ver já já. E tem também aqui o New, que é como se fosse ali a interface do chat EPT da vida.

Então aqui, basicamente a gente tem essa interface, eu tenho aqui alguns modelos que eu posso baixar. Então inclusive vamos marchar baixar algum modelo pra gente poder utilizar.

Então por exemplo, eu posso vir aqui nos models, tá? E aí tem vários modelos, por exemplo, o Minimx, tem o Gema 4 que é do Google e é um modelo que tem algumas variações dele, de tamanho dele. Claro que quanto maior, mais parâmetros, mais bilhões de parâmetros ali, mais pesado vai ser, mais placa você precisa para processar.

Então tem alguns modelos que você obviamente escolhe aqui que alguns têm a parte de visão, então você pode falar, mandar uma imagem para ele, ele identifica, tem outros que só tem texto ou outros que entende áudio também ou gera áudio também. Então, por exemplo, se a gente pegar os dois mais famosos aqui, a gente tem o GMA 4, o Quen 3.5. Eu vou no GMA4 aqui que tem um modelo acho que legal dele aqui.

Então, basicamente, ó, aqui embaixo a gente tem alguns modelos. Por exemplo, o E2B, ó, o E2B ele é um modelo, esse é o peso dele, ali, texto e imagem. E também ele é um modelo, deixa eu clicar nele aqui, ele é um modelo que se você tem ali em torno de até 8 a 16 GB, né?

16 GB de RAM e uma placa de vídeo razoável também entre 8 GB de RAM, de V RAM, na verdade, né? você já consegue rodar ele tranquilamente.

É um modelo mais tranquilo, mais simples e ele também é algo bacana pro dia a dia, por exemplo. Então você pode só copiar o nome aqui, o comandinho aqui, ó, do CLAM run. Então você copia aqui, tá?

E aí você vai vir aqui no seu CMD e você vai basicamente colar aqui o lama run. E aí o modelo que a gente pegou, eu peguei esse aqui porque é o modelo mais leve. Esse computador que eu tô suporta um pouquinho uns modelos maiores, mas já já a gente vai instalar também.

Então, basicamente, você vai rodar esse comando aqui e ele vai instalar. Não vou instalar porque eu já instalei só para pular o tempo aqui que ele vai baixar, porque ele vai baixar esse modelo, que esse modelo ele pesa aqui, ó, 7 GB, tá?

Então, só você dar o comando, aí ele vai começar a baixar e a hora que ele acabar, ele vai falar até: "Ah, digite uma mensagem". Você pode digitar uma mensagem para testar ou você pode dar contrtrl D, contrtrl + D. Aí, basicamente, você sai e finalizou a instalação.

Então, depois que ele instalar, você acabou lá, deu o contrl D, fechou. E aí você pode, ó, vou até fechar aqui para vocês verem. Vou vir aqui no meu olama e eu vou vir aqui, ó.

E eu já tenho ele aqui, ó. Como eu falei, instalei a mesma forma, o E2B, ó, tá aqui.

E eu posso mandar aqui, por exemplo, oi, tudo bem? Vamos ver só para para vocês verem aqui.

Então, é um modelo que ele é um modelo mais leve, vamos se dizer, né, para computadores do dia a dia, computadores comum. Ainda precisa de uma placa de videozinha legal.

Ele tem um TTS não tão lentão devagar, né? Vamos se dizer que ele fica pensando lá.

Então ele usa o poder de processamento do seu PC, da sua RAM e também da sua placa de vídeo. Não tem nada aqui que tá ah, tá trelado algum, não, nada.

Então eu posso colocar aqui, por exemplo, ah, preciso que me ajude a aprender inglês do zero. Beleza?

Então, quero que ele me ajude a aprender inglês. Não quero usar esse modelo aqui para ele me ajudar a aprender em inglês, por exemplo.

Então, olha que massa. Pronto. Olha que da hora.

ele já vai. Então eu tenho um modelo aqui, a gente tem um histórico legal, então eu posso também ativar aqui para ele pesquisar e eu precisaria logar aqui no lama, né, se ele quisesse pesquisar na internet também.

No caso, eu não quero, mas disso eu já tenho aqui um modelo sensacional rodando na minha máquina. Então essa é uma das alternativas que eu posso usar para mim poder rodar aqui. Depois eu vou te mostrar como que você pode usar para usar o OLAMA para programar também de graça.

Daí você usa modelos rodando no seu PC. A segunda alternativa é de fato o LM Studio, né? Então, o LM Studio é uma das ferramentas que eu mais gosto também e que é uma das mais famosas que você tem também, como o OLAMA, você tem uma interface e você pode baixar modelos lá dentro, tá?

Então, opa, deixa eu vir aqui, só você vir aqui em baixar, aí você baixa aqui, eu já até deixei baixado, instala ele. Next, next, não tem nenhum segredo também. E aí você digita aqui, ó, LM Studio, abre ele aí.

Show de bola. Deixa ele abrir aqui.

E basicamente, a hora que ele abrir, a gente vai ter aqui alguns chats, tá? No caso, eu não tenho nenhum ainda, como eu abri com vocês. E aí, basicamente, aqui, ó, na esquerdinha, a gente tem um iconezinho ali, ó, model.

Então, aqui a gente pode pesquisar modelos. E uma coisa legal que dentro do site do OLAM ele não identifica aqui, como ele tá instalado, ele identifica que é se o modelo que você tá clicando ele suporta no seu computador ou não. Porque, por exemplo, dentro do site aqui do do OAMA você pode baixar os modelos, ver os modelos que tem.

Então, por exemplo, ah, quero o gema, vou pegar aqui o 12 de bilhão de parâmetro com Qat, né, que tem um aqui que é que é bem bom. Então, tem um modelo que ele é otimizado, né?

Então, pegar só 12 bilhões de parâmetros. Então, a gente já tem aqui, ó, alguns modelos aqui.

E só que se você clicar, por exemplo, ele não fala se suporta o quanto que precisa, né? Tem ali mais ou menos o tamanho, tem aqui, ó, o target do da da rank que você precisa.

Mas aqui dentro do LM Studio, uma coisa legal, por exemplo, você vai procurar aqui o gema. Ah, tem aqui o que eu acabei de falar, ó.

Gema 4 12 bilhões, que é AT. Você vê aqui que no meu computador, por exemplo, ele vai falar aqui que tá baixado, né? Então ele fala aqui que tem a compatibilidade.

Se eu vier aqui, esse outro, ó, Nemotrone 3 Nano né, que é do da Nvidia, você vai ver que no meu computador aqui suporta parcialmente ali, então teria que diminuir um pouco o raciocínio dele ali para suportar. Então isso é muito massa. E olha aqui no meu computador aqui, eu tô num computador para vocês terem aqui de ideia.

32 GB de RAM, ele é 1,9 e eu tenho uma placa gráfica aqui que é uma 4070 Ti 16 GB aqui de VAM, tá? Então, basicamente essa aqui já não suportaria.

O Quen 3.6, por exemplo, se eu clicar aqui, ó, parte também a gente tem o Quen, é, deixa eu pegar aqui o Quen 3.5, que é um famosinho que é mais leve, ó, ele é bem mais leve, mas daí eu preferiria aquele outro que a gente instalou. Então, no caso, se você tem ali nesse nível que é 32 GB de RAM, você tem mais que 16 GB de RAM e você tem uma placa de vídeo que tem ali entre e mais de 8 de V RAM também você tem ali uma 40 70 ou daí para cima, né? Eu gosto de usar esse GMA 4 aqui que é bem novo, é otimizado, então ele é bem rápido, ele também suporta aqui, ó, visão a parte de to, né?

Então ele sabe chamar ferramentas, tem o raciocínio. Então esse cara aqui, ó, GMA4 12 bilhão.

Então no meu caso, eu vou usar esse. E aí vai ter o botãozinho de instalar.

Eu já instalei só para não demorar. Ele é 7 GB também, mas se você quiser outro, ah, que era um mais leve, né? Como eu falei aqui, ó, você pode ir olhando.

Por exemplo, o Quen, tem o 3.5 ou até o Gemma, né? Tem o Gema 4 mais leve.

Aqui tem vários outros variações mais leves, ó. Eh, tem esse 12 bilhões sem ser essa esse cara aqui.

Tem o E2B aqui que a gente já instalou lá no lama também. E aí você pode, ó, dar um download ali, ele vai baixar. Então, eu já baixei o primeiro aqui.

Depois que ele baixou, você pode vir aqui, ó, no seu chatzinho, new chat, por exemplo. Você vem aqui em cima e carrega o modelo, ó. Eu tenho ele aqui.

Cliquei para selecionar. Tá carregando ali o modelo nesse meu chat.

Então, só aguardar. Olha que massa, já carregou aqui. Então, agora que ele carregou, ó, ele suporta prisão.

Poderia mandar uma imagem aqui, falar: "Ó, o que que é essa imagem aqui?" ou sei lá, ele vai entender. Ele tem o poder ali computacional de visão, então ele consegue processar ali, ó, imagens. Ele também tem o thinking aqui, tá?

Que é o raciocínio. Vou mandar a mesma coisa aqui. Oi, tudo bem?

Preciso que você seja meu professor de inglês. Quero aprender inglês do zero com, opa, do zero com foco em conversa. Show de bola e maravilha.

Vamos ver aqui quanto tempo ele vai demorar. Então é um modelo que ele ele raciocina, né?

Então isso é bem legal e também não demora tanto ali, ele é bem mais otimizado do que o outro que a gente instalou no Olama, mas também tem esse salto a mais de gráfico aí. Então ficarei muito feliz em ser seu professor de inglês.

Aprendeu o novo idioma é uma jornada incrível, show de bola. Aí como eu não mandei nada, ele já foi pro ativo ali, mandou a metodologia ali, pegou ali, é um plano ali, então aula zero ali o diagnóstico.

Então aí cara, sensacional. E eu tenho aqui do lado meu chatzinho aqui, beleza? Então, duas alternativas que eu gosto muito de utilizar, que é o OLAMA e o LM Studio.

O LM Studio eu já uso ele por aqui mesmo, mas dá para você conectar o LM Studio via API. Você tem aqui, ó, também a parte de API, por exemplo, aqui em developer, ó. Você pode clicar aqui e você vai ver que eu poderia, por exemplo, exportar ali um IP da minha máquina ali e ter acesso a esse modelo para usar via API em algum local ou conectar com alguma ferramenta ali para usar essa LLM também em um chat ali localmente, sem ter que ficar pagando para um provedor extra, sem ter que ficar pagando por um GPT.

Então, dependendo da sua máquina, cara, sensacional já. Ou até pegar modelos mais acima.

Se você tem um Mac Book Pro, um Mac mini também de 128 GB de de RAM, então você tem um Mac mini, um Mac melhor, você pode usar modelos ainda mais acima tranquilamente. Eu aqui tô com um PC que já é um pouco acima, mas também peguei um modelo que ele é bom, ele é raciocínio e ele é rápido também, não pesa tanto.

Uma coisa que eu recomendo é: "Ah, Mateus, eu eu parei já te usar aqui, quero fechar aqui um pouquinho". Eh, eu ejeto ele nesse chat aqui para não ficar pesando a memória. Então, ah, usei aqui, ó, ejeta aqui ou fecha, né, tudo, mas eu gosto de táar, ó, eetei.

E aí eu posso fechar aqui. E agora uma dica extra para você é, se você quer programar utilizando ali o OLAMA, a gente pode também uma alternativa que eu utilizo, opa, o Open Code, né? Então, o Open Code a gente consegue ter essa linha de terminal ali como cloud code da vida.

Dá para utilizar o Open Code, que tem alguns modelos grátis ali, mas dentro do Open Code você pode colocar os seus modelos também, modelo que você tá rodando localmente ali, como do OLAMA. Então eu posso, por exemplo, usar esse comando aqui e já abrir o o lama injetado dentro do Open Code.

Então se você utiliza, né, Codezinho para programar, que eu gosto demais dessa ferramenta, ainda mais por ser uma ferramenta custo benefício, que você pode usar de graça e também você pode usar os modelos de eh locais, abre ali a pasta que você quer, né, o CMD dentro da pasta que você quer programar, por exemplo, do seu projeto. E aí, ao invés de você digitar apenas Open Code, para você abrir ali o Open Code, você vai usar o comando Oamaunch Open Code. Então ele vai abrir o Oama já dentro do Open Code da Cal para você programar.

E aí ele suporta, né? Tem alguns modelos aqui do OLAMA que tá lá que você tem que pagar, obviamente. E aí aqui no more, ó, você tá vendo aqui no more eu tenho os modelos que eu já baixei, por exemplo, ó.

Tá vendo que é aquele que a gente instalou? Então eu vou selecionar ele, né? Não quero baixar outro, mas poderia baixar outro e ter vários aqui.

Então, usar esse aqui, o E2B, que ele é um modelo mais simples do que aquele que a gente instalou no LM Studio. Então, se fosse para mim programar, eu ia pegar e baixar aquele que eu usei lá no LM Studio, baixar aqui no lama e ter a disponibilidade dele.

Então, olha que sensacional. Agora eu já tenho um Open Code aqui. Ele já tá dentro aqui.

Pode programar normal, então, só entrar dentro da sua pasta. E ele já tá aqui, ó, construir com o modelo que a gente colocou aqui. Então, vou colocar aqui, por exemplo, oi, tudo bem?

Só para ver se ele vai me responder. Só para você ver, ó.

tá usando o nosso modelo local, então não tô usando nenhuma LLM paga, nenhum provedor pago, que eu tenho que ficar preocupando com tokens, não. E tá processando na sua máquina.

Então, se você tem uma máquina mais forte ainda, cara, aí você manda a bala instalando modelos mais fortes. Aí, antes de você sair do vídeo aqui, ó, links importantes está na descrição, inclusive o nosso grupo exclusivo para você não perder as lives exclusivas, os conteúdos.

Então, ó, entra lá no grupo exclusivo que tá aqui embaixo na descrição e eu te vejo aí no próximo vídeo aqui no canal. Aqui, ó, se inscreve.

Continue aprendendo

Deixe seu comentario, compartilhe com seus amigos e inscreva-se para receber novos artigos.

Fonte: Assistir vídeo original no YouTube
Baseado na transcrição original do vídeo