Llama-3.1-Nemotron-70B-Instruct Para que criar um novo se voce pode melhor? assim fez a Nvidia, um modelo de 70B (com tecnica RLHF) que ficou em vários benchmarks igual ao Claudie 3.5 Sonnet e GPT-4o? é excelente e ano 2025 será um ano disso mesmo, SLM melhores para serem usados em baixos recursos e LLM melhores com menos parametros como esse de 70B! Pena que para fazer fine tunning ainda seja pesado eonomicamente, em modelos com muitos parametros, falando para empresas pequenas / medias. Em relação modelos e a sua quantização bits , já é uma tecnica usada para reduzir os recursos necessarios para rodar LLM localmente, e é mais que natural que exista uma "guerra" entre empresas pois não querem estar limitados a inferencia API. Microsoft , Apple , Xiaomi entre outras são exemplos de empresas que querem ter mais rapido possivel modelos mais "leve" possivel para correr localmente nos chips , mesmo porque terão um problema de PRIVACIDADE e as leis como exemplo Europa, se não for local nunca a Comunidade Europeia deixará usar na Europa, tem de ser do lado do cliente e sempre com a possibilidade de turnOFF. Posdcast TOP vou seguir.
Que bate papo gostoso, uma aula descontraída sobre um tema atual. Eu tenho assinado o Mixtral, sim, eles tem um site que permite via uma API executar os modelos mais pesados, o OpenAI e o Claude. Mas para meus desenvolvimentos profissionais, não poderia jamais usar esses modelos. Tentei criar um EC2 na AWS, mas nada, o valor hora para suportar algo minimamente satisfatório seria algo por voltar de US$ 3 até 5.00 por hora. Não teve jeito, removi o escorpião do bolso, sacudi os cofrinhos e comprei um M3 Pro Max. O equipamento é fantástico, mas deixou muito à desejar, talvez comparado a relação custo benefício, por exemplo os modelos 70B vai no "chorinho", abaixo disso voa, inclusive, uso agentes com vários modelos locais, e o equipamento não sente. Na contramão da tendência, eu uso mais Go e Rust, deixo o Python apenas para pós processamento, gerar uma saída bonita (dataframes).
Llama-3.1-Nemotron-70B-Instruct
Para que criar um novo se voce pode melhor? assim fez a Nvidia, um modelo de 70B (com tecnica RLHF) que ficou em vários benchmarks igual ao Claudie 3.5 Sonnet e GPT-4o? é excelente e ano 2025 será um ano disso mesmo, SLM melhores para serem usados em baixos recursos e LLM melhores com menos parametros como esse de 70B!
Pena que para fazer fine tunning ainda seja pesado eonomicamente, em modelos com muitos parametros, falando para empresas pequenas / medias.
Em relação modelos e a sua quantização bits , já é uma tecnica usada para reduzir os recursos necessarios para rodar LLM localmente, e é mais que natural que exista uma "guerra" entre empresas pois não querem estar limitados a inferencia API. Microsoft , Apple , Xiaomi entre outras são exemplos de empresas que querem ter mais rapido possivel modelos mais "leve" possivel para correr localmente nos chips , mesmo porque terão um problema de PRIVACIDADE e as leis como exemplo Europa, se não for local nunca a Comunidade Europeia deixará usar na Europa, tem de ser do lado do cliente e sempre com a possibilidade de turnOFF.
Posdcast TOP vou seguir.
Esse fromAI() não funciona dentro de uma query sql das tools postgres e mysql.
Que bate papo gostoso, uma aula descontraída sobre um tema atual. Eu tenho assinado o Mixtral, sim, eles tem um site que permite via uma API executar os modelos mais pesados, o OpenAI e o Claude. Mas para meus desenvolvimentos profissionais, não poderia jamais usar esses modelos. Tentei criar um EC2 na AWS, mas nada, o valor hora para suportar algo minimamente satisfatório seria algo por voltar de US$ 3 até 5.00 por hora. Não teve jeito, removi o escorpião do bolso, sacudi os cofrinhos e comprei um M3 Pro Max. O equipamento é fantástico, mas deixou muito à desejar, talvez comparado a relação custo benefício, por exemplo os modelos 70B vai no "chorinho", abaixo disso voa, inclusive, uso agentes com vários modelos locais, e o equipamento não sente. Na contramão da tendência, eu uso mais Go e Rust, deixo o Python apenas para pós processamento, gerar uma saída bonita (dataframes).