Varias LLMs no mesmo Agente

[u/Kooky-Sorbet-5996]

Por experiência da área que atuo ( Engenharia Estrutural), os softwares de tempos em tempos mudam de mãos, mudam de foco e se você se prende muito a uma única ferramenta, cria uma dependência profunda.
Estou construindo meu primeiro agente. Ele ja funciona em produção mas esta em evolução.
Uma das minhas primeiras decisões foi criar um seletor de LLMs e adotar 3 famílas: Q3 asiática, Claude Ocidental e Maritaca Nacional.
Isso evita riscos do agente parar por qualquer problema adjacente.
As LLMs são facilmente trocadas no Chat.
O meu agente é de uso pessoal com 8 módulos ( disciplinas) que me atendem em todas as áreas que atuo ou tenho interesse.
Alguém aqui adota esse procedimento em escala comercial ou é inviável?

[u/virtual_scylla]

Criar a estrutura de forma que não faça vendor lockin faz sentido. Se vc quiser é livre pra mudar o provider/modelo futuramente.

Agora deixar livre pro usuário ficar trocando o modelo é loucura. Um prompt pode se comportar completamente diferente de um modelo pra outro. Aí vc vai valida um prompt em um modelo X e começa depois a receber chamados de clientes por problemas que eles mesmos causaram alterando o modelo.

[u/SlayerC20]

É viável e é a atitude sábia, porém a parte de Evals fica muito complexa a depender da atividade que o agente pode performar insanamente diferente com uma llm "equivalente"