Existe uma oportunidade real para um investigador ambicioso de IA de:

- criar uma estrutura de avaliação para testar harnesses de agentes como Openclaw, Hermes e todos os outros “claws”
- expandir a avaliação para diferentes ferramentas / configurações para que saibamos como o desempenho muda com diferentes setups
- realizar avaliações robustas em vários modelos, incluindo local vs API
- fazer benchmarking e publicar resultados, depois fazer atualizações contínuas à medida que os agentes e modelos evoluem
A oportunidade é ser A fonte de referência para benchmarks objetivos de agentes
Talvez alguém já esteja a fazer isso e eu simplesmente não esteja a par? Não apenas comparações pontuais, mas testes e avaliações padrão reais para que possamos comparar resultados de forma verdadeira