A última quarta-feira, 15/8, marcou o fim do Período de Avaliação. O ranking final completo da Opening Challenge pode ser visto aqui (lembrando que o score final foi calculado como o menor valor entre o score do Período de Simulação e o score da Avaliação).

Parabéns aos 3 primeiros* colocados! O usuário meireled (segundo lugar geral), por ser empregado do grupo BTG Pactual, ficou excluído do ranking de premiação.

A seguir apresentamos uma breve discussão dos resultados enxergados nos dois períodos, do ponto de vista do Sharpe de cada estratégia. Na fase de 'Backtest', é possível notar como os resultados foram melhores, com apenas 5% dos algoritmos enviados apresentando score nulo. A fase de 'Paper Trade' foi dura com mais competidores: 42% tiveram score nulo e  27% apresentaram um índice de Sharpe muito negativo.

Podemos fazer duas análises:

  1. Sobre a melhor performance geral no Backtest. Os algoritmos foram criados e testados em uma janela de dados diferente daquela usada no Paper Trade. Um usuário pode, mesmo que não intencionalmente, acabar fazendo um overfit do modelo para a janela de teste e isso resulta em uma performance diferente da esperada.
    Recomendamos a leitura dos tutoriais:
    • Walk Forward: Testes Dentro e Fora da Amostra
    Possíveis Erros nos Modelos
  2. Sobre o percentual maior de scores nulos. O intervalo mais curto do Paper Trade pode não ter sido suficiente para que a estratégia enxergasse sinais de compra ou venda de ações. Isso não chega a ser um erro do algoritmo, mas uma decisão na sua criação que não ficou adequada às regras da Opening Challenge. O mesmo algoritmo, em outros formatos de avaliação, poderia ter apresentado resultados satisfatórios.
    Neste caso, recomendamos a leitura do tutorial:
    • Escolha do Universo e da Frequência de Observação.

Esperamos que os tutoriais possam ajudar e que os algoritmos repaginados possam participar das futuras competições!

 

BrazilUSA