Visão geral
O MathLLMs é um projeto de pesquisa que investiga a capacidade aritmética de LLMs: o quanto os modelos realmente sabem somar, multiplicar e resolver outras operações, e em que ponto essa capacidade se degrada. Os experimentos rodam essas contas com números de complexidade crescente e comparam o desempenho de diversos modelos do mercado, observando como a taxa de acerto cai à medida que a quantidade de dígitos aumenta.
Os resultados ficam num painel interativo que cruza modelo, tipo de operação e número de dígitos. Só na rodada de multiplicação de inteiros já são 11.835 testes rodados, com 9.273 acertos — 78,4% de taxa global —, e o padrão se repete entre os modelos: a acurácia fica perto de 100% até 3 ou 4 dígitos e despenca a partir daí, chegando a zero bem antes dos 10 dígitos para a maioria.