Modèles hybrides vs transformateurs : analyse token par token
Les modèles hybrides comme Olmo Hybrid surpassent les transformateurs sur les tokens porteurs de sens (noms, verbes, adjectifs) mais perdent leur avantage sur les répétitions exactes. L'étude compare finement les prédictions des deux architectures.