S'il s'agit d'une peinture ancienne, elle n'est vraisemblablement pas à l'acrylique qui est un produit récent. Si elle n'est pas ancienne et à l'acrylique, cette dernière étant imperméable à l'eau, vous pouvez tenter de nettoyer doucement au savon de marseille, oter ensuite le savon avec un chiffon humide et sécher.
S'il s'agit d'une peinture à la caseine ancienne, elle est devenue imperméable avec l'âge et vous pouvez tenter le même traitement.
S'il s'agit d'une peinture à l'huile vous pouvez nettoyer avec un oignon coupé en deux: frottez légèrement et recoupez pour avoir une tranche propre dès que celle-ci est encrassée.
Il est peu vraisemblable qu'il s'agisse d'une gouache car cette dernière est très fragile et disparaît à l'eau, donc aucun nettoyage possible.

Dans tous les cas faites un essai dans une zone peu visible.