Eh bien ce fut amusant ... Voyons donc à quel point ces deux derniers jours ont été instructifs, et listons ce qui m'est arrivé au cas où cela puisse aider quelqu'un (ou le faire rire, c'est selon).

• Trouver un moyen d'accéder à mon hébergement OVH via SSH : non ce n'est pas aussi simple que c'est écrit dans le guide. Celu-ci affirme qu'on peut utiliser indifféremment pro.ovh.net ou son nom de domaine pour se connecter. Personnellement, je n'ai jamais réussi à me connecter sur pro.ovh.net. Allez comprendre.
• Mettre en place wordpress : un vrai bonheur, simple et rapide. OVH interdit l'accès internet depuis les hébergements mutualisés, donc il faut télécharger chez soi puis uploader (via Filezilla par exemple). Mais ensuite, de la création de la base de données à l'exécution du script d'installation, aucun souci.
• Installer SVN : là-dessus le guide OVH est fiable. Vous pouvez donc le suivre sans souci : guides.ovh.com/SVNMutu. Une chose à savoir : si vous êtes aussi barbare que moi et utilisez l'exécutable de Putty au lieu d'utiliser l'installeur, "charger la clef dans Pageant" ne se résume pas à un double clic. Il faut d'abord indiquer à Windows avec quoi ouvrir le fichier de clé publique généré par PuttyGen. Ah et au moins sous Windows 7, la fameuse "icône en bas à droite" apparaît en fait dans les miniatures de la zone de notification.
• Installer WebSVN : jusque là pas de souci. Une fois de plus, télécharger, uploader, dézipper. Il suffit ensuite d'indiquer le répertoire du dépôt SVN dans le fichier de configuration (qui n'existe pas au départ ! il faut copier include/distconfig.php en include/config.php).
• Ajouter un login à WebSVN (histoire de ne pas laisser les dépôts en lecture libre) : CA c'était amusant, trois heures de galère. Les informations que j'ai trouvées étaient toutes complexes et impliquaient la configuration poussée d'Apache, à laquelle je n'avais apparemment pas accès. J'ai renoncé à l'idée de faire quelque chose de propre et choisi de faire un .htaccess simple (AuthName, AuthType, AuthUserFile, Require valid-user) lisant un .htpasswd (situé hors des répertoires web public, bien sûr ;)). L'inconvénient est qu'il n'est pas possible de filtrer les accès par dépôt avec cette méthode, mais c'est mieux que de laisser mes dépôts SVN en lecture libre.
• Le tout pour remarquer que WebSVN avait changé la version de PHP et cassé Wordpress. Heureusement la réparation fut simple, un simple SetEnv PHP_5 ajouté en tête du .htaccess de Wordpress.

Prochaine étape : intégrer un bug tracker (a priori Mantis) ! On verra bien, ce n'est pas urgent.