Последнее что сделал: обновил версию КриптоПро до 4.0.9842
И поменял bindig для ГОСТ сертификата на порт 4444 (думаю можно любой, кроме 443) на котором висит RSA сертифкат.

Т.е. сайт ХХХ в IIS имеет 2 binding
старый_сайт.домен 443 порт RSA сертификат
tls.домен 4444 порт ГОСТ сертификат

В принципе, это рабочая конфигурация. Завтра разделю сайты, чтобы 443 работал ГОСТ.

Спасибо за ваши ответы, они очень помогли. Утилита csptest.exe оказалась крайне полезной.

PS до настроек IE не дошел, если вы знаете, где смотреть логи, почему он не может подключиться, буду признателен.