Добрый день.
С .net core вообще сложно - можете посмотреть в соответствующей теме, поддержка самой новой версии не совсем полная. Описание задачи не очень ясное - что именно и где хотите делать. Есть какие-то предварительные наметки или еще пока исследуете возможности? Пользователи будут заходить через браузер на сервер или некое клиентское приложение будет в фоне обращаться к серверу? Нужно ли входить по сертификату? Если подпись проверяется, то где-то и должно подписываться? Какие требования к подписи - нужна ли отметка штампа времени или длительность возможности проверки подписи (от 10 лет, например) - это влияет на набор нужных продуктов, для вставки штампа времени в подпись нужны еще OCSP и TSP клиенты и подписка на некий сервер доверенного времени.

По "шифрованию канала" (полагаю, по гост?) - зависит от того, нужно Вам шифровать одно TLS соединение со стороны клиента (тут правда Крипто Про CSP 4 справится) или VPN соединение или серверную сторону TLS (тут технически возможно совместить системные средства с CSP, но если нужно пройти проверки по всем требованиям закона - проще использовать специализированный уже сертифицированный продукт).

Просто проверять подпись можно без лицензии (с истекшей пробной). Подписание и расшифровка данных (операции требующие обращения к контейнеру с долговременными ключами) требуют лицензию. На сервере (серверной операционной системе) из-за шифрования (зависит как реализовано) скорее всего может потребоваться серверная лицензия. Пробная лицензия подходит на сервер и действует 3 месяца, многие разработчики отлаживают на пробной лицензии. В продакшене уже потребуется непробная лицензия. Несколько серверов - несколько лицензий (технически работает и та же самая, но для проверок нужно соответствующее количество лицензий). Есть еще вариант - ограниченная лицензия, встроенная в сертификат - подходит и на клиент и на сервер - так сможете подписывать конкретным сертификатом. Сертификат может быть с маской сервера, так может выйти дешевле чем серверная лицензия (зависит сколько серверов и в каком УЦ получаете сертификат).