Здравствуйте.
Вероятно, подойдут примеры подписи CMS.java из CMS_samples архива samples-sources.jar (в дистрибутиве JCP), в них подписывается хеш.
Да, хеш будет считаться, если подать данные. Да, можете дать файл. Файл передавать, как есть, в виде массива байтов.

Если подпись отделенная, то detached=true, иначе - false.
Да, эта функция создаст PKCS7 по хешу данных (сначала хеш, потом подпись).
Это не будет подпись по подписанным атрибутам, поэтому внутри подписи не будет хеша данных (message-digest) (для сравнения можно посмотреть CMSSign пример, в нем есть подпись атрибутов).

Атрибуты у подписи.
Используете ли верно, зависит от требований. Есть форматы: PKCS7, CMS, CADES. Подпись может быть отделенная (detached=true) или совмещенная (detached=false). Если подпись по хешу данных, то, видимо, выбрана верная версия функции. Если нужна подпись отделенная, то detached=true.

У меня есть описание данной подписи
Формат PKCS#7 используется для подписания файлов, вложенных в сообщения.
Используется версия 1.5 спецификации PKCS#7 (RFC-2315).
На формат подписи накладываются следующие ограничения:
• Для корневого элемента ContentInfo единственный допустимый contentType - SignedData.
• Подпись должна быть detached (т.е. для элемента SignedData/contentInfo/contentType единственное допустимое значение - 1.2.840.113549.1.7.1, а элемент SignedData/contentInfo/content должен отсутствовать).
• Для вычисления message digest разрешён только алгоритм ГОСТ Р 34.11-94 (планируется переход на ГОСТ Р 34.11-2012 до конца 2018г., при этом ГОСТ Р 34.11-94 также будет поддерживаться).
• Для генерации ЭП разрешён только алгоритм ГОСТ 34.10-2001 (планируется переход на ГОСТ Р 34.10-2012 до конца 2018г., при этом ГОСТ Р 34.10-2001 также будет поддерживаться).
• Разрешено применять только X-509 сертификаты. Сертификаты PKCS#6 запрещены.
• Запрещено размещать более одной ЭП в PKCS#7-криптосообщении.
• В элементе SignerInfo должны присутствовать следующие authenticated attributes:
◦ contentType (1.2.840.113549.1.9.3), всегда имеет значение 1.2.840.113549.1.7.1.
◦ messageDigest (1.2.840.113549.1.9.4), содержит ГОСТ-digest подписываемого файла.



12.3. Приложение 3: Профиль формата PKCS#7, которому должны удовлетворять подписи вложенных файлов
pkcs-7 OBJECT IDENTIFIER ::= {iso(1) member-body(2) us(840) rsadsi(113549) pkcs(1) 7}
pkcs-9 OBJECT IDENTIFIER ::= {iso(1) member-body(2) us(840) rsadsi(113549) pkcs(1) 9}
gost-r OBJECT IDENTIFIER ::= {iso(1) member-body(2) rus(643) khz(2) 2}

SignatureContentType OBJECT IDENTIFIER ::= {pkcs-7 2} -- PKCS#7 SignedData
SignedFileContentType OBJECT IDENTIFIER ::= {pkcs-7 1} -- PKCS#7 data
DigestAlgorithmIdentifier OBJECT IDENTIFIER ::= {gost-r 9} -- GOST R 34.11-2012
DigestEncryptionAlgorithmIdentifier OBJECT IDENTIFIER ::= {gost-r 19} -- GOST R 34.10-2001

Version INTEGER ::= 1 -- PKCS#7 standard version. Refers to version 1.5.

ContentInfo ::= SEQUENCE {
contentType SignatureContentType,
content SignedData
}

SignedData ::= SEQUENCE {
version Version,
digestAlgorithms DigestAlgorithmIdentifiers,
contentInfo ExternalContentInfo,
certificates ExtendedCertificatesAndCertificates,
signerInfos SignerInfos
}

DigestAlgorithmIdentifiers ::= SET OF DigestAlgorithmIdentifier

ExternalContentInfo ::= SEQUENCE {
contentType SignedFileContentType
}

ExtendedCertificatesAndCertificates ::= SET OF ExtendedCertificateOrCertificate

ExtendedCertificateOrCertificate ::= CHOICE {
certificate Certificate -- X.509
}

SignerInfos ::= SET OF SignerInfo

SignerInfo ::= SEQUENCE {
version Version,
issuerAndSerialNumber IssuerAndSerialNumber,
digestAlgorithm DigestAlgorithmIdentifier,
authenticatedAttributes [0] IMPLICIT Attributes,
digestEncryptionAlgorithm DigestEncryptionAlgorithmIdentifier,
encryptedDigest EncryptedDigest
unauthenticatedAttributes [1] IMPLICIT Attributes OPTIONAL }
}

EncryptedDigest ::= OCTET STRING



Каким кодом можно c jcp можно реализоват данную подпись?

Проблема решена с помощью вашей поддержки

Кому нужно для смев3 нужно использовать CMSSign.createHashCMS

public static byte[] createHashCMS(byte[] data, PrivateKey[] keys,
Certificate[] certs, String path, boolean detached) throws Exception {
return createHashCMSEx(data, false, keys, certs, path, detached, false);
}