Ключевое слово в защите информации
КЛЮЧЕВОЕ СЛОВО
в защите информации
Наши способы организации безопасного удалённого доступа к рабочим местам и корпоративным ресурсам
Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

Опции
К последнему сообщению К первому непрочитанному
Offline Алексей1987  
#1 Оставлено : 6 октября 2020 г. 11:30:20(UTC)
Алексей1987

Статус: Активный участник

Группы: Участники
Зарегистрирован: 16.07.2020(UTC)
Сообщений: 46
Российская Федерация
Откуда: Санкт-Петербург

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 1 раз в 1 постах
Всем добрый день.

Имеется несколько серверов на базе Windows Server 2016 с ролью routing and remote acess, на котором поднят VPN сервер с PSK (pre shared key).
На сервере установлено ПО: КриптоПро CSP 5.0.11455 КС1, ipsec 1.5.2997

Периодически независимо от нагрузки на сервер, количества активных соединений и других факторов происходит сбой на сервере в драйвере cp_tcpip.sys (данный драйвер принадлежит ПО КриптоПро) сразу же после переборки фрагментированной дейтаграммы. При этом на сервере возникает BSOD с перезагрузкой системы. Спустя любой случайный промежуток времени ситуация повторяется. Просьба указать рекомендации по исправлению проблемы.

Анализ логов и дампа ниже:
driverquery драйвер в котором возникает ошибка
Module Name  Display Name           Description            Driver Type   Start Mode State      Status     Accept Stop Accept Pause Paged Pool(bytes) Code(bytes) BSS(bytes) Link Date              Path                                             Init(bytes)
============ ====================== ====================== ============= ========== ========== ========== =========== ============ ================= =========== ========== ====================== ================================================ ===========
cp_tcpip     CryptoPro IPSec Driver CryptoPro IPSec Driver Kernel        System     Running    OK         TRUE        FALSE        0                 36,864      0          10/11/2019 1:58:50 PM  C:\WINDOWS\system32\DRIVERS\cp_tcpip.sys         4,096      

nt!KeBugCheckEx
nt!KiBugCheckDispatch+0x69
nt!KiPageFault+0x42c
cp_tcpip+0x1093
cp_tcpip+0x7d73
cp_tcpip+0x7b0b
cp_tcpip+0x7c0a
tcpip!IppReceiveHeaderBatch+0x3ef
tcpip!Ipv4pReassembleDatagram+0x4e3
tcpip!Ipv4pReceiveFragment+0xf70
tcpip!Ipv4pReceiveFragmentList+0x42
tcpip!IppReceiveHeaderBatch+0x3ef
tcpip!IppFlcReceivePacketsCore+0x315
tcpip!FlpReceiveNonPreValidatedNetBufferListChain+0x271
tcpip!FlReceiveNetBufferListChainCalloutRoutine+0xc2
nt!KeExpandKernelStackAndCalloutInternal+0x85
tcpip!FlReceiveNetBufferListChain+0xb6
NDIS!ndisMIndicateNetBufferListsToOpen+0x11e
NDIS!ndisMTopReceiveNetBufferLists+0x224
NDIS!ndisCallReceiveHandler+0x47
NDIS!NdisMIndicateReceiveNetBufferLists+0x735
vmxnet3+0xcad3
vmxnet3+0xe2c3
NDIS!ndisInterruptDpc+0x1c9
nt!KiExecuteAllDpcs+0x335
nt!KiRetireDpcList+0x910
nt!KiIdleLoop+0x5a

Отредактировано пользователем 6 октября 2020 г. 11:30:54(UTC)  | Причина: Не указана

Offline pd  
#2 Оставлено : 6 октября 2020 г. 16:32:51(UTC)
pd

Статус: Сотрудник

Группы: Администраторы
Зарегистрирован: 16.09.2010(UTC)
Сообщений: 1,051
Откуда: КРИПТО-ПРО

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 170 раз в 148 постах
Автор: Алексей1987 Перейти к цитате
Всем добрый день.

Имеется несколько серверов на базе Windows Server 2016 с ролью routing and remote acess, на котором поднят VPN сервер с PSK (pre shared key).
На сервере установлено ПО: КриптоПро CSP 5.0.11455 КС1, ipsec 1.5.2997

Периодически независимо от нагрузки на сервер, количества активных соединений и других факторов происходит сбой на сервере в драйвере cp_tcpip.sys (данный драйвер принадлежит ПО КриптоПро) сразу же после переборки фрагментированной дейтаграммы. При этом на сервере возникает BSOD с перезагрузкой системы. Спустя любой случайный промежуток времени ситуация повторяется. Просьба указать рекомендации по исправлению проблемы.

Уточните версию системного драйвера tcpip.sys.

Уточните сценарий как воспроизвести ошибку.

Отредактировано пользователем 6 октября 2020 г. 17:43:31(UTC)  | Причина: Не указана

Знания в базе знаний, поддержка в техподдержке
thanks 1 пользователь поблагодарил pd за этот пост.
Алексей1987 оставлено 07.10.2020(UTC)
Offline Алексей1987  
#3 Оставлено : 7 октября 2020 г. 9:38:18(UTC)
Алексей1987

Статус: Активный участник

Группы: Участники
Зарегистрирован: 16.07.2020(UTC)
Сообщений: 46
Российская Федерация
Откуда: Санкт-Петербург

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 1 раз в 1 постах
Добрый день.

Уточните сценарий как воспроизвести ошибку - настроить сервер с ролью RRAS, установить текущие указанные версии КриптоПро CSP+Ipsec
Инициировать подключение пользователей и ожидать ошибку.
Ошибка происходит в случайный рэндомный момент времени, воспроизвести ошибку не представляется возможным.

Уточните версию системного драйвера tcpip.sys.



image_2020_10_07T06_35_50_956Z.png (39kb) загружен 9 раз(а).
Offline pd  
#4 Оставлено : 7 октября 2020 г. 12:00:45(UTC)
pd

Статус: Сотрудник

Группы: Администраторы
Зарегистрирован: 16.09.2010(UTC)
Сообщений: 1,051
Откуда: КРИПТО-ПРО

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 170 раз в 148 постах
Автор: Алексей1987 Перейти к цитате
Добрый день.

Уточните сценарий как воспроизвести ошибку - настроить сервер с ролью RRAS, установить текущие указанные версии КриптоПро CSP+Ipsec
Инициировать подключение пользователей и ожидать ошибку.
Ошибка происходит в случайный рэндомный момент времени, воспроизвести ошибку не представляется возможным.

Не установлено ли у вас какое-то дополнительное ПО? (Особое внимание -- сетевые фильтр-драйверы)

Как часто ошибка возникает? (раз в день/неделю)

По стеку видно, что вы работаете в виртуальной среде, можете попробовать сменить тип сетевой карты?

Отредактировано пользователем 7 октября 2020 г. 13:55:35(UTC)  | Причина: Не указана

Знания в базе знаний, поддержка в техподдержке
Offline Алексей1987  
#5 Оставлено : 8 октября 2020 г. 10:19:30(UTC)
Алексей1987

Статус: Активный участник

Группы: Участники
Зарегистрирован: 16.07.2020(UTC)
Сообщений: 46
Российская Федерация
Откуда: Санкт-Петербург

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 1 раз в 1 постах
Дополнительное ПО: установлен антивирус касперского (KES), но перезагрузки происходили и до его установки и ошибки с установкой антивируса я не могу связать. Никакого другого по (офисов, каких то других программ, браузеров) - не установлено.
Ошибка возникает в среднем 5-20 раз в месяц, независимо. При этом по некоей случайности может не появляться в течении двух недель, но затем начнется итерация каждый день или несколько раз в день. Никакой зависимости не удалось установить, только сам факт.
Да, работаю в виртуальной среде, сетевые адаптеры пробовали менять с vmware vmxnet на другие. Разницы замечено не было особо.

Сетевые фильтры не установлены, кроме тех что идут штатно с КрипроПро+ipsec как я понимаю, например CPFilter7 Driver, штатный Планировщик пакетов QoS.

pd подскажите пожалуйста - может быть существуют какие то fix патчи библиотек или в целом для crypto pro csp и ipsec? Существующие вот на случай возникновения проблематики подобного рода. Связываю это все с работой серверной ОС и взаимодействием установленных компонентов криптозащиты, так как более нигде такой проблематики нету.
Offline pd  
#6 Оставлено : 8 октября 2020 г. 11:18:54(UTC)
pd

Статус: Сотрудник

Группы: Администраторы
Зарегистрирован: 16.09.2010(UTC)
Сообщений: 1,051
Откуда: КРИПТО-ПРО

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 170 раз в 148 постах
Автор: Алексей1987 Перейти к цитате
Дополнительное ПО: установлен антивирус касперского (KES), но перезагрузки происходили и до его установки и ошибки с установкой антивируса я не могу связать. Никакого другого по (офисов, каких то других программ, браузеров) - не установлено.
Ошибка возникает в среднем 5-20 раз в месяц, независимо. При этом по некоей случайности может не появляться в течении двух недель, но затем начнется итерация каждый день или несколько раз в день. Никакой зависимости не удалось установить, только сам факт.
Да, работаю в виртуальной среде, сетевые адаптеры пробовали менять с vmware vmxnet на другие. Разницы замечено не было особо.

Сетевые фильтры не установлены, кроме тех что идут штатно с КрипроПро+ipsec как я понимаю, например CPFilter7 Driver, штатный Планировщик пакетов QoS.

pd подскажите пожалуйста - может быть существуют какие то fix патчи библиотек или в целом для crypto pro csp и ipsec? Существующие вот на случай возникновения проблематики подобного рода. Связываю это все с работой серверной ОС и взаимодействием установленных компонентов криптозащиты, так как более нигде такой проблематики нету.

Проблема точно в драйвере IPsec, но причина её возникновения непонятна, в месте ошибки (судя по вашему дампу) уже много лет всё стабильно.

Нет ли у вас ещё дампов с крэшем? А лучше все дампы пришлите на pdn@cryptopro.ru, это важная проблема, надо её конечно решить.

Также для решения проблемы, если это не критично, можно попробовать использовать прошлую версию серверной ОС, например 2008 R2 или 2012.
Знания в базе знаний, поддержка в техподдержке
Offline Алексей1987  
#7 Оставлено : 8 октября 2020 г. 17:26:23(UTC)
Алексей1987

Статус: Активный участник

Группы: Участники
Зарегистрирован: 16.07.2020(UTC)
Сообщений: 46
Российская Федерация
Откуда: Санкт-Петербург

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 1 раз в 1 постах
К сожалению нет возможности предоставить дамп памяти и ETL по причине NDR.
Не могли бы вы предоставить другую версию tcpip.sys ?
Также для решения проблемы, если это не критично, можно попробовать использовать прошлую версию серверной ОС, например 2008 R2 или 2012.
Было произведено тестирования на ОС 2012, к сожалению результат тот же что и на 2016.
Остается попробовать 2019.
p.s. нет ли в драйвере проблем с обработкой отсутствия части фрагмента дейтаграммы?
Offline pd  
#8 Оставлено : 8 октября 2020 г. 17:45:30(UTC)
pd

Статус: Сотрудник

Группы: Администраторы
Зарегистрирован: 16.09.2010(UTC)
Сообщений: 1,051
Откуда: КРИПТО-ПРО

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 170 раз в 148 постах
Автор: Алексей1987 Перейти к цитате
К сожалению нет возможности предоставить дамп памяти и ETL по причине NDR.
Не могли бы вы предоставить другую версию tcpip.sys ?
Также для решения проблемы, если это не критично, можно попробовать использовать прошлую версию серверной ОС, например 2008 R2 или 2012.
Было произведено тестирования на ОС 2012, к сожалению результат тот же что и на 2016.
Остается попробовать 2019.
p.s. нет ли в драйвере проблем с обработкой отсутствия части фрагмента дейтаграммы?

NDR понятно, все дампы аналогичны предыдущему?

cp_tcpip+0x1093
cp_tcpip+0x7d73
cp_tcpip+0x7b0b
cp_tcpip+0x7c0a


Возможно есть, что-то ещё, что поможет понять проблему.

Отсутствие фрагментов решается на уровне стека ОС (tcpip), проблема же в драйвере IPsec, куда приходят уже готовые собранные пакеты.
Знания в базе знаний, поддержка в техподдержке
Offline Алексей1987  
#9 Оставлено : 9 октября 2020 г. 9:51:17(UTC)
Алексей1987

Статус: Активный участник

Группы: Участники
Зарегистрирован: 16.07.2020(UTC)
Сообщений: 46
Российская Федерация
Откуда: Санкт-Петербург

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 1 раз в 1 постах
Добрый день.

Все дампы аналогичные, допустимые данные отправил на указанную вами почту.
Так же будет попытка установки 2019 с соответствующими ролями, и тестирование, по результату отпишусь.
Offline pd  
#10 Оставлено : 11 октября 2020 г. 18:09:03(UTC)
pd

Статус: Сотрудник

Группы: Администраторы
Зарегистрирован: 16.09.2010(UTC)
Сообщений: 1,051
Откуда: КРИПТО-ПРО

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 170 раз в 148 постах
Автор: Алексей1987 Перейти к цитате
Добрый день.

Все дампы аналогичные, допустимые данные отправил на указанную вами почту.
Так же будет попытка установки 2019 с соответствующими ролями, и тестирование, по результату отпишусь.

https://www.cryptopro.ru...&m=119596#post119596
Знания в базе знаний, поддержка в техподдержке
thanks 1 пользователь поблагодарил pd за этот пост.
Алексей1987 оставлено 12.10.2020(UTC)
Offline Алексей1987  
#11 Оставлено : 12 октября 2020 г. 16:17:13(UTC)
Алексей1987

Статус: Активный участник

Группы: Участники
Зарегистрирован: 16.07.2020(UTC)
Сообщений: 46
Российская Федерация
Откуда: Санкт-Петербург

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 1 раз в 1 постах
Добрый день.

Огромное спасибо за предоставленную crypto pro ipsec. Устанавливаем на один из проблемных серверов и наблюдаем за ситуацией. По результату сообщу. Так же сравним с показаниями на оставшихся серверах.
Offline Алексей1987  
#12 Оставлено : 30 октября 2020 г. 12:27:15(UTC)
Алексей1987

Статус: Активный участник

Группы: Участники
Зарегистрирован: 16.07.2020(UTC)
Сообщений: 46
Российская Федерация
Откуда: Санкт-Петербург

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 1 раз в 1 постах
pd

Отписываюсь по результатам. На несколько искомых сервера установлена предложенная версия ПО ipsec. Предварительный итог - с момента установки не было ни одного BSOD. Прошло около 15-20 дней. Либо проблема устранена либо по крайне мере очень сильно минимизировано ее влияние. Спасибо большое. Тесты продолжатся и на другие сервера будет устанавливаться так же предложенная версия.
thanks 1 пользователь поблагодарил Алексей1987 за этот пост.
pd оставлено 30.10.2020(UTC)
Offline pd  
#13 Оставлено : 30 октября 2020 г. 12:30:01(UTC)
pd

Статус: Сотрудник

Группы: Администраторы
Зарегистрирован: 16.09.2010(UTC)
Сообщений: 1,051
Откуда: КРИПТО-ПРО

Сказал(а) «Спасибо»: 27 раз
Поблагодарили: 170 раз в 148 постах
Автор: Алексей1987 Перейти к цитате
pd

Отписываюсь по результатам. На несколько искомых сервера установлена предложенная версия ПО ipsec. Предварительный итог - с момента установки не было ни одного BSOD. Прошло около 15-20 дней. Либо проблема устранена либо по крайне мере очень сильно минимизировано ее влияние. Спасибо большое. Тесты продолжатся и на другие сервера будет устанавливаться так же предложенная версия.

Благодарность за информацию.
Знания в базе знаний, поддержка в техподдержке
RSS Лента  Atom Лента
Пользователи, просматривающие эту тему
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.