Ключевые первоочередные задачи:
Определить в каком формате и как хранится цифровой сертификат в исполняемом файле. (это открытые данные, поищите, разберитесь)
Место хранения корневых сертификатов и их структура.
Определить порядок (с вызовами WinAPI, считыванием информации и прочее) проверки цифрового сертификата. monitor + может быть WinDBG; WinDBG
Разобраться что такое file system filters, что они делают и как они это делают (что такое callback-и и какие они бывают применительно к данной ситуации). (Это WDK).
Это основные отправные точки, в зависимости от результатов будет два варианта – либо перехват WinAPI и подмена о том, какой сертификат и действителен ли он, либо подмена информации о сертификате через фильтр файловой системы и его подмена.