Да в принципе мне это не особо надо я свой криптор писал и он у меня отрабатывает и в скантайме и в рантайме одинаково хорошо это я по результатам тестирования говорю. Так же и cтиллер. Ради рассширения кругозора посмотрю.Syscall - вызов сервиса ядра, havens gate - точка перехода из wow64 в 64бит режим.
Еще раз повторюсь - сигнатуры это отсеевание бездарного говна до того как оно вообще будет исполнено, хуки в нтдлл(библиотека в основном занимается тем делает syscall для апи) отсивают все прочее более хитрое говно.
берете тулзу которая вам покажет все хуки во всех запущенных процессах, смотрите что за апи похуканы, разбираетесь куда ведут эти хуки и начинаете схематично понимать что и как работает.