Пошлю ка я вас всего на два сайта:
1) Методология тестирования веб аппликаций OWASP OWASP Testing Guide v4 Table of Contents - OWASP
2)Общепринятая методология тестирования на проникновения , более глобальный пентест который затрагивает и пентест инфраструктуры. PTES Technical Guidelines - The Penetration Testing Execution Standard

Хотя если речь идет о ручном тестировании сайта на предмет уязвизмостей , и вы не хотите тратится на пентест - 1-й методологии вам должно хватить с головой. Только нужно пройти по каждому пункту.