>> цикле крутятся listen и accept
в цикле должен крутиться только accept
Дискрипторы советов валитны в пределах всего твоего процесса (а при желании могут быть скопированны в другой процес и там также юзаться(но это уже другая история))