Помоему такие глюки бывают при оцифровке vhs

сделай crop (срез) effect в virtualdub проге (фришная) или perspective warp effect.