Тебе не качество изображение нужно исправить, а размер показываемого. У тебя изначально код уменьшает до 100*100 пикселей, и при увеличении у тебя просто увеличивает ту же картинку на 100*100 пикселей, тебе нужно сделать так что бы при наведении на картинку автоматически вылазила большая картинка которую ты изначально загрузил на сервер, а не уменьшеная копия. И это кажется делается в JS a He B php