Задача решена, если кому интересно:
x' = (x+y)/sqrt(2)
y' = (y-x)/sqrt(2) + a
где x' и y' - координаты на оси X1Y1, x и y - координаты на оси X2Y2, а - сторона квадрата.