Дано матрица, назовём её G. В ней заложен растяжение(s_x,s_y,s_z), поворот(r_x,r_y,r_z), перенос(p_x,p_y,p_z)
ну ещё потребуется
cx=cos(rx),cy=cos(ry),cz=cos(rz)
sx=sin(rx),sy=sin(ry),sz=sin(rz)

Матрица G будет состоять из элементов:
a b c 0
d e f 0
g h i 0
j k l 1

1) Выделяем сдвиг:
p_x=j
p_y=k
p_z=l

2) Новая матрица M зануляем в G последнюю строку:
a b c 0
d e f 0
g h i 0
0 0 0 1

Из её элементов находим растяжение:

s_x=sqrt(a*a+b*b+c*c)
s_y=sqrt(d*d+e*e+f*f)
s_z=sqrt(g*g+h*h+i*i)

3) Ищем матрицу R:
a/s_x b/s_x c/s_x 0
d/s_y e/s_y f/s_y 0
g/s_z h/s_z i/s_z 0
0 0 0 1

ну и для простоты её элементы я назову:
ra rb rc 0
rd re rf 0
rg rh ri 0
0  0  0  1

Дальше ищем углы эйлера из матрицы R
r_x=arcsin(rh/sqrt(1-rg*rg))
r_y=arcsin(rg)
r_z=arcsin(rd/sqrt(1-rg*rg))

Только с arcsin могут быть проблемы, ибо иногда он даёт не то значение. Тогда наверно сверять результат с arccos:
r_x=arccos(ri/sqrt(1-rg*rg))
r_y=arcsin(rg)
r_z=arccos(ra/sqrt(1-rg*rg))