00 00 00 C8 10 40 00 40
00 01 00 02 00 01 00 01
00 00 01 00 00 00 00 01
00 00 00 80 80 01

The final algorithm is then as follows:

     -----------------------------------

     angle_y = D = -asin( mat[2]);        /* Calculate Y-axis angle */
     C           =  cos( angle_y );
     angle_y    *= RADIANS;

     if ( fabs( C ) > 0.005 )             /* Gimball lock? */
       {
       trx      =  mat[10] / C;           /* No, so get X-axis angle */
       try      = -mat[6]  / C;

       angle_x  = atan2( try, trx ) * RADIANS;

       trx      =  mat[0] / C;            /* Get Z-axis angle */
       try      = -mat[1] / C;

       angle_z  = atan2( try, trx ) * RADIANS;
       }
     else                    /* Gimball lock has occurred */
       {
       angle_x  = 0;                      /* Set X-axis angle to zero */

       trx      = mat[5];                 /* And calculate Z-axis angle */
       try      = mat[4];

       angle_z  = atan2( try, trx ) * RADIANS;
       }

     angle_x = clamp( angle_x, 0, 360 );  /* Clamp all angles to range */
     angle_y = clamp( angle_y, 0, 360 );
     angle_z = clamp( angle_z, 0, 360 );

     -----------------------------------

Дано матрица, назовём её G. В ней заложен растяжение(s_x,s_y,s_z), поворот(r_x,r_y,r_z), перенос(p_x,p_y,p_z)
ну ещё потребуется
cx=cos(rx),cy=cos(ry),cz=cos(rz)
sx=sin(rx),sy=sin(ry),sz=sin(rz)

Матрица G будет состоять из элементов:
a b c 0
d e f 0
g h i 0
j k l 1

1) Выделяем сдвиг:
p_x=j
p_y=k
p_z=l

2) Новая матрица M зануляем в G последнюю строку:
a b c 0
d e f 0
g h i 0
0 0 0 1

Из её элементов находим растяжение:

s_x=sqrt(a*a+b*b+c*c)
s_y=sqrt(d*d+e*e+f*f)
s_z=sqrt(g*g+h*h+i*i)

3) Ищем матрицу R:
a/s_x b/s_x c/s_x 0
d/s_y e/s_y f/s_y 0
g/s_z h/s_z i/s_z 0
0 0 0 1

ну и для простоты её элементы я назову:
ra rb rc 0
rd re rf 0
rg rh ri 0
0  0  0  1

Дальше ищем углы эйлера из матрицы R
r_x=arcsin(rh/sqrt(1-rg*rg))
r_y=arcsin(rg)
r_z=arcsin(rd/sqrt(1-rg*rg))

Только с arcsin могут быть проблемы, ибо иногда он даёт не то значение. Тогда наверно сверять результат с arccos:
r_x=arccos(ri/sqrt(1-rg*rg))
r_y=arcsin(rg)
r_z=arccos(ra/sqrt(1-rg*rg))