作者さんがここを見てるかは判りませんが、ちょっと気になることがあったので。
マーカーのずれ方をみていると、どうもProjectionMatrixが間違っているか、設定していないような動きになっています。
GLNyARParam.getCameraFrustumRH関数が吐き出している3x3行列があるので、それを3Dエンジンのカメラに設定してみてください。
マーカーズレが少なくなると思います。
3x3行列は3Dエンジンによって微妙に違うのでそのまま使えないかもしれませんが、調整するとより綺麗にマーカー座標が取れるようになります。