MS Kinect Sdk 中提供了每一帧骨骼关节坐标数据，通过计算一些拓扑关系，即可知道当前骨骼姿态。

类比触摸屏手势，还有lex语法分析方法，可以将动作分解为姿态序列，然后组成姿态短语，即基本动作，进而生成更加复杂的动作序列。