MMDIKSolver (MMD Precalculated Inverse Kinematics Solver)

MikuMikuDance のIK (インバース・キネマティクス)を事前計算して、モーションファイルに書き戻します。

Outline

何これ
必要なもの
ダウンロード
インストール
利用法
仕様などの文章
アプリケーション・プログラム例
1. その1 ダミーボーン利用
著作権・ライセンス(使用許諾)
注意事項
MMD IK Solver 変更履歴
謝辞

何これ

MMD で腕とか足とかあるモデル(人型とは限らない)を使っていて、腕先をまっすぐ直線に動かしたい(ストレートパンチとか)とか、壁や棒の表面をなぞりたい(雑巾がけとか)と思ったことないでしょうか。

でも、モデルって根元から回転させて姿勢を決めるので、円弧は簡単にできるけど、直線とか難しいですよね。そういう時は、人間ががんばるのではなくて、当然コンピューターに腕の角度などを計算させるのです。それが、IK (インバース・キネマティクス)です。

MMD にも、IK をする機能は当然ありますが、はじめからモデルに組み込んでないとつかえなかったり、 IK で出した回転角は全く記録されないとか、IK で動かしたボーンの子ボーンは付いてこないなど、限定的です。自分でモデルに改造して、動画作るだけならまだしも、モーションの配布を予定しているひとは、IK ボーン改造をユーザーに強要することになります。やったことある人は分かると思いますが、この改造はかなり複雑でしんどいもので、誰でも簡単にできるものじゃありません。さらに、IK を使用しないモーションを同時に適用できなくなるデメリットがあります。また MMD の人型モデルは、大抵どこかの企業が著作権を持つキャラなので、 IK ボーン改造をしたモデルを再配布することは、ほぼ無理です。

じゃあ、どうすればいいか。IK の計算は本来ただのモーションなので、 MMD の外で IK 問題を解いて、腕の角度とかをちゃんとモーションファイルに書き出せばいいのです。モデルのボーン構造だけ分かれば、結構簡単にできます。

必要なもの

Java Runtime Environment SE 1.6 以降 (Sun でも, Oracle でも, OpenJDKでも可)
MikuMikuDance (以後 MMDとよばれる.)
MMD用のモデル(PMD, PMX, PMX Editor が作るCSV形式)

ダウンロード

MMD IK Solver リリースリスト最新 Version 1.2.

ライブラリー(jar)だけ(利用者向け): MMDIKSolver-1.2.zip
ソースコードつき(開発者向け): MMDIKSolver-1.2-src.zip
svn(せっかちな開発者向け): http://svn.osdn.jp/svnroot/mmdmotion-java/MMDIKSolver/trunk/

インストール

Java Runtime Environment (JRE), Java Development Kit (JDK) があるなら、*.jar がコーヒーカップのアイコンで表示されてます。なければ、JREかJDK をインストールしてください。
基本はそれだけです。*.jarはどこにおいてあってもかまいませんが、全部同じ場所において置いてください。

利用法

簡易GUI

簡単な利用ができる GUI が付いてます。MMDIKSolver-1.2.jar をダブルクリックしてみてください。コマンドラインからの利用は、
```
    java -jar MMDIKSolver-1.2.jar
```

これはライブラリーなので、自分で java のプログラムを書いてリンクしてください。コンパイル例はこうです。
```
   javac -cp MMDIKSolver-1.2.jar;MMDMotion-1.3.jar;togagem-3.n3.jar (あなたの作ったjavaソース)
```

一応Maven で管理しているので、Maven 2以降に対応している IDE (NetBeans やeclipse) を使うと楽です。

仕様などの文章

Java API Doc: prweb:/mmdiksolver/apidocs
簡易GUI の説明

アプリケーション・プログラム例

その1 ダミーボーン利用

星型の頂点にターゲットになるダミーボーンと、その前に立たせた人モデル。

たとえば人差し指で、黒板をなぞるようなものをやるとします。

MMDIKSolver_sample.zip

黒板とかステージとかに、ダミーボーンというやつが表面に張り付いていると思います。もともとは平たい何かをつけるためのやつですが、それをなぞりたい軌跡に合わせて、ダミーボーンの MMD モーション VMD (target.vmd) を作ります。 (右図,ちなみにステージモデルはコーヒーブレーク企画教室で、 nazo が良く jamバンドの舞台にしてるもの。)
なぞらせるモデルの手を人差し指を伸ばして、黒板の前に立たせます。足の形とかまで作ってしまいます。これのモーションファイル VMD (kanon.vmd) も作ります。(右図のモデルは jam バンドのキーボード「鼓カノン」ですが、普通の人物モデルなので、別に誰でもいいです。)

ここからは簡易GUIでもできますが、ここではプログラム例で説明します。まずは、クラスファイルをこんな感じで作ります。

 public class SurfaceDrawingTest {
     private IKSolver iksolver;
     private Motion targetMotion;
     private Motion ikMotion;
     private Model targetModel;
     private Model ikModel;
 
     static public void main(String [] argv) {
         SurfaceDrawingTest test=null;
         System.out.println("Model Loading..");
         try{
             test=new SurfaceDrawingTest();
         }catch(FileNotFoundException e){
             System.err.println("ファイルが見つかりません: "+e);
         }catch(IOException e){
             System.err.println("IOエラー: "+e);
         }catch(MmdFormatException e){
             System.err.println("MMD ファイルとして異常: "+e);
         }
         if(test==null)
             System.exit(-1);
         System.out.println("All loaded!");
         test.setBones();
         test.solve();
     }
 }

Model クラスにモデルを読み込み、 Motion クラスにモーションを読みます。 IK モデル, ターゲットのステージモデルともに用意します。

     public SurfaceDrawingTest()
                  throws FileNotFoundException, IOException, MmdFormatException{
         FileInputStream fis=new FileInputStream("test/教室.pmd");
         targetModel=Model.fromPMD(fis);
         fis.close();
         System.out.println("Model: "+targetModel.getName()+" Done!");
 
         fis=new FileInputStream("test/鼓カノン.pmd");
         ikModel=Model.fromPMD(fis);
         fis.close();
         System.out.println("Model: "+ikModel.getName()+" Done!");
 
         fis=new FileInputStream("test/target.vmd");
         targetMotion=new Motion().fromVMD(fis);
         fis.close();
 
         iksolver=new IKSolver();
         fis=new FileInputStream("test/kanon.vmd");
         ikMotion=new Motion().fromVMD(fis);
         fis.close();
     }

bones[0]に「左人指3先」を指定し、動かすボーンに[1] 左人指１・[2] 左手首・[3] 左ひじ・・・[6] 上半身を指定して、setBones します。

     private void setBones(){
         String [] nameOfBones=new String[] {
                 "左人指３先","左人指１","左手首","左ひじ","左腕","左肩","上半身"};
         Bone [] bones=new Bone[nameOfBones.length];
 
         for(int i=0;i<nameOfBones.length;i++){
             bones[i]=ikModel.get(nameOfBones[i]);
         }
         iksolver.setBones(bones);

次にへんな方向に関節が回らないように、回転の制限をします。

         iksolver.setLimits(1,IKSolver.RLIMIT_NOX|IKSolver.RLIMIT_NOY);
         iksolver.setLimits(3,IKSolver.RLIMIT_NOX|IKSolver.RLIMIT_NOZ);
         iksolver.setLimits(5,IKSolver.RLIMIT_NOX|IKSolver.RLIMIT_NOY);
     }

ターゲットに黒板ダミーボーンの座標を getPos で入手して、solve。

     public void solve(){
         Bone target=targetModel.get("右黒板DB3");
         Pose [] poses=targetMotion.get(target.getName());
         int frame;
         double distance;
         Motion results=new Motion(ikMotion.getModelName());
 
         for(Pose p:poses){
             frame=p.frame;
             // そのフレームの状態にする。
             ikModel.setPoses(ikMotion.getInterporate(frame));
             targetModel.setPoses(targetMotion.getInterporate(frame));
 
             // 変更フラグをリセットして変更したボーンだけを記録する.
             ikModel.resetChanged();
             distance=iksolver.solve(target.getPos());
             System.out.println("frame: "+frame+" distance: "+distance);
             results.putAll(ikModel.getChanged(), frame);
         }

あとは、MMD モーションに書き戻してください。

         FileOutputStream fos=null;
         try {
             fos = new FileOutputStream("test/solution.vmd");
             results.toVMD(fos);
             fos.close();
         } catch (FileNotFoundException ex) {
             System.err.println("ファイルが見つかりません: "+ ex);
         } catch (IOException ex) {
             System.err.println("ファイルが書けません: "+ ex);
         }
     }

上半身まで動かして、ダミーボーンを指している。

MMD で元のモデルに、新しい VMD (solution.vmd)を適用しましょう。なぞってるでしょ? ちょっとおかしい? それはダミーボンの移動間隔の 10 フレームの間で、回転ボーンモーションの補間が回転の補間なので、腕が回転して弧を描くからですね。目標の点を通過するのが目的ならこれでもいいですが、平面に図を書くのが目的ならこれではいけませんね。解決法は、すべてのフレームでダミーボーンの位置を補間して、全てのフレームで IK を解けばいいです。ただし、さっきより10倍時間がかかるし、solution.vmd も 10 倍大きくなるから注意してください。 (いまどきパソコンなら数 k byte が100倍くらいでも、たかが知れていますが) solve() メソッドのfor 文を次のように書き換えます。
```
          Motion results=new Motion(ikMotion.getModelName());
 
 -        for(Pose p:poses){
 -            frame=p.frame;
 +        int end=targetMotion.getMaxFrame();
 +        for(frame=0;frame<end;frame++){
 
             // そのフレームの状態にする。
```
途中もちゃんと補間してみると、表面をすべるように指を動かす。
どうですか? 指が動きすぎ? そういうときは、動く setBones から、指をはずしたらいいですよ。後は初期体勢 (kanon.vmd) を、どの点からも近いところまで持っていったほうが、無理な角度を取らなくなります。

著作権・ライセンス(使用許諾)

すべてMIT License です。これは、

著作権表示を保持するかぎり、自由に転載・改変してもいい。 (商用利用も可だが、このライブラリーを使用していることを必ず明記。)
著作者はこのプログラムによって発生する損益に完全に無責任。

ということだけ、覚えて置いてください。

togagem-3.n3.jar

TogaGem は、3D動画制作ツール、MikuMikuDance(MMD)で用いられる各種データファイルを読み込むためのJavaライブラリです。著作者は、olyutorskii です。MIT License で転載・改変が認められております。 nazoが、PMX読み込みとMMD Ver. 9 用の補間関係で書き換えてます。 Ver. 3.n 系列のサポートページは、 http://osdn.jp/users/naz_o/pf/TogaGem/wiki/ です。 MMD Motion は、このライブラリーに強く依存しております。

MMDMotion-1.3.jar

MMD のモーションを計算で生成するために作った Java ライブラリです。(これです。) 著作者は、nazo (ときどき Naz.) です。MMDIKSolver は、ほとんどこれのおかげでできています。 MIT License で転載・改変が認められております。

MMDIKSolver-1.2.jar

MMD のIK問題を計算で解くために作ったJavaライブラリです。(これ) MMD Motion for Java の初目的のライブラリーです。著作者は、nazo (ときどき Naz.) です。 MIT License で転載・改変が認められております。

注意事項

※ MMD開発者の樋口M氏とは、これらは無関係です。樋口M氏に問い合わせても迷惑なだけなので、やめましょう。

MMD IK Solver 変更履歴

1.2 (2015-06-13)
- (MMDMotion の更新によるもの)
  - PMX対応,PMDモデルの腕関連の軸が正しくなった
- GUIの整備
- 無駄な計算を省いて、速くなった？

1.1 (2015-04-04)
- About Dialog の自動化

1.0 (2015-03-26)
- GUI が完成

0.9 (2015-03-20)
- sourceforge.jp SVN公開バージョン.
- bones[0] の平行移動が実装された. (ギターの指板上の動きのため)

0.2 (2015-02-22) 非公開
- IK Solver から MMDMotion を分離.

0.1 (2015-01-29) 非公開
- IK Solver が動くようになったの日付
- オイラー角では精度に問題があるので、VMD を直接読み書きするようにしたもの.

謝辞

MMD開発者の樋口M 氏:

言うまでもないですが、これがないとそもそもこんなライブラリー作る意味がないです。楽しいプログラムです。

http://www.geocities.jp/higuchuu4/index.htm

私設研究所 Neo-Tech-Lab.com 上田智章氏:

Javascript + HTML5 で MMD Player を作ってしまった、私よりよっぽどとんでもない人です。特に次のはいい資料です。

MikuMikuDanceのモデルデータ(PMD)構造について: 『IK(Inverse Kinematics) bone』(その５)

この中で、述べられていることに対してちょっと意見。

「でもこの処理、方程式解けば反復法使わなくてもいいような気もするが、」

一応その通りで、動かすボーンが n 個なら、n 次方程式になります。一般に 4次方程式以上は一般解の公式は存在しません。よって結局、方程式を反復計算によって解くことになりますので、作業が大体同じになります。

「もしかして、local minimum問題を抱えている?」

評価関数が距離ではなく内積なので、local minimum はない (local maximumはある)はずですが、IK 問題は答えが1点(0次元)じゃなくて n-1 次の自由度があるので、常にターゲットまでの距離が 0 になっても、いつでも同じ答えにならないことが普通におきます。この IK Solver と MMD の IK の答えが合わないことはざらにありますが、もともと答えはたくさんある問題なので、バグとかじゃないです。何を言っているかというと、手首をある点に完全に合わせて、ひじと腕のボーンだけを動かせるだけ動かそうとすると、ひじが自由に円弧を描きます。自分の体で試したらすぐ分かると思います。

Up: トップ

Prev: データー構造

Next: MMD IK Solver 簡易GUI

MID2Motion (1.2.1)	2015-11-07 15:31
MMDIKSolver (1.2)	2015-06-13 19:45
MMDMotion (1.5.1)	2015-11-05 17:38

MMDMotion for Java

Wiki Menu

最近の更新 (Recent Changes)

2020-05-31

2015-11-08

2015-11-07

2015-11-05

2015-09-11

Últimos archivo liberados

Wikiガイド