東工大、0.5秒後の相手の動きをリアルタイムに予測するdeep learningを用いた格闘訓練システム「FuturePose」発表

http://egg.5ch.net/test/read.cgi/scienceplus/1556159508/【元スレ】

今回の記事

1 2019/04/25(木) 11:31:48.72

東京工業大学による研究チームは、0.5秒後の相手の動きをリアルタイムに予測し格闘の訓練ができるdeep learningを用いたシステム「FuturePose」を発表しました。

論文:FuturePose – Mixed Reality Martial Arts Training Using Real-Time 3D Human Pose Forecasting With a RGB Camera
https://ieeexplore.ieee.org/abstract/document/8658594

https://shiropen.com/wp-content/uploads/2019/03/gif-1-3.gif
本論文は、1台のRGBカメラによる画像から0.5秒後の相手の動きをリアルタイムに予測するdeep learningを用いた格闘訓練システムを提案します。本提案は、RGB画像の入力から相手の未来の姿勢を推定し提示することで格闘を訓練するシステムです。

具体的には、最初にResidual Networkを用いてRGB画像から相手の2D関節位置を推定します。続けて、推定した2D関節位置をLSTMネットワークの入力として時間的特徴を学習するために使用し、未来の2D関節位置を予測します。正確な動き予測を得るためにオプティカルフローを使用、中でも計算コストを下げるためにlattice オプティカルフローを使用します。
https://shiropen.com/wp-content/uploads/2019/03/unnamed.png

最後に、予測した2D関節位置を可視化するために3Dスケルトンモデルを構築しユーザに提示します。ユーザは、提示された未来の動きをする3DスケルトンモデルをVR HMDで体験しながら、格闘技の訓練をすることができます。

実験では、HTC Viveを装着したユーザに、パンチやキックの攻撃を回避してもらいます。提示される映像は、予測なし映像と予測あり映像(ARベースとVRベースの2種類)。30 fpsのビデオで15フレーム先を予測(0.5秒後を予測)します。結果、予測なしのユーザの平均応答時間は0.62秒に対して、予測ありはそれぞれ0.42秒および0.41秒と予測ありの方が速く動作し、相手のパンチやキックを回避できることを示しました。

また、オンラインビデオに本手法を適応することで、視聴者に対して動画内の人の動作予測を提示することも実証しました。これにより、例えばPK時でのゴールキーパーの動きや、ダンスの動きなど、スポーツやエンターテインメントなど幅広い分野での活用が期待されます。
FuturePose https://youtu.be/W6JqYF2e7HM

https://shiropen.com/seamless/futurepose

みんなのコメント

2 2019/04/25(木) 11:34:54.66

サイン読んだやろ

3 2019/04/25(木) 11:39:00.20

キングクリムゾンと命名しなさい

4 2019/04/25(木) 11:40:39.25

まぁ予想できても0.5秒後とかそんなとこだよね

FXみたいに1〜2時間程度相場が上がり続けるか下がり続けるかの予想は相当困難

5 2019/04/25(木) 11:48:15.25

eスポーツに使える

8 2019/04/25(木) 11:52:31.84

高速後出しじゃんけんシステムって前からあるじゃん

9 2019/04/25(木) 12:03:01.47

1000分の1秒後くらいじゃないとな

10 2019/04/25(木) 12:07:53.69

小足見てから昇龍余裕

11 2019/04/25(木) 12:10:35.44

このシステムを騙せるくらいのフェイントを出せるようになったらプロの入り口、
みたいな使い方もできるのかねえ

12 2019/04/25(木) 12:12:35.38

これボスの前兆行動で練習してた

13 2019/04/25(木) 12:16:24.45

予測するだけなら矛盾はないが、
適切な動作をするようになると、
矛盾が生じるな。

14 2019/04/25(木) 12:17:05.46

なんだか世の中どんどん詰まらなくなりそうな気がするなあ。

15 2019/04/25(木) 12:17:17.11

0.5秒後の予測から次の0.5秒後を予測すれば1憶年先も予測できるな

17 2019/04/25(木) 12:18:26.45

0.5秒で動作を変えられるとするなら、
0.5秒後の予測は不可能と言う事になる。

22 2019/04/25(木) 12:29:44.83

予測されたところでそれより速く動けば良い話

以下更にコメント

24 2019/04/25(木) 13:16:14.14

FRIDAY、攻撃パターンを分析しろ!

25 2019/04/25(木) 13:22:40.22

攻撃始まったら一通りされるがままで回避してはならないプロレスがなぜ安定した人気あるのか分かってない

26 2019/04/25(木) 13:51:12.00

フェイントに極端に弱くなった

28 2019/04/25(木) 15:00:48.35

昭和の頃の技術だな。
大リーグボール1号・・・

30 2019/04/25(木) 15:07:33.96

達人の読みってやつだな

31 2019/04/25(木) 15:12:22.73

カーネル大佐的な?

34 2019/04/25(木) 15:46:09.47

(´・ω・`)キングクリムゾンて書こうとしたが予測だけならエピタフか

35 2019/04/25(木) 15:49:22.65

時間短すぎて避けれません

36 2019/04/25(木) 16:41:32.30

10式戦車だと目標の動きから未来位置を予測して砲弾を撃つとか

37 2019/04/25(木) 16:48:31.39

敵がこういう技術使うのが前提ならその裏をかくようにするように格闘は進化していくだろうな

38 2019/04/25(木) 16:53:11.24

ナイトオブワンのギアス能力ですな^^

41 2019/04/25(木) 17:06:01.44

じゃんけーん ぽん!ペコー

駄菓子屋でみた

42 2019/04/25(木) 17:12:35.27

酔拳さいつよの時代がきそうだ

43 2019/04/25(木) 17:23:47.22

0.5秒って60フレームの格闘ゲームなら30フレームだよ?
2回ほどフェイント入れられると思うけど予測できるの?
毎フレーム予測して軌道修正するから大丈夫なの?

44 2019/04/25(木) 17:32:50.03

刃牙にも書いてあったなw

以下更なるコメント

47 2019/04/25(木) 19:59:55.55

A:0.5秒後の相手Bの動きを予測。
Bも0.5秒後のAの動き(Bの動きを予測済み)を予測。

A:Bに予測された動きを予測
Bもそれを予測。

48 2019/04/25(木) 20:04:01.57

右左にジャンプしてるやつ、たまに右右と連続右ジャンプしても平気なのか。

49 2019/04/25(木) 20:38:17.96

星飛雄馬が実戦で完成済み!

51 2019/04/25(木) 22:27:17.35

しょうもなw
ザ技術後進国ってニュースだな

53 2019/04/25(木) 23:20:35.37

このキモオタ風の怪しい踊り、
もしかしてシャドーのつもりなのか?

54 2019/04/26(金) 00:41:18.01

反射神経を競うゲームのAIって開発されてるの?
あまり意味ないからやってないのかな?格闘ゲームのAI対決とか見てみたいんだが

56 2019/04/26(金) 01:24:12.82

なるほどラグレスね

行動パターンの類型化はすでにセキュリティで使われてるね

57 2019/04/26(金) 02:36:13.20

じゃんけんやあっち向いてホイの無敵ロボット作れるな

60 2019/04/26(金) 04:27:53.11

じゃあ俺は政治家の失言を予測するシステムでも作るかな?
上級国民の証拠隠滅を予測するシステムもセットで

61 2019/04/26(金) 10:13:19.96

0.5秒後では遅すぎると思う。
0.5秒先に相手の動きを予測できるのなら使えるかもしれない。

62 2019/04/26(金) 10:24:39.02

人間がロボットに勝ち目がない

64 2019/04/26(金) 10:40:14.96

空手の突きは、0.24秒だぜ。0.5秒後ではもう2発喰らっちゃっている。

65 2019/04/26(金) 11:18:41.46

攻撃方法まで提示したらゼロシステムだな

67 2019/04/26(金) 11:45:42.08

0.5secだと格闘技では有効だよな
かなり差がでる

68 2019/04/26(金) 11:48:21.20

逆にこのシステムを騙すフェイントを身に付ければいいんでしょ?

69 2019/04/26(金) 11:55:05.13

ジャンケンに勝てるロボットとか、ボールを打ち返せるロボットって前からあったけど
そのシステムを使った感じ?

70 2019/04/26(金) 11:58:55.58

因果律予測か…
ヒカリちゃんシステムと名付けよう

74 2019/04/26(金) 12:17:13.28

ガンカタや!!

78 2019/04/26(金) 12:43:15.83

0.5秒後の未来が予想できるとかなんかジョジョの冒険のスタンド能力にありそう

79 2019/04/26(金) 12:49:15.20

カタクリと戦えるのか?

80 2019/04/26(金) 12:55:35.60

狙撃銃の必需品となるのもそれほど遠くないな。

81 2019/04/26(金) 13:03:25.81

相手が動かないと自分も動けないとかね

82 2019/04/26(金) 13:27:57.54

コンビネーションとかフェイントも予測できんのかな?

予測表示の切り替わりが目まぐるしく変わりそうw

83 2019/04/26(金) 13:58:29.64

久しぶりに格ゲーやったら昇竜拳が出なかったorz

84 2019/04/26(金) 14:31:53.69

ノックアウト強盗の能力を高めていく

85 2019/04/26(金) 15:20:51.87

これは平和利用なら、ハンドルもアクセルも廃した完全自動運転に利用できるが。

軍事利用も可能な技術だ。

86 2019/04/26(金) 15:40:45.10

差分検出でどっちに動くか検出できるやろ

87 2019/04/26(金) 15:52:02.96

次にお前は『ガッ』と書き込むッ!!

ぬるぽ (・ω・`)

88 2019/04/26(金) 16:27:29.48

0.5秒の未来がわかっても
それを認識するだけで処理能力間に合わないよな

91 2019/04/26(金) 19:34:32.72

極大にパワーがある相手には通じない。読めたから何って話に
勇次郎に試したらロボットが案山子のように蹴り倒される。
同じパワー、スタミナの貯金があってこそ生きる技

93 2019/04/27(土) 02:39:40.53

カズ「俺のシザーズフェイントは読めないだろう」

94 2019/04/27(土) 04:42:24.93

お互いがこれ使って殴りあったら?

95 2019/04/27(土) 08:15:56.07

予想した動きを使ってさらに予想してけば臨終まで予測できるじゃんすげえ!

97 2019/04/27(土) 10:01:01.73

0.5秒後の予測じゃ現実の戦いでは使えないだろう。
ゲームでは使えるかもしれないが。

98 2019/04/27(土) 12:53:40.24

無人兵器に組み込んだら恐ろしいことになりそう
武器も反動の少ない物なら更に危険だ

99 2019/04/28(日) 11:31:39.94

俺の発射速度はそれより早いけどな

101 2019/04/28(日) 14:10:57.98

入試の出題予測もディープラーニングに任せよう。

次によく読まれている記事


以上、【東工大、0.5秒後の相手の動きをリアルタイムに予測するdeep learningを用いた格闘訓練システム「FuturePose」発表】でした。

もし気に入っていただけたらツイッターなどでぜひぜひシェアをお願いします。更新の励みになります。