DeepLearning界隈の進化のスピードはとても速く，悠長に査読の結果を待つ余裕はないので，arXiv等のプレプリント投稿サイトにガンガン新しい成果が放り込まれていきます。これもその一つですね。
複素数を使ったNNは注目を集めている．RNNの状態遷移をユニタリ行列にすることで勾配の爆発を避け，さらにGRUを噛ましたGated Orthogonal Recurrent Unit (GORU)がLSTM, GRUより精度が良い．https://t.co/LYmPQq4eTK
— Danushka Bollegala (@Bollegala) 2017年6月23日
この論文はちゃんと読む必要がありますが，単純に複素数化するのではなくて，計算量が節約できるユニタリ行列（実行列だと直交行列）を使うあたりが工夫なのかなと。いずれ遠からず実装されて公開されるんでしょうね。
もう一つ，GoogleがTensorflow用のツールTensor2Tensorを公開しました（Blog記事)。機械翻訳で利用されているSequence2sequenceの改良がやりやすくなるようです。
この界隈の進化は本当に速いですが，成果をすぐにプログラムで確認できるのはありがたいですね。