機械学習関係も超大規模データとTransformerで決まり、らしいが、
その辺の最新状況を概要レベルでも押さえないとなあ、ととりあえずWebで情報収集していたら、思いっきり寄り道をした。

Transformerで、言語やもろもろの「単語」相当の要素をベクトル化するときに、word2vecを用いるが、大規模なモデルだと、ベクトルの次元が100～200程度になってくる。
GPUでガリゴリやるならそのままでも良いのだろうけど、
先行研究で、双曲空間上の点とすると木構造が低次元の空間に収まるという話があったので、なんか次元数を減らす研究があるかな、とか調べたら、双曲空間でAttentionを実装する話の記載がある2019年の総論を見つけた。
そういえばTransformerもAttentionを使って主要な計算をしているんだっけな。
ということで、とりあえずリンクだけメモ。

「双曲空間でのMachine Learningの最近の進展」
https://tech-blog.abeja.asia/entry/hyperbolic_ml_2019