Manifold Hypothesis -- 以較低維向量代表任何現實世界的事物

在深度學習技術中，我們會使用一個數百維的向量 (例如：700 維) 來代表一個《詞彙、語句、文章或圖片》。

這背後有個假設，那就是 Manifold Hypothesis (流形假說)

Manifold Hypothesis 假設現實世界中，許多高維數據集實際上位於該高維空間內的低維 Latent manifolds。像 Pixel Space，就存在很多的難以感知的高頻細節，而這些都是在 Latent Space 中需要壓縮掉的信息。

(以上假說來自 从零开始的stable diffusion 這篇文章)

例如 AutoEncoder 要能將高維映射到低維，就必須依靠 Manifold Hypothesis

上圖來自下列文章！

• AutoEncoder (一)-認識與理解
  • AutoEncoder (二)- RNN/LSTM、Seq2Seq、Attention
  • AutoEncoder (三)- Self Attention、Transformer

於是，世界上的物體就可以用固定維度的向量 (例如 700 維) 來表示，這個觀點繼續延伸下去，就有了類似下列這樣的文章

• 压缩即智能：为什么 ChatGPT 拥有智能？
• OpenAI最新解密，ChatGPT的本质是无损压缩器