等价性已经死了，长命等价性？
在过去的几年里，深度学习社区一直在探讨等价性的重要性，尤其是在处理旋转、平移等对称性操作时。传统的神经网络结构无法很好地处理这些对称性，因此人们开始研究如何设计能够保持等价性的网络结构。
然而，最近的研究表明，等价性可能并不是如此重要，甚至有学者表示“等价性已经死了”。一些最新的研究表明，完全依赖等价性的网络结构并不总是最好的选择。相反，一些新的神经网络结构，比如Transformer模型，通过自注意力机制来处理输入数据中的对称性，取得了非常好的效果。
事实上，一些所谓的“不变性网络”在某些任务上甚至表现得更优秀。这种类型的网络并不保持输入数据的等价性，而是通过将输入数据映射到一个高维的表示空间，从而使得网络更容易学习数据之间的关系。
当然，等价性仍然是一个有用的概念，特别是在一些特定的情况下。然而，随着神经网络结构的不断进化，我们可能会看到更多的网络不再强调保持等价性，而是专注于学习数据之间更复杂的关系。
总的来说，等价性的重要性正在逐渐减弱，而更多的研究者开始探索新的网络结构和方法来更好地处理输入数据中的对称性。或许，等价性并非唯一的解决方案，长命等价性是否真的有其意义，或许只有时间才能告诉我们。
了解更多有趣的事情：https://blog.ds3783.com/