ChatGPT 將海量訓練數據與 Transformer 框架結合，在 GPT 模型的基礎上通過 RLHF 模型提升交互聊天能力，實現了對自然語言的深度建模，Transformer 有望在未來 較長時間內成為 AIGC 語言領域的核心技術框架。

Transformer 架構為自然語言理解領域帶來顛覆性變革，應用到 NLP、CV、生物、化 學等多領域。2017 年，谷歌跳出 RNN 和 CNN 的結構，提出了完全基于 Self-Attention 機 制的 Transformer 架構，當時在機器翻譯任務上取得了顛覆性的進步。Transformer 由一個 編碼器和一個解碼器組成，且各自由若干個編碼/解碼模塊堆疊而成，每個模塊包含 MultiHead Attention 層、全連接層等功能不同的工作層。

Transformer 架構優勢突出，計算效率、并行度、解釋性均實現突破。相比于之前的 框架 Transformer 架構除了在計算的時間復雜度更優外，還有 3 大優勢：

（1）可直接計算點乘結果，并行度高：對于數據序列 x1,x2……xn ，self-attention 可 以直接計算任意兩節點的點乘結果，而 RNN 必須按照順序從 x1 計算到 xn。

（2）一步計算，解決長時依賴問題：處理序列信息使，通常用要經過的路徑長度衡量 性能，CNN 需要增加卷積層數來擴大視野，RNN 只能逐個進行計算，而 self-attention 只需 要一步矩陣計算就可以，更好地解決長時依賴問題。

（3）模型更可解釋：self-attention 模型更可解釋，attention 結果的分布可反映該模型 學習到了一些語法和語義信息。