OpenAI發佈新一代向量大模型，嵌入長度升級，價格最高下降5倍！

由於大語言模型輸入長度的限制，基於外掛知識庫的檢索生產（Retrieval Augmented Generation，RAG）是大模型應用中非常流行的技術。檢索增強生成中的一個核心步驟是檢索。而基於向量相似性檢索是這類系統中最重要的技術之一。決定向量檢索準確性的核心是向量大模型的能力，即文本轉成embedding向量是否準確。今天，OpenAI宣佈了他們第三代向量大模型text-embedding，模型能力增強的同時價格下降！

• OpenAI第三代向量大模型text-embedding-3簡介
• OpenAI不同的向量大模型對比
• 第三代OpenAI向量大模型text-embedding-3與其它模型對比

OpenAI第三代向量大模型text-embedding-3簡介

embedding向量是一個數字組成的向量，可以表示自然語言或者代碼的語義。基於這個向量可以得出不同文本或者代碼內容之間的相似性，在知識檢索中用處很高。本次OpenAI發佈的向量大模型包括2個版本，分別是text-embedding-3-small和text-embedding-3-large。

其中，前者是規模較小但是效率很高的模型，前任模型是2022年12月發佈的text-embedding-ada-002。後者是規模更大的版本，最高支持3072維度的向量！這是目前OpenAI最強大的向量大模型，比前代的模型強很多，在MIRACL和MTEB上的得分都有提升。

OpenAI不同的向量大模型對比

當前OpenAI不同向量大模型的對比：

從上表可以看出，為了權衡生成速度和準確性，OpenAI提供的新的向量大模型text-embedding-3支持dimensions參數，可以選擇生成不同長度的向量。而更長的向量效果更好，但是成本更高，速度更慢。從價格上來說，text-embedding-3-small和前一代的向量大模型維度一致，效果略強，不過價格下降5倍！而更大版本的向量模型價格也比前代模型也有下降，下降約45%左右！

這一次，OpenAI向量大模型最大的特點應該就是可以支持輸出不同維度的結果並且價格下調，開發者的選擇更加豐富。

第三代OpenAI向量大模型text-embedding-3與其它模型對比

不過，從MTEB評分結果看，盡管text-embedding-3-large最高已經達到64.6分，但是MTEB排行榜上依然隻能拍第四。目前前三名如下：

不過，這些模型的使用成本可能比OpenAI的略高。

文章來自datalearner。