作者 | 凌敏

AI 大模型引領千行百業加速升級。在金融行業，大模型正以其出色的數據處理和分析能力引領著一場技術變革。那麼，目前大模型在金融行業的應用現狀如何？大模型在金融行業的落地應用面臨哪些問題和挑戰？如何打通大模型在金融業落地的最後一公裡？近日，InfoQ《極客有約》邀請到了騰訊金融雲技術總監全成，InfoQ 社區編輯，美國 Cognizant 公司架構師（solution architect）馬可薇，共話《大模型落地金融行業，如何闖關最後一公裡？》。

以下為訪談實錄，完整視頻參看：
https://www.infoq.cn/video/wV7sNBNqeO27V3p5E2Gu

馬可薇：歡迎大傢來到 InfoQ 極客有約，我是今天的特邀主持人 InfoQ 社區編輯、美國 Cognizant 公司架構師馬可薇。本期直播，我們邀請到了騰訊金融雲技術總監全成來給我們做分享。我們今天直播的主題是《大模型落地金融行業，如何闖關最後一公裡？》。首先請全成與網友們打個招呼。

全成：我一直在金融行業工作，負責過金融大數據、數據挖掘、機器學習、深度學習等方面工作，在算法、研發方面也有一些經驗，為了探知市場的信息和動向也做過一段時間的產品和售前架構師相關的工作。目前，我在騰訊金融雲項目中負責遠程音視頻應用，以及大模型在金融行業應用的研發工作。

大模型如何賦能金融行業？

馬可薇：去年年底 ChatGPT 的爆火成功掀起了大模型熱潮，對於這波浪潮，您觀察到哪些有趣的趨勢？

全成：從大模型至今的發展來看，我從體感上來說沒有發現很多有趣的趨勢，更多的是一些擔憂。大模型本身具有一定的技術門檻，其本身的計算和邏輯推理過程又是黑盒，目前的大模型應用過程發展趨勢更是在逐漸走向閉塞。Transformer、Hugging Face 庫中的開源模型數量多、版本迭代速度快，但超大型模型卻更多地走向閉源。這類黑科技一旦極端地走向閉塞、黑盒的方向，將會給大模型帶來泡沫，也給了許多意見領袖左右輿論的可能性。我還是更多地希望開源和閉源的體系能同時存在，這樣也更加地合理。

同時我們也能看到，目前除了大模型的訓練和研發平臺外，許多創業公司也在進行一些基於大模型的智能應用，比如輔助辦公或 PDF 和論文類的解讀等等。

此外，基於大模型的智能應用研發也會需要研發的平臺，類似移動 APP 研發平臺的中間 PaaS 層組件，這類平臺的研發和開源數量也在增長，像是 LangChain 這類在早期較為典型的平臺也會逐漸出現。在這一點上，科技公司或是金融公司這類對信息化同步需求較高的行業，也可以關註一下這類基於大模型的研發平臺在未來的發展趨勢。

馬可薇：在金融行業，大模型的價值主要體現在哪些層面？

全成：說起價值點，如果一個技術能夠解決行業中存在的一個問題，那麼其價值自然能體現出來。在金融行業裡，我們不提金融服務的個性化推薦、風控量化水平精準度的提高、客戶體驗的提高等等這些較為空泛的話題，舉一個最簡單的例子，智能客服。大傢在日常給金融機構或客服打電話時往往能感覺到客服機器人的難以溝通。這個問題在各種領域中其實都存在，可以說金融機構並沒有通過智能化的技術將客戶和咨詢的訴求解決掉，而是恰恰相反，通過這些技術將客戶的咨詢和訴求全部擋在了門外。

從這方面來說，客戶的咨詢和互動方面肯定會有很大的提升，這也是我們能切身感受到的。此外，大傢常常在很多金融 APP 上發現光是產品的購買，其中的圖片和文檔都會讓人眼花繚亂，客戶最為關註的核心信息往往很難獲取到，人們與金融服務的互動或信息獲取效率是過於底下的。

在這些問題上，大模型對金融行業還是會有很大幫助的。金融行業中的各大渠道，包括手機銀行、網銀、ATM、線下網點，乃至微信的小程序中，我們與客戶能產生的互動隻有點擊和瀏覽。在 ChatGPT 這些大模型出現後，我們可以看到它們在語言生成和組織回答的能力上是非常強大的，可以讓金融行業中最為直觀的價值點，也就是與客戶的互動率會有大幅的提升。

大模型在金融行業內部的工作效率提升方面，也有很大的助力。我個人在工作中也會堅持寫代碼，常常會用到 GitHub Copilot 或騰訊的 AI 代碼助手之類，我感覺它們可以明顯地為我帶來代碼編寫的效率提升。此外，我在之前做架構師相關工作時也會遇到一類問題。金融機構中對於一些數據的統計，比如風險參股在 20%-30% 的客戶情況，這些數據通常是無法在 BI 平臺上獲取到的。數據分析或運維人員必須要找到科技公司提交數據需求說明書，科技部還要經過排期，最終要到兩個星期後才能拿到數據結果。大模型出現後，在 AI 數據和數據查詢等方面也會有大幅度的提升。

馬可薇：當前金融機構對於大模型的態度是怎樣的？

全成：目前金融機構對大模型的態度普遍來說還是持有期待的。金融和電信可以說是數字化和信息化程度最高的兩大行業了，他們對創新性的新科技接受程度都很高，也很願意嘗試。但大語言模型的訓練和推理投入都很大，金融行業更多是期待科技公司能開發出一些可以帶來更多業務價值提升，同時也能解決客觀問題的應用。大型銀行則更有技術實力和資本實力進行更多創新性的先行探索，我們也已經在一傢大型銀行的積極配合下，雙方聯合完成代碼助手的落地等任務。

馬可薇：根據您的觀察，目前行業對大模型的認知是否存在一些誤區？

全成：誤區說不上，不過我個人比較喜歡 Geoffrey Moore 在《跨越鴻溝》中提到的營銷模型：任何一個新技術都會有早期的受眾，以及中期的保守主義和實用主義人群。我們更多是希望能和金融機構一同成為具備創新性和探索性的早期使用者，以此為後來的實用主義者給出更多的證明。當然，有些保守主義的同行會提出一些較為極端的案例，比如說互聯網出現後會有手機銀行這類能夠直接接觸核心交易方面的應用出現，那麼大模型出現之後是否也能帶來變革型的應用？對此我覺得要實現這些還是需要一段時間的，互聯網剛出現時也是經歷了網頁、網站、網上銀行、手機銀行及線上支付的發展。總體來說，目前行業在誤區層面倒沒有很多，但我還是更希望金融和電信作為數字化領先的行業，能夠在大模型的應用和創新的探索上有更多的積極合作趨勢。

大模型在金融行業的落地規則及部署方式

馬可薇：大模型在金融行業的產業落地需要遵循哪些規則？這和其他行業有哪些異同？

全成：規則的制訂是為了防止打破規則後帶來的損失，或者是對部分人群帶來的風險。大模型作為一項新技術，就目前可見一些輿論報道等信息渠道來看，都在談論數據隱私安全、倫理、歧視偏見，但對於金融這項非常審慎的服務來說，可解釋性和可追溯性是金融機構一定要關註的規則，當然，模型輸出一定要符合法律法規這項最基本的要求更不用說了。金融機構要想應用大模型，就會對科技公司或產品研發公司提出更多的要求，大模型的推理過程以及推理後的每個環節都要有相應的日志。雖然說大模型的很多輸出都沒有緣由，但模型運算過程中還是會有一些能夠佐證的信息和日志。

大模型畢竟是新技術，必然會存在很多不可預料性。但我們也不能光是嘴上說說，還是要將產品先做出來，然後在使用的過程中沉淀一些具備可操作性的規則。舉例來說，騰訊安全在某個僅利用視覺進行智能駕駛的品牌中，通過安全團隊的實驗，發現地面上存在的某些特殊圖片會導致汽車進行一些預料外的行為。這種情況如果發生在實際的高速公路上將會十分危險。因此，我們應該是進行更多的實驗和探索，並在探索過程中將各種規則沉淀下來，為行業做出更多的貢獻。但目前為止還沒有說有人嘗試過利用個人隱私數據進行指令學習的大模型 fine tune 之後，模型會輸出怎樣的結論並影響到客戶這類的實驗。

馬可薇：先前 ChatGPT 出現過 prompt 泄露模型訓練數據的事故，那麼騰訊雲有針對這類風險做過什麼防范措施嗎？

全成：這是肯定的，我們甚至還有一個專門的團隊研究如何攔截大模型中高風險的輸出。騰訊的混元大模型在訓練的時候也會充分考慮到這一點，在訓練的數據集中把法律合規、可解釋性、隱私安全都考慮到。同時，因為大模型本身的計算過程非常復雜，其輸出肯定會存在意外性，目前英偉達也有一些開源組件可以對模型的最終輸出進行攔截。騰訊的安全實驗室也在進行這方面的安全探索和研發。

馬可薇：要如何確保大語言模型的應用是符合法規要求的呢？

全成：首先是訓練數據集，我們要杜絕違法的訓練數據集，因為如果存在違法的訓練數據，模型必然會學習到。目前的大語言模型的訓練數據通常是互聯網上通用的文章、書籍、新聞報道之類信息，但金融行業還有行業內的政策文檔文案以及一些領域知識，這些都需要添加到大語言模型的訓練之中。這樣才能更多地讓模型學習到金融行業的規則和法規。

其次是針對輸出的攔截，在這一過程中我們可以對參數進行一些調整，實現對敏感詞匯進行過濾，減少其被選取的概率，並盡可能避免人名的出現（除了百科類型中的名人）。

最後一道防線則是安全機制，通過一套篩選過濾的機制從而保障大模型的輸出盡可能地安全合規。雖然這樣下來還是會存在漏網之魚，但目前還沒有全面觀測到這種情況的出現，這方面我們還是有很長的一段路要走。

馬可薇：目前大模型在金融行業的應用現狀如何？主要有哪些應用場景？存在哪些挑戰？

全成：雖然大模型面世僅僅隻有一年的時間，但它的 Transformer 技術架構是從 2017 年底逐漸發展到現在的，真正驚艷眾人的還是一千五百多億參數的超大級別模型 ChatGPT。目前大模型雖然還沒有得到大規模的應用落地，但在探索和創新性上的嘗試還是有很多的。金融機構目前還是希望能和更多的科技公司合作實現大模型的應用落地。今年四五月份我們就已經能看到 ChatGPT 與 GPO 進行金融投研的 fine tune 及相應的合作，在券商或投資銀行的層面上，我們能看到很多投研和投顧（投資顧問）相關的探索性合作；商業銀行希望能提高與客戶的互動性，智能客服和線上營銷方面合作較多。至於商業銀行在個人信用和企業內部評級，因為信用風控領域需要模型具備極強的可解釋性，風控和風險量化方面，比如違約概率、違約損失率或風險計量等方面的應用目前還沒有非常直觀的應用場景。目前來說，大模型基於互聯網行為數據獲取到的信用評分或是代碼助手之類的應用相對而言還是比較多的，但大模型目前還沒有直接進入交易或模型直接決策的層面。

至於挑戰，大模型技術門檻不低，因此在技術上的挑戰肯定存在，但更多的挑戰還是在於投入產出的平衡方面。以 16B（160 億參數）的小型大語言模型來說，光是推理部分就需要一個 32G 顯卡的服務器，英偉達 V100 的 GPU 一個月是四千塊錢，三節點的負載均衡一個月下來就是一萬二。兩千億參數的超大型模型一年在 GPU 上投入就是 144 萬，在算上應用中的數據庫和其他的基礎設施，一年中光是推理的投入就要有三百萬，因此我們還是要提高業務價值，做好投入產出的平衡。

馬可薇：當前金融機構部署大模型主要有哪些方式？不同方式的關鍵點是什麼？

全成：大模型的部署方式有很多，基礎的雲平臺、本地，以及混合型部署，谷歌前陣子推出的 Gemini 甚至有可以在邊緣計算部署的超小型模型，其他還有 OpenAI 通過 API 提供的模型即服務類型。

具體的部署方式選擇還是和大模型的應用架構息息相關。假如說是對語言能力和語言組織能力要求極高的需求場景，需要一千五百億甚至是兩千億級別以上的模型，那麼專為這種應用或雲環境搭建機房的成本還是很高的。這種場景下，可以在盡可能保障安全的情況下與科技公司合作，通過 API 調用模型即服務（MaaS）共創一個安全的雲環境。目前沒有任何一個模型能針對任何細分場景下的任何任務都有百分百的解決率，金融機構如果希望構建大模型的應用，則必然要針對不同的細分場景，由推理和訓練微調成本較低的小型模型解決細分場景，中間層 Agent 代理判斷意圖（究竟是調用大模型、專業模型還是搜索工具），並利用大模型的語言和推理能力將結果整理，從而交給用戶一個滿意的答復。

馬可薇：金融行業最關註的還是大模型帶來的風險，具體來說，可能會存在哪些風險？如何規避這些風險？

全成：這個問題拿去問 ChatGPT 能得到十幾條的回答，非常全面且完善。金融行業在這十幾項的風險中會更多地關註信息數據安全，隱私數據被濫用這方面。在信息安全方面，除了傳統的信息加密、訪問控制和脫敏等手段，我們還要有研究團隊，利用個人隱私數據或行為數據做模型的微調和訓練，通過模型輸出反饋結果的實驗證明，發現具體的潛在風險，才能提出更多的反制措施。

其次，金融機構也會非常關註對客的公眾性。既要確保個性化的利率定價和產品推薦，同時也要保障在某些領域中的對客公正性。在訓練數據集中，即使是要用隱私或金融數據，我們也不能過度依賴銀行或個人券商的內部數據，而是要考慮到公共的、更為全面的數據。內部的數據必然不是正態分佈的，而有些地域或地方性金融機構的客戶可能都是局限在某一區域的。

第三，是模型輸出的可解釋性和可追溯性。在應用大模型時，金融機構要盡可能避免通過大模型直接從端到端解決非常復雜的任務。大模型在解決復雜的邏輯推理任務時還存在能力上的短板，在解決這類問題時大模型的推理過程也是完全的黑盒。因此，我們要盡可能地將復雜任務拆分，並通過這一過程中對模型的拆解，提高模型結果的可追溯性和可解釋性。

馬可薇：科技公司要如何為金融機構提供定制化、差異化的大語言模型服務？

全成：首先要看用戶提出的需求，其次是大模型的訓練，我們目前也在用很多開源的模型進行微調，這些開源模型有很多，Chinese-Llama2、千問，以及騰訊內部通過中文語料訓練出的模型等等。開源模型肯定要用中文語料訓練，我們會在 Hugging Face 上看有哪些評測較好的模型，再用業內比較認可的 LoRA 技術做模型的訓練和微調。在金融機構內部訓練數據不足的情況下，就得用更大型的生成式模型生成訓練用數據構成指令數據集，再通過 LoRA 進行微調。因為可訓練的參數基本可以控制在 1% 以內，所占用的顯存不會很高。

打通大模型在金融業落地的最後一公裡

馬可薇：大模型目前的應用和邊界在哪裡？

全成：將一個不穩定的新技術直接應用到核心業務上會帶來較大的風險，目前大模型的應用邊界還是更多地在外圍一些客服咨詢、內部工作效率提升、文檔解讀等相關的應用，而不是直接應用到精確的風險量化值計算之類。

馬可薇：打通大模型在金融業落地的最後一公裡並非易事，有哪些可行性路徑？金融機構如何才能充分發揮大模型的潛力？

全成：可行性路徑很多，官方一些的回答是“合作通贏”；和科技公司一同合作，找到一些較為邊緣性、與核心交易不算較為相關，且能相對地帶來更多的工作效率的高業務價值場景，小步快跑地進行嘗試，當然也還要構建一個專業的團隊。

不同的技術路線也有不同的落地方式。一種路徑是利用金融領域數據，點對點微調大模型，這種方式成本較高，很多科技部的領導很難有魄力投入如此大的資源。另一種路線是通過 prompt 提示工程將許多大模型一同利用起來，很多具體場景中的 prompt 設計有很巧妙的設計，好的提示工程會讓模型回復的精準度和準確度有大幅度的提升。

這樣通過知識庫和大模型中 prompt 能力相結合的搭建形式，是金融機構目前來看可行性較高的路線。前面提到的復雜任務拆分，對數據外泄零容忍的細分任務用小型模型完成，利用金融機構內部的數據進行微調，再掛載到大模型的應用內，從而實現更高的落地安全性和保障性，可行性也較高，成本也更好把控。

馬可薇：在人才儲備方面，金融機構需要哪些技能和經驗來支持金融大模型的落地？

全成：大模型雖然也有技術門檻，但遠沒有傳聞中的神乎其神，實際的微調和訓練工作都會需要兩方面的人才。一是數據工程類人才，基於業務需求對數據集進行設計、清洗、驗證，大規模地構建數據集。這一過程不僅需要具備業務知識，還需要耗費極大的人力精力。我們都知道 OpenAI 或者是谷歌等公司的架構永遠是 Transformer、訓練代碼在 GitHub 上也有很多（並行訓練、流水線訓練、數據定性等等），唯獨沒有數據集中各種數據來源的占比，或者訓練結束後指令學習中具體的任務構建。

在模型訓練方面，除非需要從預訓練開始，將 Transformer 的架構模型重新設計或修修改改，否則隻做微調的話，用 RoLA 微調開源模型就可以了。國內也有 LLaMA-Factory 的 H5 工具，很簡單就能進行訓練了。模型訓練方面的人才首先要理解 Transformer 或圖像生成方面 Diffusion 的理論基礎和架構原理，會寫 Python 並能利用 Hugging Face 微調應該就是足夠了。

馬可薇：金融領域大模型的技術路線和其他垂直領域的大模型有什麼不同？

全成：在我看來其實差不太多，金融機構在技術路線的落地方面會更加關註私有化、本地化的部署，對產品研發和創業公司來說要更多地考慮到這一點。模型不是越大越好，越大的模型對 B 端客戶的成本也就越大，模型的設計和微調以及更多的研發工作時都要考慮到這點。

馬可薇：對於那些還未或正在落地大模型的金融機構，您會給他們提供哪些建議？企業具體需要做好哪些準備？

全成：建議談不上，但還是希望更多的金融機構能夠讓員工先用起來大模型。以代碼助手為例，任何技術人員肯定都覺得自己的代碼水平很高，何必讓 AI 給自己搞亂，但隻有真正地擁抱新技術，才會在使用的時候發現它真的能帶來很多便捷和效率上的提升。看似大模型沒有解決什麼問題，但對員工整體對大模型技術上的理解是有很大幫助的。此外，無論是技術人員還是業務人員，在應用了大模型的技術後能夠天馬行空地提需求才是好的循環，而不是直接否認大模型。金融機構的中高層也需要對大模型的應用有一些一兩年內的規劃和整體目標，這樣才會更還是一些，五年計劃倒是指不上，畢竟技術發展太快了。

馬可薇：展望未來，大模型落地金融行業還會帶來哪些產業價值？未來可能會發生哪些變革？

全成：金融領域在未來會積極地擁抱新技術，在可見的未來也必然會有更多創新性的應用出現，大模型會幫助金融行業實現客戶和金融服務之間的互動和交付，而未來金融行業的應用也可能會出現更多的對話式、交互式應用。從變革的層面來講，未來也必然會帶來更多變革型、創新性的應用。

嘉賓介紹

特邀主持：

馬可薇，InfoQ 社區編輯，美國 Cognizant 公司架構師（solution architect），主要負責保險領域的業務。

嘉賓：

全成，騰訊金融雲技術總監。之前曾在某金融集團公司參與關系網絡風控識別項目，和說話人聲紋識別比對項目；在券商互聯網企業參與過大數據量化投資項目。目前在騰訊主要參與 TX2SQL 大模型智能應用項目，負責專業知識及推理大模型微調，構建端到端 TX2SQL 問答系統。

原文鏈接：
https://www.infoq.cn/article/kQOjfc1iCvObWXEleaGP