點(diǎn)擊下方“JavaEdge”，選擇“設(shè)為星標(biāo)”

第一時(shí)間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因?yàn)槭郎蠜]有同樣的成長環(huán)境，也沒有同樣的認(rèn)知水平，更「沒有適用于所有人的解決方案」； 不要急著評(píng)判文章列出的觀點(diǎn)，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實(shí)踐中尋找適合自己的大道」

0 前言

基于Dify現(xiàn)有能力，已能對(duì)不少業(yè)務(wù)場景提供幫助，但對(duì)一些特定訴求，還要借助其擴(kuò)展機(jī)制，本文利用翻譯場景舉例詳細(xì)說明。

1 翻譯場景復(fù)雜性分析

翻譯是從簡單到復(fù)雜各級(jí)都存在的場景，比較簡單的翻譯可能一句簡單 Prompt，但對(duì)復(fù)雜、效果要求較高翻譯場景，可能需要一些復(fù)雜 LLM 編排，如吳恩達(dá)開源的 Translation Agent 工作。

從效果層面看，有些翻譯要求比較高的意譯水平，比如廣告詞的翻譯，需要理解原文的深層含義，而非逐字翻譯。類似場景實(shí)踐，采用多輪調(diào)用 COT 的技巧，還需不斷反思修正，得最優(yōu)答案。這種場景往往要求靈活 LLM 編排能力。這種場景是 Dify 擅長。

也有另外一些翻譯場景，要求非常高的場景化和專業(yè)化，比如游戲論壇的評(píng)論翻譯，需要通過 Prompt 給出目標(biāo)受眾期待的語氣和翻譯風(fēng)格，同時(shí)還需要專詞映射機(jī)制，來支持一些專業(yè)的游戲詞匯（角色/道具/活動(dòng)）或者黑話。

參考欄中的一文中介紹了專詞翻譯的方案，其中借助分詞器進(jìn)行專詞提取和 KV 數(shù)據(jù)庫存貯映射關(guān)系，方案中包含的 DynamoDB & Glue 服務(wù)，其服務(wù)能力是目前 Dify 所不具備的，單純依靠 Dify 無法支持這種翻譯訴求。

方案的問題

它是基于代碼實(shí)現(xiàn)，未提供友好的界面來調(diào)整 Prompt，對(duì)于復(fù)雜的 LLM 編排僅僅只能通過修改代碼實(shí)現(xiàn)，沒有足夠的靈活性去應(yīng)對(duì)各種各樣的具體場景，也缺乏通用能力的支持，比如想要實(shí)現(xiàn) stream response 則比較麻煩，而 Dify 的 API 發(fā)布能力則可以很輕松的彌補(bǔ)這一點(diǎn)，同時(shí)還可以利用 Dify API 監(jiān)控等一系列通用能力。

為結(jié)合兩者的優(yōu)勢，本文嘗試了對(duì)兩者進(jìn)行集成實(shí)踐。

2 Dify與外部工具集成

Dify社區(qū)版文檔中，目前主要提供 2 種集成：

• HTTP 節(jié)點(diǎn)：允許通過 Restful API 與外部接口進(jìn)行交互。

• 自定義工具：通過自定義工具添加一種新的節(jié)點(diǎn)類型，可以編排在工作流中。

AWS的能力從原則上可與 Dify 通過這兩種方式進(jìn)行集成，但依然存在一些

2.1 問題 2.1.1 HTTP 方式存在鑒權(quán)問題

鑒權(quán)步驟較麻煩，且需要用到 AK/SK，可能受安全方面限制。

可通過自定義工具來對(duì)接 AWS 的能力，自定義工具本質(zhì)上是運(yùn)行在 Dify docker 運(yùn)行的實(shí)例中的，無需 AK/SK 的配置，直接通過實(shí)例上 AWS IAM Role 來獲得執(zhí)行權(quán)限。

2.1.2 AWS的一些能力

并非直接可訪問的 SAAS API 服務(wù)，需預(yù)先私有化部署，如一直沒人用或使用過少，可能存在閑置率率過高問題。其它類似案例設(shè)計(jì)方案時(shí)，主要基于 serverless 服務(wù)搭建，大大降低空置問題，其中 Lambda 的接口設(shè)計(jì)時(shí)，也提供多種接口，除了直接翻譯，還可以支持獲取專詞映射和切詞結(jié)果。

2.2 集成過程 2.2.1 部署 Dify

采用社區(qū)版 – Docker Compose 方式進(jìn)行部署。

2.2.2 編輯自定義工具

參考Dify文檔定義工具，一個(gè)工具一般對(duì)應(yīng)兩個(gè)文件：

① python 文件

為對(duì)接 AWS 服務(wù)的連接器，一般利用 boto3 來訪問 AWS 服務(wù)，Dify 的 Docker 環(huán)境中已集成 boto3 的依賴。參考實(shí)現(xiàn)：

為該工具的輸入輸出的界面定義文件，參考代碼，注意 name 字段需要和真實(shí)文件名保持一致，否則加載時(shí)會(huì)出現(xiàn)問題。

參考下面?zhèn)未a：

# 按照下面步驟把工具對(duì)應(yīng)的代碼文件置入指定位置
cp -r ${tool_folder} ~/dify/api/core/tools/provider/builtin/

# 構(gòu)建新鏡像
cd ~/dify/api
sudo docker build -t dify-api:${tag} .

# 指定啟動(dòng)鏡像
cd ../dify/docker/
vim docker-compose.yaml
# 修改image
# image: langgenius/dify-api:0.6.11 => image: langgenius/dify-api:${tag}

# 停止docker （也可以只更新修改過鏡像的Container）
sudo docker compose down

# 啟動(dòng)docker
sudo docker compose up -d

檢查自定義工具是否安裝成功。

若安裝成功，可在 dify 首頁的 Tools Tab 中看到新增的工具集：

工作流編排的時(shí)候，右鍵添加節(jié)點(diǎn)，可在 Tools/Built-in 中看到添加的自定義工具：

當(dāng)工具沒有正確加載不可見時(shí)。參考下面?zhèn)未a，查看服務(wù)的日志，根據(jù)日志來修改代碼：

# 查看dify-api所在的container id
sudo docker ps -a

# 查看dify-api 這個(gè)container的日志
sudo docker logs

至此，即可基于Dify強(qiáng)大功能，構(gòu)建高效、智能翻譯服務(wù)，滿足各種復(fù)雜可定制化的翻譯需求。通過實(shí)踐此集成：

• 簡化開發(fā)過程

• 充分發(fā)揮Dify在 LLMOps 優(yōu)勢，為用戶提供高質(zhì)量的翻譯體驗(yàn)

• 大大擴(kuò)展了 Dify 的能力邊界，讓它具備了專詞召回的能力

• 對(duì)其他復(fù)雜AIGC相關(guān)場景提供參考

參考：

• https://aws.amazon.com/cn/blogs/china/implementing-llm-translation-with-word-mapping-capabilities-based-on-aws-services/

關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

編程嚴(yán)選網(wǎng)：http://www.javaedge.cn/ 專注分享軟件開發(fā)全生態(tài)相關(guān)技術(shù)文章、視頻教程資源、熱點(diǎn)資訊等，全站資源免費(fèi)學(xué)習(xí)，快來看看吧~ 【編程嚴(yán)選】星球