前言

你是不是也开发过一些好玩的大模型应用,比如翻译工具、智能问答或者天气查询,但却不知道怎么让别人也能调用它?别急,今天我就手把手教你如何用LangChain快速把你的AI应用发布成一个Web服务,不管是Java、Python还是PHP的用户都能轻松集成!

一、准备工作:安装LangChain-Server

首先,你得先安装LangChain提供的服务器模块。打开你的终端,输入下面这行命令:

pip install langchain-server

(注意:如果你之前听过一些音译叫法比如“蓝圈”、“南墙”或者“烂菜”,其实都是指LangChain,别被带偏了哈!)

import ...
DASHCOPE_API_KEY = os.getenv("DASHCOPE_API_KEY")
# 调用大模型
client = ChatOpenAI(api_key=DASHSOCPE_API_KEY,
base_url="https//dashscope.aliyuncs.com/compatible-mode/v1",model="qwen-max-laest")

二、编写服务端代码:用FastAPI定义路由

假设你已经写好了一个翻译服务,现在我们要把它“包装”成一个Web接口。这里我们用FastAPI来搭建服务器。

from fastapi import FastAPI
from langchain_server import add_route
# 解析返回结果
parser = StrOutputParser()
# 定义提示词模板
prompt_template = ChatPromptTemplate.from_messages(
[
SystemMessagePromptTemplate.from_template("请将一下的内容翻译成{language}"),
('human','{text}')
]
)
# 以链形式调用
chain = prompt_template | client | parser
from fastapi import FastAPI
from langchain_server import add_route
# 假设这是你写好的翻译函数
def translate_text(language: str, text: str):
# 这里是你自己的模型调用逻辑
return f"Translated to {language}: {text}"
# app = FastAPI()
# 部署为服务
app = FastAPI(title="基于LangChain的服务",version="V1.5",description="翻译服务")
# 把翻译函数发布成API,路由设为 /translate
add_route(app, "/translate", translate_text)

注意:

  • add_route 是LangChain提供的函数,用于绑定路由和函数。
  • 一个应用可以有多个服务,比如翻译、天气查询等,每个服务都可以有独立的路由。

三、启动服务:用Uvicorn运行服务器

代码写好后,用Uvicorn启动服务:

import uvicorn
if __name__ == "__main__":
uvicorn.run(app, host="localhost", port=80)
运行后,你的服务就在本机的80端口上跑起来啦!

(小提示:如果80端口被占用,可以换成8080或其他端口。)

四、测试服务:两种方法任你选

方法一:用Playground界面(推荐初学者)

在浏览器打开: http://localhost:80/playground/

你会看到一个可视化界面,里面自动识别出你的函数需要哪些参数(比如languagetext)。输入值,点一下按钮,立马看到结果!

例如:

  • language 填 french
  • text 填 今天的天气很好 点击执行,就能返回法语翻译结果。

方法二:用ApiFox或Postman测试

如果你习惯用API工具,可以这样调用:

  • URL: http://localhost:80/invoke/
  • 方法: POST
  • 参数格式: JSON
{
"language": "english",
"text": "今天的天气很好"
}
注意:这里用的是
/invoke
/playground

五、客户端集成:其他语言也能调用

如果你是Python用户(用LangChain客户端):

from langchain_server import RemoteRunnable
client = RemoteRunnable("http://localhost:80/translate")
result = client.invoke({
"language": "french",
"text": "Hello world"
})
print(result)

LangChain客户端会自动处理通信,超省心!

如果你用其他语言(比如JavaScript):

fetch('http://localhost:80/invoke', {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify({
language: 'french',
text: 'Hello world'
})
})
.then(response => response.json())
.then(data => console.log(data));
Java、PHP、Go等语言也是类似的,用HTTP客户端发POST请求就行。

六、常见问题排查

  • 端口被占用:换一个端口,比如8000或8080。
  • 路由找不到:检查是否漏写了add_route
  • 参数名不对:确保和函数定义中的参数名一致(比如languagetext)。
  • LangChain模块找不到:确认是否安装了langchain-server

七、总结:为什么用LangChain发布服务?

LangChain-Server帮你省去了写大量Web框架代码的麻烦,尤其是:

  • 自动生成测试界面(Playground)
  • 支持多语言客户端集成
  • 无缝对接已有的LangChain应用

不管你是想快速验证模型效果,还是正式对外提供服务,用LangChain发布API都是又快又稳的方式。赶紧试试吧,让你的AI应用不再“孤芳自赏”!

最后

为什么要学AI大模型

当下,⼈⼯智能市场迎来了爆发期,并逐渐进⼊以⼈⼯通⽤智能(AGI)为主导的新时代。企业纷纷官宣“ AI+ ”战略,为新兴技术⼈才创造丰富的就业机会,⼈才缺⼝将达 400 万!

DeepSeek问世以来,生成式AI和大模型技术爆发式增长,让很多岗位重新成了炙手可热的新星,岗位薪资远超很多后端岗位,在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合,飞速发展,成为炙手可热的新风口,企业非常需要了解AI、懂AI、会用AI的员工,纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述
最近很多程序员朋友都已经学习或者准备学习 AI 大模型,后台也经常会有小伙伴咨询学习路线和学习资料,我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料,这些学习资料不仅深入浅出,而且非常实用,让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入,精准学习显得尤为重要。一份系统的技术路线图,不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点,还能提供一条高效、有序的学习路径。

img

但知道是一回事,做又是另一回事,初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性,在这基础上,找到高质量的学习资源,不浪费时间、不走弯路,又是重中之重。

AI大模型入门到实战的视频教程+项目包

看视频学习是一种高效、直观、灵活且富有吸引力的学习方式,可以更直观地展示过程,能有效提升学习兴趣和理解力,是现在获取知识的重要途径

在这里插入图片描述
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

海量AI大模型必读的经典书籍(PDF)

阅读AI大模型经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说,阅读经典书籍是非常有必要的。
在这里插入图片描述

600+AI大模型报告(实时更新)

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
在这里插入图片描述

AI大模型面试真题+答案解析

我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下
在这里插入图片描述

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐