from fastapi import FastAPI
from langserve import add_routes
...
1. 创建fastAPI的应用
app = FastAPI(title='我的langchain服务', version='V1.0', description='使用langchain翻译')
2. 添加路由
add_routes( app, chain, path="/chain", )
if __name__ == "__main__":
import uvicorn
uvicorn.run(app, host="0.0.0.0", port=8005)
备注:
1)FastAPI 是一个现代、快速(高性能)的 Web 框架,用于构建基于 Python 的 API。
2)Uvicorn 是一个基于 Python 的 ASGI(异步服务器网关接口)服务器,它可以处理异步请求,具有高性能和低延迟的特点。Uvicorn 常被用于运行 FastAPI 应用,因为它能够很好地支持 FastAPI 的异步特性,充分发挥其性能优势。
3)pip install langserve[all] # 下载所有必要的模块,如fastapi和uvicorn