云平台上部署 DeepSeek 模型，在自己的网站上实现用户与知识库的交互

1. 在云平台上部署 DeepSeek

步骤 1：注册并登录腾讯云

步骤 2：创建 Cloud Studio 工作空间

1. 进入 Cloud Studio 服务页面：https://ide.cloud.tencent.com/dashboard/gpu-workspace。
2. 点击“创建工作空间”，选择“ollama”模板。确认配置后点击“创建”。

步骤 3：安装 Ollama

1. 工作空间创建完成后，进入工作空间并打开终端。
2. 运行以下命令安装 Ollama：
   bash复制

   curl --fsSL https://ollama.com/install.sh | sh

3. 验证安装是否成功：
   bash复制

   ollama --version

步骤 4：部署 DeepSeek 模型

1. 在终端中运行以下命令下载并启动 DeepSeek 模型：
   bash复制

   ollama run deepseek-r1:8b

   你可以根据需求选择不同参数量的模型（如 14b 或 32b）。

2. 搭建专属知识库

步骤 1：安装 Docker

步骤 2：安装 Dify

1. 访问 Dify 的 GitHub 仓库：https://github.com/langgenius/dify。
2. 下载 ZIP 文件并解压到本地。
3. 进入项目根目录的 docker 文件夹，找到 .env.example 文件并重命名为 .env。

步骤 3：配置 Dify

1. 在 .env 文件中启用自定义模型，并配置 Ollama 的 API 地址：
   复制

   CUSTOM_MODEL_ENABLED=true
   OLLAMA_API_BASE_URL=host.docker.internal:11434

2. 在项目根目录运行以下命令启动 Dify：
   bash复制

   docker compose up -d

步骤 4：创建知识库

1. 访问 http://127.0.0.1/install 完成 Dify 的初始化设置。
2. 在 Dify 控制台中创建知识库，上传你的私有知识文件（如 PDF、TXT、Markdown 等）。

3. 在自己的网站上提供对话功能

步骤 1：编写 FastAPI 服务

1. 创建一个 Python 文件（如 main.py），并编写以下代码：
   Python复制

   from fastapi import FastAPI
   from pydantic import BaseModel
   from langchain.vectorstores import FAISS
   from langchain.embeddings import HuggingFaceEmbeddings
   from deepseek import DeepSeek
   
   app = FastAPI()
   # 加载向量库
   embeddings = HuggingFaceEmbeddings()
   db = FAISS.load_local("vector_store", embeddings)
   # 初始化 DeepSeek 模型
   ds = DeepSeek(model_path="./models/deepseek-r1-7b-chat")
   class Query(BaseModel):
       question: str
   @app.post("/ask")
   async def ask_question(query: Query):
       similar_docs = db.similarity_search(query.question, k=3)
       context = "\n".join([doc.page_content for doc in similar_docs])
       prompt = f"基于以下知识片段：\n{context}\n请回答用户问题：\n{query.question}"
       answer = ds.generate(prompt, max_tokens=500)
       return {"answer": answer, "references": [doc.metadata for doc in similar_docs]}

2. 启动服务：
   bash复制

   uvicorn main:app --reload --port 8000

步骤 2：在网站上集成对话功能

1. 在你的网站前端，使用 JavaScript 或其他技术调用上述 FastAPI 服务。
2. 示例代码：
   JavaScript复制

   async function askQuestion(question) {
       const response = await fetch("http://your-server-ip:8000/ask", {
           method: "POST",
           headers: { "Content-Type": "application/json" },
           body: JSON.stringify({ question: question })
       });
       const data = await response.json();
       console.log(data.answer);
       return data.answer;
   }

4. 部署到线上服务器

1. 将 FastAPI 服务部署到线上服务器（如腾讯云、阿里云等）。
2. 配置反向代理（如 Nginx）以使用自己的域名访问服务。

总结

• 1
• 2
• 下一页