#标签

本文介绍了如何在本地搭建小型大模型知识库，使用Ollama和CherryAI工具管理模型。内容包括：配置Ollama下载本地模型、建立知识库文档，以及通过CherryAI平台接入API服务实现知识检索。虽然小型模型在回答质量上与主流大模型存在差距，但这种方法能让用户体验轻量化的大模型知识库功能，适合进行初步探索和微调实践。

本文介绍了两种实现Docker容器自动启动的方法，以及针对模型加载问题，提出了自动加载脚本方案。

摘要：SCNetDCU异构环境使用官方Ollama0.5.7版本镜像时，发现该版本较旧，不支持qwen3和文心4.5等新模型。测试显示deepseek1.5b模型响应速度快（1秒），但14b模型需24秒。ERNIE-4.5-0.3B和qwen314b均因版本问题报错。结论表明官方Ollama镜像推理速度快但不兼容新模型，需升级版本以支持最新大模型。

LangChain4j 是一个专为 Java 生态系统设计的开源框架，旨在简化大语言模型（LLM）与应用程序的集成，提供了构建基于 LLM 的复杂应用所需的核心组件和工具。其设计理念借鉴了 Python 生态的 LangChain，但针对 Java 开发者的习惯和需求进行了优化。

Ollama是一个开源项目，用于在本地计算机上运行大型语言模型（LLMs）的工具，它的底层是使用Docker，所以支持类似Docker的构建方式，大模型就是它的镜像。它支持多种模型格式，包括但不限于GGUF，允许用户在没有高性能GPU或不希望使用云服务的情况下，利用个人计算机的资源来执行复杂的语言任务。Ollama极大简化了大模型私有部署步骤，使得大模型运行像Docker一样简单方便。

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。

WPF+OllamaSharpe实现本地聊天功能、如Deepseek、Llama。交互式聊天、根据之前记录聊天、添加外部文本聊天、添加图像聊天，识别图像内容。

本案例旨在构建一个基于Python的交互式系统，前端通过Streamlit框架实现简洁易用的用户界面，后端基于Ollama平台部署Qwen模型，提供自然语言处理（NLP）能力。用户可以通过前端界面与Qwen模型进行交互，获取模型的响应结果。

langchain入门教程第二篇，使用本地部署的大模型（包含ollama以及llama.cpp）

前面部署了vLLM版本以后，访问它比较麻烦。如何才能更好的实现访问呢，这个就是我们今天要讲的Open WebUI，它可以向我们使用官方DeepSeek一样直接在网页进行对话。

本文针对DeepSeek数据库的本地化部署及其跨域访问架构构建进行了探讨。本地化部署通过将数据库直接安装在用户本地服务器上，有效提升了数据处理的响应速度与安全性。同时，构建跨域访问架构，采用先进的加密技术和身份认证机制，确保数据在不同网络域间传输的安全性。该架构支持高效的数据共享与协作，优化了业务流程，为多组织间的数据整合与业务协同提供了坚实基础，极大提升了整体数据处理能力和系统可用性。

执行ollama run deepseek-r1:32b就可以下载模型，下载完成出现下图这个命令行发送信息的提示就算成功。测试下效果，问deepseek如何部署，很快就出结果了，聊天框哪里会显示deepseek-r1:32b模型。测试下效果，好了部署是没问题了，在命令行太不方便了，这里我们用chatbox来配置带有界面的聊天。我是用的仙宫云的服务器通过ollama部署的deepseek.配置好了之后会自动选择deepseek-r1:32b的模型。好了这就是ollama部署的整个deepseek的流程。

DeepSeek 客户端应用ChatBox、AnythingLLM及OpenWebUI部署使用详细步骤

使用Node.js从零搭建DeepSeek本地部署...

昨天刷B站看到复旦赵斌老师说的一句话“科幻电影里在人脑中植入芯片或许在当下无法实现，但当下可以借助AI人工智能实现人类第二脑”（大概是这个意思）

从创建页面可以看到，星河社区部署使用了Ollama部署DeepSeek，操作非常简单，就是点两次鼠标。尽管现在很容易就能用到各家的免费DeepSeek web或API服务，但是自己部署，完全自己可控的DeepSeek api服务，还是非常不错的。

本文将重点介绍三款常见的开源项目：AnythingLLM、Dify、Open-WebUI，并对它们如何接入 Ollama进行简要分析和对比，以帮助你快速找到最适合自己的方案。

2024-05-30-Ollama全面指南安装使用与高级定制...