HQY 一个和谐有爱的空间

目前 Open WebUI 最便捷的部署方式是通过 docker 部署，一行命令就搞定了：$ docker run -d -p 7777:8080 ghcr.io/open-webui/open-webui相对于 chatbox 、cherry studio 等CS架构，Open WebUI 是基于BS架构的。使用BS架构的好处是服务搭建好后，其他人不用安装软件就可以直接通过浏览器使用。Open WebUI 搭建好后的界面如下：与其他o

太震撼！DeepSeek用226台H800服务器，日赚409万！大周末的，DeepSeek悄么声放了个大招。他们知乎官号发了一篇雄文，披露了【如何对DeepSeek V3/R1的推理系统进行优化】，文章有2大核心内容↓一、如何通过优化架构，让模型推理获得更大的吞吐和更低的延迟简单概括就是三板斧↓① 大规模跨节点专家并行② 计算-通信重叠优化③ 多级负载均衡策略前两步可以提升吞吐、降低延迟，而第三步用于优化GPU的占用率。DeepSeek在线推理系统架构图二、测算一下：在这种优化架构下，按照目前D

通过昨天的并发测试已经搞清楚了 ollama 的排队运行原理。当多人使用本地部署的 deepseek 时，使用的是先问先答的排队机制。deepseek 回答问题的时间是固定的，不会因为问的人多变得结巴。但同时问的人多，deepseek 会选择一个一个处理，后面的人会处于等待状态。测试过程可以看我昨天的文章：多并发场景 deepseek 答案生成速度会变慢吗？回到主题，本地部署的deepseek能支持多少人同时问问题？如果你家的deepseek是通过ollama来运行的，ollama 自身有排队机

通过 ollama 部署 deepseek 后，如何测试GPU服务器最大能承受的并发数？刚开始通过邀请多人同时在线，通过 open webui 在线聊天的方式测试并发数。因为大家并不是同一时间对 deepseek 提问，问题也不一样，导致生成答案的时间有长有短。如果答案提前生成完，相当于不是并发状态。通过人工方式测试效果不好，于是改用 API 请求方式测试最大并发数。 通过 API 模拟人工方式对 deepseek 发起提问。在服务器空闲状态下进行基准测试：$ollama run&nb

本文主要来测试一下ollama的高并发能力。具体配置如下：一、Ollama默认参数执行我们打开4个窗口，然后分别让DeepSeek “给我讲一个笑话” ，看下不同窗口的答题顺序。通过答题顺序可以看到，在不进行参数设置时，模型是一个一个执行。这样就说明，默认参数下，Ollama并不支持高并发，它会逐个回复我们的请求。二、调整Ollama高并发参数在ollama内，有两个参数与高并发有关分别是：OLLAMA_MAX_LOADED_MODELS：每个模型将同时处理的最大并行请求数，也就是能同时响应几个

无论是个人还是企业，在数字化时代都面临着海量信息的管理挑战。如何高效整理、存储和检索这些宝贵的数据，成为了提升生产力的关键。今天，我们将分享一个简单易上手的方法——基于 Cherry Studio + DeepSeek R1 模型+嵌入模型，快速搭建属于你或你的企业的知识库！一、什么是 Cherry Studio？Cherry Studio 是一款功能强大且灵活的桌面客户端工具，支持多模型服务，适用于 Windows、Mac 和 Linux 系统。它不仅集成了主流的 LLM 云服务和 AI We

最近，发现越来越多的企业开始跃跃欲试，自建RAG（Retrieval-Augmented Generation）系统，仿佛这是一项简单的任务。毕竟，开源工具到处都是，向量数据库和DeepSeek的组合听起来也不复杂。于是，IT部门信心满满地对领导们说：“我们自己搞，肯定能行！”然而，理想和现实的差距往往让人吃尽苦头。今天，我们就来聊聊，为什么企业自建RAG系统往往会掉进“坑”里，以及为什么多数企业其实更适合购买现成的解决方案。一、个人自建RAG知识库的可行性虽然企业自建RAG系统存在诸多挑战，但

视频教学相关下载（含Python代码）验证码自动识别相关下载：【tesseract及语言包还有我视频中的python代码】简介验证码识别普通人通常使用Tesseract来实现，但这种方式经本人验证错误率高。今天给大家介绍一个我常用的验证码识别第三方库 ddddocr使用方法# 第一步 引入 pip install ddddocr # 第二步 参考下载部分中的python脚本

视频教学所需工具&下载1、容器：docker 、ollama2、DeepSeek模型3、MaxKB 开源项目下载：「【DeepSeek训练私有知识库】所需工具」安装MabKB (docker安装)：docker run -d --name=maxkb --restart=always -p 8080:8080  -v 你的文件夹:/var/lib/postgresql/data  

简介比如我今天开了一个网站，但是我忘记网址了，这样ai能记得，ai就能帮我找回来，或者一个打开过海报PNG，我忘记在哪了，ai也能帮我开打。最后也就是ai可以帮你省心的做一个日报，到点下班ai帮你做日报，不用加班了。老板们可以用它监控员工的操作，找到员工摸鱼证据视频教学https://www.bilibili.com/video/BV1Gjwne6Ejc/操作1、安装 Screenpipe（实时记录屏幕、声音）安装仅需一行代码### macos, linux 系统：

简介DeepSeek不仅仅有大语言模型，它也有Janus用于图像的AI模型。我们可以将它用于：图像识别、验证码识别、文生图等等资源下载链接：「DeepSeek多模态图像AI所需工具」视频教程https://www.bilibili.com/video/BV11LFCeQEHH安装第一步安装cuda和anaconda，并创建 python >= 3.9 的环境、环境中还要有git第二步git clone https://github.com/deepseek-ai/Jan

DeepSeek 使用及本地安装教程简介吊打openai chatgpt的国产大预言模型DeepSeek。不用不是中国人！在线版直接使用DeepSeek官网：https://www.deepseek.com/离线版安装下载ollama并安装：Ollama离线安装包使用命令安装deepseek：ollama run deepseek-r1:7b

【Scrapegraph-ai】AI取代爬虫工程师视频教程https://www.bilibili.com/video/BV1QZ421K7fh简介Github地址：Scrapegraph-ai该项目可以使用大预言模型，对目标网站的内容进行爬取。真正做到，无需代码，动动嘴就取代爬虫该项目可以使用ChatGPT等在线大模型（需要api费用），但接下来我会演示如何使用本地大语言模型（无需费用）安装一、安装ollama在 Ollama官网 下载对应安装包，无脑下一步完成安装。二、安

NuGet是什么？为什么.NET项目中会有NuGet？如何使用NuGet程序包？我们了解了：NuGet是什么？为什么.NET项目中会有NuGet？如何使用NuGet程序包？特别的，文中学习了如何安装基于微软官方托管(nuget.org)的共享NuGet包。那现在有人可能会问了：“我的程序集是个人或公司内部的，如果以都发布到nuget.org托管，那么不是所有都能下载和引用了吗？有没有可能把个人或公司内部的程序集上传到一个私有的NuGet服务器，只让部分开发者可以访问呢？”答案是肯定的，你想到的别

在.NET应用程序编程开发中，开发者通常使用类库来管理、维护属于同一分类的程序代码，以便代码的重用。一般情况下，处于同一类库的所有类都位于同一程序集。这些类库被编译器编译后会生成扩展名为.dll的动态链接库文件，你可以在其它项目中通过引用的方式导入这些.dll程序集并使用其中被封装的类及成员。但随着项目越来越大、越来越多，使用手动引用.dll动态链接库的方式让程序包管理和维护变得非常困难。在这种情况下，NuGet程序包管理工具便应运而生。NuGet程序包就好比前端开发中的npm包，Java开发中

deepseek 是预训练的大型语言模型，简称LLM。在deepseek的基础上训练通常是指在其上进行微调。微调过程涉及准备数据集、设置训练环境、使用 Hugging Face Transformers 库进行微调，并评估模型微调后的能力。模型微调用到的技术有 Unsloth 或 LoRA。训练环境准备安装必要的库，如 Hugging Face Transformers 和 PyTorch。用于微调的服务器需要有GPU。国内能买到的GPU有 Tesla H100、H800、V100sGPU 价格

DeepSeek从春节一直火到现在，我除了看各种报道资料向大家学习之外，也一直考虑着能拿手头什么样的硬件配置玩一下：）今天我要分享的结论很简单。当然除了下表之外，还想补充点经验给大家参考——包括我自己的，也包括来自同行友人的。测试模型DeepSeek-R1-UD-IQ1_S（671B，Dynamic 1.58-bit）OSUbuntu 24.01 LTSCPUAMD EPYC 8534P（64核，SP6，Zen4c）内存6通道192GB DDR5-48004通道256GBToken/s

目录环境准备配置步骤一、配置 GPU 云服务器二、安装 conda三、显卡驱动安装四、vllm 安装五、大模型下载与运行客户端调用测试环境准备1. anaconda2. python 环境3. VLLM（注：只可运行在Linux系统中）4. 云服务器或本地物理服务器；（本文以云服务器部署为例）配置步骤一、配置 GPU 云服务器1.购买云服务器 GPU 计算型根据实际需要选择等待实例初始化2.在本地电脑使用 ssh 连接服务器这里我使用私钥进行连接二、安装

Cherry Studio：开源AI客户端，使用DeepSeek提升效率神器介绍一下Cherry Studio的相关使用。Cherry Studio的介绍Cherry Studio是一个开源的支持多模型服务的桌面AI客户端，为专业用户而打造。集成了超过 300 多个大语言模型，内置 30 多个行业的智能助手，帮助用户在多种场景下提升工作效率。支持macOS、Windows、Linux。提供了丰富的功能，如：对话、智能体、绘画、翻译、知识库等功能在Cherry Studio中使用硅基流动Cherr

Cherry Studio：开源AI客户端，通过第三方客户端的方式来使用DeepSeek。来解决DeepSeek官方经常出现的“服务器繁忙”的问题。 但是还是存在两个问题需要解决：客户端只能在Mac、Windows、Linux上用，手机使用不方便还不支持联网搜索功能。在Ollama本地模型部署社区工具中Open WebUI是一个开源浏览器前端界面项目，支持联网搜索。我们可以通过它来使用DeepSeek的的联网功能。Open WebUI 是什么？Open WebUI 是一个开源的、可扩展、功能丰富