HQY 一个和谐有爱的空间

开源！基于DeepSeek的本地化企业内部知识库和工作流平台， 允许商业化源代码http://www.gitpp.com/sciences/deepseek-localweb-ragDeepSeek本地知识管理平台：全面、安全、高效的智能解决方案在当前数字化和信息化的浪潮中，企业和机构对于高效、安全的知识管理和智能服务需求日益增长。DeepSeek本地知识管理平台应运而生，它基于DeepSeek这一开源且性能卓越的大模型，旨在为企业和机构提供一套功能全面、安全高效的智能解决方案。一、文档智能功能

Pascal架构GPU在vllm下的模型推理优化ChatGPT生成的文章摘要这篇博客记录了作者在家中使用Pascal显卡运行大型模型时遇到的挑战和解决方案。随着本地大型模型性能的提升，作者选择使用vllm库进行推理。然而，作者遇到了多个技术难题，需要自行编译vllm和PyTorch，以支持Pascal架构的显卡。编译过程中，作者深入研究了显卡不支持的问题，特别是在量化矩阵乘法计算中发现性能瓶颈。最终，解决了性能问题，让性能提升了43倍。这次技术探索不仅解决了具体问题，还为作者提供了深入学习和扩展

0x01 传统Pcie与NVLink1. PCIe（Peripheral Component Interconnect Express）：它是一种计算机总线标准，用于在计算机内部连接各种设备和组件（例如显卡、存储设备、扩展卡等）。PCIe接口以串行方式传输数据，具有较高的通信带宽，适用于连接各种设备。然而，由于其基于总线结构，同时连接多个设备时可能会受到带宽的限制。2. NVLink（Nvidia Link）：它是由NVIDIA开发的一种高速、低延迟的专有连接技术，主要用于连接NVIDIA图形处

在人工智能和大型语言模型（LLMs）领域，Ollama作为一款专注于简化大型语言模型在本地部署和运行的开源框架，受到了广泛关注。然而，Ollama并非唯一的选择，市场上还有许多其他同类型的工具，为开发者提供了多样化的选项。本文将盘点与Ollama同类型的大模型框架工具，帮助用户更好地了解这一领域的技术生态。一、Ollama框架简介Ollama是一个专注于简化大型语言模型（LLM）在本地部署和运行的开源框架。它支持多种大型语言模型，如Llama 2、Code Llama、Mistral、Gemma

Ollma和vLLM简单对比AI应用开发中最常见两个大模型推理框架Ollama和vLLM. 在应用开发过程中，开发者通常会从多方面进行比较来选定适合的推理框架，尤其是在对接本地大模型时，考虑因素包括本地资源配置，本地安全性要求，成本计算，响应要求等多个方面。下面针对这两个常见框架，做一个简要的对比：Ollama1. 说明：Ollama是一个开源的大模型服务工具，可以让你在不写代码的情况下，在本地通过命令运行需要的大模型。Ollama会根据用户的资源配置，自动选择GPU或CPU运行，运行速度取决于

       这两年是大模型盛行的黄金时代，各大优秀的大模型诸如GPT、LLM、QWen、Deepseek等层出不穷，不断刷新我们的认知；但是大模型都有一个共同的特点，都拥有非常惊人的参数量，小的都有上十亿的参数，大的更是可以有几千亿的参数，这么大的参数量就会带来一个新的问题，就是推理效率不如传统的深度学习模型，再有就是目前的大模型基本上都是基于transformer进行开发的，最大限制上下文token数会导致模型在显存的利用率上会有很大的缺陷，基于此，专

       vLLM 专为高效部署大规模语言模型设计，尤其适合高并发推理场景，关于对vLLM的介绍请看这篇博文。以下从 安装配置、基础推理、高级功能、服务化部署 到 多模态扩展 逐步讲解。 1. 环境安装与配置1.1 硬件要求GPU: 支持 CUDA 11.8 及以上（推荐 NVIDIA A100/H100，RTX 4090 等消费级卡需注意显存限制）显存: 至少 20GB（运行 7B 模型），推荐 40

大模型框架：vLLM目录一、vLLM 介绍二、安装 vLLM2.1 使用 GPU 进行安装2.2 使用CPU进行安装2.3 相关配置三、使用 vLLM3.1 离线推理3.2 适配OpenAI-API的API服务一、vLLM 介绍        vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架。它利用了全新的注意力算法「PagedAttention」，提供易用、快速、便宜的LLM服务。二、安装

https://www.nvidia.cn/data-center/tesla-p100/ NVIDIA Tesla P100世界首款 AI 超级计算数据中心 GPU超强计算能力助力现代数据中心当今的数据中心有赖于大量互连的通用计算节点，这限制了高性能计算 (HPC) 和超大规模工作负载。NVIDIA® Tesla® P100 运用 NVIDIA Pascal™ GPU 架构提供统一的平台，以加速 HPC 和 AI 发展，大幅提升吞吐量，同时降低成本。应用

随着 AI 技术的飞速发展，大模型的参数量已经从亿级跃升至万亿级，这一变化不仅标志着 AI 的显著提升，也对支持这些庞大模型训练的底层硬件和网络架构提出了前所未有的挑战。为了有效地训练这些复杂的模型，需要依赖于大规模的 GPU 服务器集群，它们通过高速网络相互连接，以便进行快速、高效的数据交换。但是，即便是最先进的 GPU 也可能因为网络瓶颈而无法充分发挥其计算潜力，导致整个算力集群的性能大打折扣。这一现象凸显了在构建大规模 GPU 集群时，仅仅增加 GPU 数量并不能线性增加集群的总体算力。相

PVE下ubuntu22.04部署Stable Diffusion教程(使用NVIDIA P100显卡)可能有很多人和我有同样的想法，想把Stable Diffusion部署到Ubuntu等Linux服务器上，然后开放端口到外网，这样就可以在任何有网络的地方来进行访问，不必局限于在家的局域网内。下面咱们就用嘴简单的方式进行部署一下。一、下载Stable DiffusionB站大佬秋葉aaaki的Stable Diffusion版本，不但可以在Windows11上部署，在Ubuntu22.04上也

我本运维，却用Cursor为公司开发了两套系统距离第一次给大家介绍这款编辑器，已经过去两年了，不知道大家有没有用起来呢？基于ChatGPT 的自动编程工具-cursor新体验cursor近期又发布了新功能，所以，再次推荐给大家使用。它不仅能帮你自动生成代码，还能像其他大模型一样，用于日常提问聊天。什么是Cursor？Cursor是一款基于AI的代码编辑器，内置了GPT-4、Claude等先进的大语言模型，能够通过自然语言指令生成、修改和优化代码。它基于VSCode开发，界面和操作方式与VSCod

开源deepseek 自动生成PPT系统 前后端都开源deepseek 自动生成PPT系统  前后端都开源、可以私有化部署源代码http://www.gitpp.com/datadi/deepseek2pptdeepseek 自动生成PPT ！！DeepSeek生成PPT，拢共分几步？用这个开源项目，辅助第一步：输入主题第二步：编辑大纲  【DeepSeek自动生成大纲】第三步：选择模板第四步：生成PPT可以私有化部署，赶紧给公司部署一套，董事长都亲自感谢你给公司部

DeepSeek 系列模型（ R1、V3、Coder V2、VL、V2、Coder、Math、LLM 等）的区别和适用场景        DeepSeek 系列模型包括 R1、V3、Coder V2、VL、V2、Coder、Math、LLM。1. DeepSeek R1定位：早期版本，专注于基础语言理解和生成任务。功能特性：基础语言理解与生成：支持通用文本生成、对话和问答任务。轻量化设计：适合资源受限的场景

别被 “一键部署” 骗了！使用Ollama本地部署DeepSeek 避坑指南最近最火的莫过于DeepSeek，现在网上关于 AI 模型部署的文章一抓一大把，动不动就是 “一键部署，轻松上手”、“30 分钟搭好一个本地能跑起来的大模型”。可现实是，当你真上手用 Ollama 搭建 DeepSeek 模型时，那简直就是踩坑大冒险！今天咱就来好好唠唠那些坑，帮你顺利搭建属于自己的 DeepSeek。Ollama 是什么Ollama 则是咱们搭建模型的得力助手，它就像是一个智能的建筑工人，能够帮助我们快

DeepSeek + Dify + SearXNG本地人工智能知识库引入搜索引擎SearXNG 是一款功能强大的免费互联网元搜索引擎，能够聚合多个搜索引擎的资源并整合搜索结果。关键一点是用户不会被跟踪，搜索行为也不会被分析。Dify 已内置了与 SearXNG 的对接功能，使您可以直接通过 Dify 平台调用其服务。一、SearXNG 与 Dify 结合1.1 使用 Docker 安装 SearXNG 容器终端中执行命令：docker pull searxng/searxng安装完成后可以自定义

【AI大模型】本地部署Ollama+翻译服务还在因为Google翻译经常死机而感到烦恼吗，还在因为一些软件大段文字翻译拉垮而感到烦躁吗，还在因为一些ai翻译服务付费而感到无力吗！非常浮夸的开头hhh这些天的deepseek杀疯了，到处都是关于deepseek的新闻。deepseek全网参与度如此之高，有一个很大的原因就是他开源了从1.5B-671B的各种大小的量化蒸馏模型，掀起了一阵本地部署大模型的浪潮。（谁不想要一个自己的贾维斯呢～）（虽然现在本地模型离贾维斯还挺远的）这篇文章就是记录一下我的

【AI大模型】Open-WebUI本地大模型+联网搜索部署上篇记录的是ollama本地部署大模型实现翻译的简易版攻略，用的ollama的后台，然后加上自己攒出来的ui界面实现。上篇链接如下https://www.hqyman.cn/post/9066.html这篇记录一下一个非常强大的开源工具Open-webui的部署，通过这个开源软件实现和本地大模型的对话，进一步的还会提到如何设置本地知识库，以及如何设置联网搜索功能。Open-webui简介Open-WebUI是一个可扩展、功能丰富且用户友好

几个开源的  mbti 网站源码GitHub - muzixiaotiao/mbti: 性格测试系统GitHub - vsme/mbti: 在线 MBTI 性格测评，确定自己的性格类型，支持 PC 和移动设备的访问。GitHub - einstein33/nine_style_people: PHP和原生JS实现九型人格在线测试，已有题库评定版144题。https://blog.csdn.net/dreamstone_xiaoqw/article/details/83903609

常见本地大模型知识库工具LLM knowledge base这里先盘点一下最近比较火爆的几个工具，将从知识库侧和大模型侧分别介绍。0 1知识库侧知识库侧主要是指更加偏向于能够直接读取文档并处理大量信息资源，包括文档上传、自动抓取在线文档，然后进行文本的自动分割、向量化处理，以及实现本地检索增强生成（RAG）等功能的工具，近期较为热门的主要包括：AnythingLLM、MaxKB、RAGFlow、FastGPT、Dify 、 Open WebUI 这六种。0 1Any