13
2025
02
五大AI工具让你在本地运行大语言模型(LLM)
五大AI工具让你在本地运行大语言模型(LLM)目录简介1. GP4ALL - 免费、本地运行、尊重隐私的聊天机器人2. JAN AI - 革命性的AI工具,携带在手中3. Anything LLM - 全面的AI助手4. LM Studio - 将LLM模型带到自己的计算机上5. ollama - 拥有先进语言模型(Llama 3、Mistral、Gemma)的平台总结简介近年来,大语言模型(LLM)在人工智能领域获得了广泛关注。它们有助于完成各种任务,包括写作、翻译、摘要等。然而,由于运行这些
作者:hqy | 分类:编程&AI | 浏览:229 | 评论:0
13
2025
02
超好用的 AI 智能助手 -- Open WebUI
超好用的 AI 智能助手 -- Open WebUIOpen WebUI 是一款功能强大的 AI 智能助手,不仅支持语音输入输出,上传文件,个人知识库,在线展示 Mermaid,还支持联网查询等诸多功能。如果你有本地运行大语言模型的需求,Open WebUI 会是个很不错的选择。安装 Open WebUI目前有两种安装 Open WebUI 的方式。01Docker 安装如果你已经安装过 Docker 的话,运行如下命令即可安装 Open WebUI:docker run -
作者:hqy | 分类:编程&AI | 浏览:490 | 评论:0
13
2025
02
快速构建私有知识库,让专属AI助手理解你的全部文档,文末AnythingLLM + DeepSeek实战
日常工作中,我们经常需要处理大量文档和资料:• 产品文档、技术文档散落在各处,查找费时费力• 新人入职培训需要反复讲解相同的内容• 客户咨询的问题高度重复,但每次都要人工回答• 公司内部知识难以沉淀和复用• 各类参考资料缺乏统一管理和快速检索的方案传统的文档管理系统只能按目录存储和搜索关键词,而商业AI助手又无法导入私有数据。这时,一个能将文档智能化并支持对话的系统就显得尤为重要。AnythingLLM正是为解决这些痛点而生。核心功能详解1. 灵活的文档处理能力AnythingLLM支持处理多种
作者:hqy | 分类:编程&AI | 浏览:259 | 评论:0
13
2025
02
DeepSeek + AnythingLLM 简单三步搭建个人知识库
你想过和自己聊天吗?你想通过对话的方式读一本书,或看一篇几万字的论文吗?如果你有以下需求之一:1. 想将自己积累了很久的笔记整合起来,方便自己分析。2. 想建立自己的素材库。3. 你(或你的孩子)想通过对话聊天的方式学习新知识。那么建议你跟着这篇教程,赶紧搭建一套个人知识库,来快速检自己想要的信息。主流的个人知识库软件有 AnythingLLM、Dify、Cherry Studio、MaxKB 等。产品Github 关注数 使用方式知识库说明官网地址Dify64.7kweb支持 Not
作者:hqy | 分类:编程&AI | 浏览:395 | 评论:0
13
2025
02
Cherry Studio 搭建个人知识库
Cherry Studio 搭建个人知识库推荐一款非常适合我们国人的 AI 助手神器 -- Cherry Studio。这款工具使用简单,自带大量提示词模板,省掉了我们需要针对不同场景优化提示词的时间;还支持生成图片、翻译、搭建个人知识库等诸多功能。总而言之,Cherry Studio 上手简单,功能强大,可以说重新定义了 AI 工具,如果只推荐一款 AI 终端应用的话,那么我推荐它,赶紧用起来吧!!安装 Cherry Studio 打开 Cherry Studio 下载页面
作者:hqy | 分类:编程&AI | 浏览:534 | 评论:0
13
2025
02
实测告诉你:DeepSeek-R1 7B、32B、671B差距有多大?
DeepSeek-R1 7B、32B、671B差距有多大?先说结论,相比“满血版”671B的DeepSeek-R1,蒸馏版差不多就是“牛肉风味肉卷”和“牛肉卷”的差距…最近Deepseek成为了AI圈中最火爆的话题,一方面通过稀疏激活的MoE架构、MLA注意力机制优化及混合专家分配策略等创新手段,实现了高效的训练和推理能力,同时大幅降低了API调用成本,达到了行业领先水平。另一方面,Deepseek更是以7天实现用户数破亿的速度,一举超越了OpenAI的ChatGPT(ChatGPT为2个月)。
作者:hqy | 分类:编程&AI | 浏览:298 | 评论:0
13
2025
02
本地问答系统升级:本地RAG+网络搜索(已开源)
本地问答系统升级:本地RAG+网络搜索(已开源)《无需联网!DeepSeek-R1+本地化 RAG,打造私有智能文档助手》,收到了很多来自私信和评论的项目迭代的需求,针对其中提到的联网检索功能,花了半天时间通过集成 SerpAPI 的搜索 API 完成了本地 RAG+联网搜索的功能测试,已在Github开源。项目地址 https://github.com/weiwill88/Local_Pdf_Chat_RAG/tree/main。这篇向各位介绍下使用方法,以及其中的工程优化尝试,欢迎评论或私信
作者:hqy | 分类:编程&AI | 浏览:266 | 评论:0
13
2025
02
DeepSeek 671B满血服务器价格表
DeepSeek 671B满血服务器价格表浪潮原厂大概价671B 130-140万 不知多少卡,没问70B 35万 8张L2032B 20万 4张L20 H3C 还在打瞌睡没出来价格表,只是发了一张图说有,等我叼一下他们的PM过几天就有了光有模型不够,要有用应用,应用还没有太多,做自动驾驶和人工智能的公司上手的比较快,抖音上全是一帮没脑子的家伙照着稿子念蹭流量,瞎逼逼说怎么样要上就上满血版的,其它的玩玩就好了
作者:hqy | 分类:编程&AI | 浏览:423 | 评论:0
13
2025
02
无代码游戏制作工具 RPG Maker VX Ace(RMVA) 在 Steam 限免
RPG Maker VX Ace(RMVA) 是一款面向初学者的游戏开发工具,无需编程知识就能制作出完整的角色扮演游戏。它提供了直观的点击式界面,包含地图编辑器、数据库系统和事件编辑器等核心功能。目前在 Steam 限免。RPG Maker VX Ace (RMVA) 是 Enterbrain 开发的 RPG Maker 系列的第五代,RGSS 系列第三代。RMVA 允许没有编程经验的普通用户轻松制作出 RPG 游戏,创作的游戏可以在没有安装 RPG Maker VX Ace 的计算机上运行。总
作者:hqy | 分类:编程&AI | 浏览:219 | 评论:0
12
2025
02
使用androidndk 编译Openconnect
1.在open connect官网获取源码,目前有四个版本,我选择的是第三个版本open connect的git clone https://gitlab.com/openconnect 2.进入android/makefile将NDK的路径修改为本地路径3.获取对应的ndk (android-ndk-r16b)4.将ARCH修改为arm645.在Android下执行make此事会遇到有的库下载不下来的情况,有可能跟源有关;如果依赖库都下载下来了,将每一个依赖库进行配置:./confi
作者:hqy | 分类:编程&AI | 浏览:278 | 评论:0
12
2025
02
AI平权!清华团队发布AI加速神器,单卡双U轻松驾驭671B大模型!
全民大炼AI的时代来了!运行Deepseek R1/V3的满血Q4_K_M 版本,仅需 14GB 显存和 382GB 内存。清华大学的kvcache.ai团队发布的ktransformer大模型加载框架v0.3 Preview,提升本地加载满血deepseek 671b的运行效率。预填充速度性能指标27.79 倍于llama.cppcpu数tokens/s备注32 核54.212×32 核74.362255.26 基于优化的 AMX 混合专家内核,仅 V0.3 版本286.55选择性使
作者:hqy | 分类:编程&AI | 浏览:758 | 评论:0
11
2025
02
DeepSeek嵌入到Excel,提升10倍工作效率
能将DeepSeek嵌入到Excel吗?当然可以了,我们需要借助VBA代码来实现,以下的代码都是由DeepSeek自动生成的,我们还需要调用DeepSeek的API,实现在A1单元格中输入数据,然后点击按钮执行,在B1单元格中输出结果的效果,我们来看下具体怎么做的一、获取API首先我们需要获取DeepSeek的API,只需来到官网,右上角点击【API开放平台】,然后在右侧找到【API keys】然后在中间点击【API keys】,就会显示窗口,我们需要为其设置一个名字,然后复制下API,等下需要
作者:hqy | 分类:编程&AI | 浏览:222 | 评论:0
11
2025
02
基于Ubuntu Ollama 部署 DeepSeek-R1:32B 聊天大模型(附带流式接口调用示例)
最近 DeepSeek出来了,很火,说是能跟ChatGpt o1 媲美,结果,用了DeepSeek的官方服务,提示“服务器繁忙 请稍后再试。”,我就想,算了,自己部署个吧。我这个是基于docker部署的,首先要docker 支持 显卡,这样才会跑的更快,基于CPU 还是比较卡的,耗费的内存也比较多。部署非常方便,除了下载很慢,基本都是环境问题,环境解决完就没啥大问题。服务器基础资源这就来个服务器部署,目前服务器资源大致如下:操作系统 : Ubuntu 24.04显卡:Tesla P100-PCI
作者:hqy | 分类:编程&AI | 浏览:464 | 评论:0
11
2025
02
如何给本地部署的 DeepSeek-R1投喂数据
随着人工智能技术的飞速发展,越来越多的人开始探索如何利用 AI 工具提升工作效率和个人知识管理水平。在众多开源AI模型中,DeepSeek-R1 凭借其强大的本地部署能力和多功能性脱颖而出。结合 AnythingLLM 这一功能强大的文档处理工具,我们可以轻松搭建一个属于自己的个性化 AI 知识管理系统。一、什么是 DeepSeek-R1?DeepSeek-R1 是一款基于深度学习的开源 AI 模型,默认支持文本生成、对话交互等多种任务。与依赖云服务的大模型相比,DeepSeek-R1 具有以下
作者:hqy | 分类:编程&AI | 浏览:213 | 评论:0
11
2025
02
对本地部署的 DeepSeek 正确投喂方式
当 DeepSeek-R1 在本地成功部署那一刻,兴奋与激动如潮水般涌上心头,迫不及待地开启与它的热烈对话,话题一个接一个,畅聊不停。出于探索的热情,还按照自己的思路给它共享了不少知识,它也能依此精准切入,给出令人满意的答案。可谁能想到,第二天再聊,它竟像失忆一般,昨天共享的数据全然没了印象,一切又回到最初状态。在 AI 的奇妙世界里,其记忆机制别有一番特点。以 DeepSeek、GPT 为代表的大多数 AI 模型,默认无状态,无持久化记忆。每次对话都是全新开场,不会记住上一次聊了啥。单次会话中
作者:hqy | 分类:编程&AI | 浏览:287 | 评论:0
11
2025
02
一款高性能、完全开源免费的人力资源管理系统
项目介绍 iBizEHR是一款高性能、全面开源、免费(MIT License开源协议)的人力资源管理系统,iBizEHR依托iBiz生产体系,不仅提供源码开放,更可提供EHR全面的业务模型,包括每一个数据实体、每一个服务设计、每一个页面UI、每一个流程模型,源码和业务模型完全对应。本系统100%开源,遵守MIT协议。 项目功能 六大模块:人力资源规划、员工关系管理、招聘与配置、培训与开发、绩效管理、薪酬福利管理。通过对人力资源的分析、规划、实施和调整,最大化企业人力资源的价值,助力企业发展。 开
作者:hqy | 分类:编程&AI | 浏览:233 | 评论:0
11
2025
02
DeepSeek本地部署及局域网共享使用
本文仅供学习使用,首先你得有N卡,检查一下你的电脑是否有N卡,有就继续往下看,没有就回家吧孩子,回家吧!开个玩笑,我们可以白嫖好兄弟的呀。本次环境内存:32G显卡: GTX 3060 6G windows11配置要求本次部署8b,因为小下载快,只有5g。如果配置跟得上推荐使用32B的模型, 基本上可以达到原版9成水平本地部署下载ollamaollama是一个开源的人工智能框架,旨在为开发者提供一个灵活、高效的工具,可以轻松将大语言模型集成到自己的应用中。访问:&
作者:hqy | 分类:编程&AI | 浏览:295 | 评论:0
11
2025
02
百元显卡 P106 “大战” DeepSeek R1 7B/8B 大模型
前言最近 DeepSeek 非常火爆,和 22 年 ChatGPT 横空出世一样,官方的服务器动不动就会“服务器繁忙,请稍后再试”。但和 ChatGPT 不同的是,DeepSeek 的官方 API 价格便宜,并且开源模型权重,允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。这也就意味着在官方网站或者 API 繁忙时,我们还可以使用第三方的 API,甚至是本地运行蒸馏后的模型来运行 DeepSeek R1。对于习惯使用 API 的用户,最近 DeepSeek 官方暂停了
作者:hqy | 分类:编程&AI | 浏览:589 | 评论:0
11
2025
02
基于DeepSeek的本地化知识库 RAGFlow 搭建(附带镜像链接)
DeepSeek部署完后,除了正常的聊天使用,实际上更想基于它做一些更符合预期的事情,比如基于某些事实或者数据,能给我推理出来相关的结果或者尽量限制在某一部分进行回答,这个比较突出的表现方式就是知识库,其中,最新最新出来的开源 RAGFlow 很不错,这就部署出来瞅一下。当然,DeepSeek的部署就需要参考《基于Ubuntu Ollama 部署 DeepSeek-R132B 聊天大模型(附带流式接口调用示例)》这篇文章了。RAGFlow简单介绍下它,RAGFlow 是一款基于深度文档理解构建的
作者:hqy | 分类:编程&AI | 浏览:758 | 评论:0
11
2025
02
OpenWebUI+Ollama部署教程命令和网址 *
Ollama官方网址视频00:35精准空降:https://www.bilibili.com/video/BV1b8mVY2EZj?t=34.3https://ollama.com下载安装开源模型视频01:40精准空降:https://www.bilibili.com/video/BV1b8mVY2EZj?t=98.1ollama run gemma2其中gemma2可以换成其它模型,例如Qwen2.5:ollama run qwen2.5可以选择的模型在
作者:hqy | 分类:编程&AI | 浏览:228 | 评论:0