30
2025
04
Navicat 批量插入的三种方式
最近,我写了一个 node.js 脚本,每天要循环访问数百万个文件,并将其内容插入 MySQL 数据库。该脚本不是一次处理一条记录,而是将文件内容存储在内存中,然后每 1000 个文件运行一次 INSERT 语句。为此,我使用了 INSERT 语句的批量插入形式。你可以根据你的特定要求选择使用其他解决方案。在今天的文章中,我们将介绍一些替代方案。批量插入的 INSERT 语句变体INSERT 语句支持多种语法变体,其中之一是用于同时插入多行。为此,我们只需要将每个值列表括在括号中并使用逗号将它们
作者:hqy | 分类:SQL | 浏览:15 | 评论:0
30
2025
04
30
2025
04
为什么不锈钢还会生锈?
不锈钢的种类有很多,比如铁素体不锈钢、奥氏体不锈钢、马氏体不锈钢,还有双相不锈钢、沉淀硬化不锈钢等等,如下图所示。不锈钢之所以能够做到不生效主要是因为其含有不低于12%的铬(Cr)元素,这个从上图中也能看得出来。表面的铬会和空气中的氧气发生反应生成一层氧化铬(Cr₂O₃)钝化膜。这层钝化膜非常薄但很致密,能够隔离金属与外界介质,防止化学作用的发生,从而保护金属不被腐蚀。即便不锈钢的表面受到了机械损伤或者化学侵蚀,氧化铬钝化膜也能自我修复。只要存在足够的氧气,不锈钢表面的铬元素仍能继续与氧气反应,
作者:hqy | 分类:技术文章 | 浏览:436 | 评论:0
30
2025
04
SEO:屏蔽流氓蜘蛛抓取
解决屏蔽流氓蜘蛛抓取,如MJ12bot 、DotBot 、BLEXBot 、PetalBot 、DataForSeoBot1、robots文件屏蔽User-agent: MJ12botDisallow: /User-agent:DotBotDisallow: /User-agent:BLEXBotDisallow: /User-agent:PetalBotDisallow: /User-agent:DataForSeoBotDisallow: /2、Nginx等服务器规则屏蔽if ($http_
作者:hqy | 分类:SEO | 浏览:14 | 评论:0
30
2025
04
DataForSeoBot是什么蜘蛛 爬虫,怎么屏蔽
官网宣称DataForSeoBot爬虫支持robots.txt协议,但其实这货不怎么守规矩,robots.txt禁止以后,还爬的飞起。所以建议需要屏蔽这个蜘蛛的,两手抓:1、robots.txt协议禁止爬取User-agent: DataForSeoBot
Disallow: /2、通过修改Nginx或其它WEB服务器规则禁止抓取if ($http_user_agent ~* "DataForSeoBot/1.0"
作者:hqy | 分类:技术文章 | 浏览:15 | 评论:0
30
2025
04
解决屏蔽流氓蜘蛛抓取,如MJ12bot 、DotBot 、BLEXBot 、PetalBot 、DataForSeoBot
解决屏蔽流氓蜘蛛抓取,如MJ12bot 、DotBot 、BLEXBot 、PetalBot 、DataForSeoBot碰到这些流氓蜘蛛直接双屏蔽,不要相信他们会准守robots协议(不要太天真了)1、robots文件屏蔽User-agent: MJ12botDisallow: /User-agent:DotBotDisallow: /User-agent:BLEXBotDisallow: /User-agent:PetalBotDisallow: /User-agent:DataForSeo
作者:hqy | 分类:SEO | 浏览:14 | 评论:0
30
2025
04
浏览器代理插件Proxy SwitchyOmega安装与使用
Proxy SwitchyOmega轻松快捷地管理和切换多个代理设置。安装SwitchyOmega谷歌商店:https://chromewebstore.google.com/detail/proxy-switchyomega/padekgcemlokbadohgkifijomclgjgif备用下载地址:https://github.com/FelisCatus/SwitchyOmega/releases官网下载地址:https://switchyomega.org/switchyomega-d
作者:hqy | 分类:vpn | 浏览:14 | 评论:0
30
2025
04
身份证/手机号解析服务
简介本篇文章是风控系统之数据服务,名单、标签、IP、设备、地理信息、征信等的扩展。既然是上篇文章的扩展,自然离不开风控系统的主题。身份证和手机号解析作为风控事件接入的靠前的步骤是重要的数据处理过程,也是相对最简单的处理过程(与IP、GPS解析相比的话)。Hutool.IdcardUtil身份证工具-IdcardUtil | HutoolHutool的IdcardUtil现在支持大陆15位、18位身份证,港澳台10位身份证。工具中主要的方法包括:1isValidCard验证身份证是否合法2conv
作者:hqy | 分类:技术文章 | 浏览:14 | 评论:0
30
2025
04
IP/GPS解析服务,ip2region,逆地理编码
IP/GPS解析服务,ip2region,逆地理编码简介放在前面,怕有些人看不下去错过,整合了身份证/手机号/IP/GPS解析的工具将在下一篇文章推出,并将全部数据和代码放在Github和Gitee上。接着前一篇的的身份证/手机号解析服务,其四者难度对比是这样的,身份证 < 手机号 < IP < GPS。也比较好理解,毕竟是从点到线再到面,难度可想而知。GPS用词可能不当,我还是解释一下,这里的意思是指通过经纬度解析到行政区划/地理信息,也可以讲是
作者:hqy | 分类:技术文章 | 浏览:22 | 评论:0
30
2025
04
使用 ip2region 获取用户的 IP 归属地
目录1. ip2region 简介2. 使用步骤2.3.1 获取 IP 地址2.3.2 根据 IP 地址获取 IP 归属地2.3.3 完整代码2.1 下载资源2.2 引入依赖2.3 编写工具类2.4 结果测试1. ip2region 简介ip2region 是一个离线IP地址定位库和IP定位数据管理框架,能实现10微秒级别的查询效率,提供了众多主流编程语言的xdb数据生成和查询客户端实现。每个 ip 数据段的 region 信息都固定了格式:国家|区域|省份|城市|ISP,只有中国的数据绝大部分
作者:hqy | 分类:技术文章 | 浏览:17 | 评论:0
30
2025
04
网市场云建站系统 支持多种平台
系统简介私有化部署自己的 SAAS 云建站系统,跟可通过后台任意开通多个网站,每个网站使用自己的账号进行独立管理。延续了织梦、帝国 CMS 的模版方式,性能高度优化,一台 1 核 1G 服务器可建立上万个独立网站。网站使用方面,有模版页面、模版变量、栏目绑定模版、内容管理等,用过帝国、织梦的,可快速使用!核心理念将成本(服务器、技术人员、网站制作、后续运维)降到最低,使(建站公司)利润最大化!AI-SEO 版本发布 - 2024.7.24SEO专用版本点此查看,全自动写文章每天写万篇并自动转化多
作者:hqy | 分类:SEO | 浏览:16 | 评论:0
30
2025
04
templatespider 免费开源下载网站模板工具
所见网站,皆可为我所用-templatespider看好哪个网站,指定好URL,自动扒下来做成 html模版。并且所下载的css、js、图片、html文件会自动分好类保存到特定文件夹! 然后使用 模版计算工具,自动将 html模版计算合成为 网市场云建站系统 可用的模版。项目最初目的为 网市场云建站系统(CMS建站系统) 因模版量少而做。用了之前写的 xnx3 ,以及 Jsoup 。软件下载支持Windows、Mac、Linux等系统。
作者:hqy | 分类:VPS | 浏览:15 | 评论:0
30
2025
04
发现一个比宝塔更牛逼的工具
web版直连ssh,并且输出桌面操作服务器。分享一下:https://web.gmssh.com 东西是好东西,你能连别人也能,要是后台悄悄记录你的登录信息乐子就大了,安全第一
作者:hqy | 分类:技术文章 | 浏览:13 | 评论:0
30
2025
04
30
2025
04
字节跳动的搜索爬虫为何如此野蛮凶猛?
面对对手们加筑的越来越高的内容壁垒,字节跳动对内容的焦虑似乎更强烈,直接反映在了搜索爬虫凌厉的抓取上。 文|《中国企业家》记者 赵东山 编辑|刘宇翔 头图制作|肖丽 当看到字节跳动要做全网搜索的新闻时,王东一点都不感到惊讶。因为早在头条搜索正式上线半个多月前,王东所在公司的网站就饱受一个名为“bytespider”爬虫的侵扰。 王东在一家第三方信息评估平台做SEO(搜索引擎优化),今年7月份,他突然发现公司的网站经常性打不开,网页加载极其缓慢,有时甚至直接瘫痪。经过一系列
作者:hqy | 分类:SEO | 浏览:12 | 评论:0
30
2025
04
蜘蛛ClaudeBot 大量访问导致服务器瘫痪,Claude团队引众怒,为爬数据不择手段,给爬虫改名字无视禁止规则
最近这段时间,发现服务器经常出现如下错误:Service UnavailableThe server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.复制代码排查后发现是AI蜘蛛ClaudeBot大量访问导致,将其屏蔽后正常。ClaudeBot,一个二三流的AI,看来老外做事也一个德行
作者:hqy | 分类:SEO | 浏览:10 | 评论:0
30
2025
04
apache、iis规则屏蔽拦截ClaudeBot等蜘蛛爬虫抓取网页
如果是正常的搜索引擎蜘蛛访问,不建议对蜘蛛进行禁止,否则网站在百度等搜索引擎中的收录和排名将会丢失,造成客户流失等损失。但也有大量人工智能模型会爬取你的网页,这些就很没必要了,此时需要屏蔽这些蜘蛛爬虫访问。Linux下规则文件.htaccess(手工创建.htaccess文件到站点根目录)<IfModule mod_rewrite.c>
RewriteEngine On
#Block spider
RewriteCond %{HTTP_U
作者:hqy | 分类:技术文章 | 浏览:11 | 评论:0
30
2025
04
SQLynx:一款强大的跨平台数据库管理软件
SQLynx:一款基于Web的强大SQL编辑器SQLynx,这款原生Web的SQL编辑器,为企业提供了便捷的桌面与Web数据库管理解决方案。它曾以SQL Studio之名问世,后更名为SQLynx,以更好地适应其强大的功能。SQLynx兼容多种主流数据库,包括MySQL、MariaDB、PostgreSQL、SQLite等,以及Hive、Impala和Hadoop等大数据平台。这款软件由北京麦聪软件有限公司精心打造,不仅支持SQL编辑器、表管理和数据库管理等核心功能,还融入了审计等高级特性。个人
作者:hqy | 分类:SQL | 浏览:14 | 评论:0
30
2025
04
新手必看!Dockerfile核心指令详解,让你的镜像更专业
Dockerfile是一个自动化创建Docker镜像步骤的文件。它类似于Makefile,是一个配置文件,描述了组装镜像所采取的步骤,自动化了创建Docker镜像的步骤。要构建镜像,请创建一个名为Dockerfile的文件,Docker可以从Dockerfile读取指令,以自动执行手动创建镜像的步骤。创建Dockerfile后,调用docker build命令,使用包含Dockerfile的目录路径作为参数。语法 INSTRUCTION arguments例如
作者:hqy | 分类:docker | 浏览:21 | 评论:0
30
2025
04
不使用脚本,如何快速部署自定义Netmaker服务?
我们已经了解到Netmaker是一个开源的、用于WireGuard网络管理的控制工具,可以非常快速地组建WireGuard网络,并且能够轻松处理100个以上的并发客户端。通过使用官方自带的nm-quick.sh脚本,可以轻松地在Ubuntu系统上完成软件的搭建,官方推荐的系统是Ubuntu 20.04。(CentOS目前还有点小问题,也可能是我没整明白。)唯一发现缺少的依赖组件是curl,建议提前安装。当然,对于安装结果,必须用域名进行访问这个事情,也是有点意外。官方介绍,他们假设用户希望启用所
作者:hqy | 分类:vpn | 浏览:14 | 评论:0