1 设置 User-agent

Scrapy 官方建议使用 User-Agent 池, 轮流选择其中一个常用浏览器的 User-Agent来作为 User-Agent。scrapy 发起的 http 请求中 headers 部分中 User-Agent 字段的默认值是Scrapy/VERSION ，我们需要修改该字段伪装成浏览器访问网站。无私分享全套Python爬虫干货，如果你也想学习Python，@ 私信小编获取

分布式爬虫系统广泛应用于大型爬虫项目中，面对海量待抓取网页，只有采用分布式架构，才有可能在较短时间内完成一轮抓取工作，这也是分布式爬虫系统的意义所在。今天神龙IP就带大家了解一下大型分布式爬虫~

分布式爬虫可以分为若干个分布式层级，不同的应用可能由其中部分层级构成。大型分布式爬虫主要分为以下3个层级：分布式数据中心、分布式抓取服务器及分布式爬虫程序。

大型爬虫系统一般由多个分布式数据中心共同组成，每个数据中心负责抓取本地区周边的网页。每个数据中心又由多台高速网络连接的抓取服务器构成，而每台服务器又可以部署多个爬虫程序。通过多层级的分布式爬虫体系，保证了抓取数据的及时性和全面性。

很多人不太了解代理ip，以为用了代理IP，爬虫就不会被限制，就可以一直稳定持续工作。然而，现实却是爬虫代理IP经常被封，爬虫工作也被迫中断。那么，爬虫代理IP被封有哪些原因呢，和天启IP一起来看看吧。

一、非高匿代理IP

非高匿代理IP是指透明代理IP和普匿代理IP，透明代理IP会暴露本机真实IP，普匿代理IP会暴露正在使用代理IP，这两者都会暴露，很容易被限制，只有高匿代理IP才是爬虫代理IP的最佳选择。

在爬虫、自动化脚本、跨境账号运营等场景中，一个常见的痛点是：同一个IP请求太多，很容易被封禁。 解决这个问题的常用方法之一，就是使用 动态IP。

今天我们来聊聊动态IP的原理、应用场景，并用Python实战演示如何调用API获取动态代理。

一、什么是动态IP？

一、前言

在 Web 爬虫技术中，Selenium 作为一款强大的浏览器自动化工具，能够模拟真实用户操作，有效应对 JavaScript 渲染、Ajax 加载等复杂场景。而集成代理服务则能够解决 IP 限制、地域访问限制等问题。

爬虫如何使用代理ip解决封禁？

随着大数据时代的到来，很多做爬虫要用到代理IP，爬虫已经成了获取数据的必不可少的方式，在使用爬虫多次爬取同一网站时，经常会被网站的IP反爬虫机制给禁掉，为了解决封禁 IP 的问题，通常会使用以下两种方式：

1、放慢抓取速度，减小对于目标网站造成的压力，但会减少单位时间类的抓取量。

2、使用代理IP，使用代理IP之后可以让爬虫伪装自己的真实 IP。

在跨境数据采集场景中，国外代理IP是突破地域封锁、提升爬虫效率的核心工具。通过合理配置代理IP池与反反爬策略，可实现、稳定的数据抓取。

一、代理IP选择策略：质量、成本与场景的平衡

昨天跟大家一起写了个helloworld版本的MCP Server，介绍大语言模型是怎么通过MCP调用到写的函数和工具的。当时我说了MCP就是对open AI最先提出的function calling的标准化，但是不少朋友对function calling本身可能不是很熟悉，所以误以为大语言模型是直接调用到的外部工具。

事实上并非如此，函数其实由自己写的代码来调用的，大语言模型只是训练成知道什么时候应该调用外部的函数而已。当代码检测到大语言模型说要调用外部的工具才能继续回答的问题，就会去调用外部的工具，获得工具执行后的内容，再一股脑的发给大语言模型继续帮我们进行后续的作答，来获得最终的答案。

在 C++ 编程中，我们经常会遇到需要编写独立于其操作类型（包括不同函数类型和变量类型）的情况（类似于C语言中的回调函数，但是能适配任意类型）。这时，类型擦除 (Type Erasure) 就派上用场了，它让我们能够以统一的方式处理各种类型。本文将探讨类型擦除的定义、工作原理，并提供实现 std::function 和 std::any 的示例。

定义

A callback is a function that is passed as an argument to another function and is executed after its parent function has completed

回调函数就是一个函数，将这个函数作为参数传到另一个函数里面，当那个函数执行完之后，再执行传进去的这个函数。这个过程就叫做回调。