去年在智谱实习的时候，后面搜索的大哥应该用的是bing

感觉秘塔的引擎会全一点？搜到的内容更多，有好多文件也能搜出来

还有这个https://mp.weixin.qq.com/s?__biz=MzU0NDk4OTk2Mg==&mid=2247484435&idx=1&sn=db57229886f140cd826af37ad7a58348&chksm=fa6141b03a1d3e6f8d860848d48dc5d1de430305d377bd275f8e6c2e39860fc6e7c65f7cff2a&sessionid=1740646108&scene=126&subscene=0&clicktime=1740646124&enterid=1740646124&ascene=3&fasttmpl_type=0&fasttmpl_fullversion=7621112-zh_CN-zip&fasttmpl_flag=0&realreporttime=1740646124901&devicetype=android-33&version=2800373d&nettype=cbnet&abtest_cookie=AAACAA%3D%3D&lang=zh_CN&session_us=gh_8e9084e4d728&countrycode=CN&exportkey=n_ChQIAhIQJXsl4Pza0Ur4GUOSWs2yOxLxAQIE97dBBAEAAAAAAMdLM%2FpwEL0AAAAOpnltbLcz9gKNyK89dVj0TMjJsAA4bl7R3n91r%2FpUCq2Qu6jLzAwADHVVN8cBiSBmmtMSbERw2HGP3NzP%2BMusCj%2B5Rnvqy%2FryRa2mwy8QiwmWlStaTBiRHC8WLorS4fwQmT5Pn7kmkeqQoqnOE3RTT0q4kC%2FRK1PR35UfKdrNcaaHaHRW6dMs5t8PW1iBZ4EOaZ090hGTP8QgVPcHFpGOZAveHBwkabazOH6%2B5llvlVEXmTFks9oHVzzP4Yao57%2FLckLNWYgLfOq7m53zPhsbhydyHRdf0j9LZrw%3D&pass_ticket=jUfhKSiVg9ApJVexULQJcfQcyxmTeF3fiPbXAgDgwdwNExV%2Bb5yvqq0RsK0OempJ&wx_header=3

mp.weixin.qq.com

不可能自建爬虫的，太贵了。
都是用一些搜索接口，用Bing的，或者Brave.com/search/api/

好问题 Google和bing有2b的服务提供 但好像要求绑定他们的cloud

mfer #1627

DeepSeek 说的：

当前各大AI厂商的「联网搜索」技术实现方式主要分为三类，以下是详细解析：

1. 自建搜索引擎体系（头部厂商专属）

典型案例：Google Gemini、Microsoft Copilot

技术特点：

直接调用现有搜索引擎基础设施（Google Search/Bing）

深度融合搜索索引与AI模型，实现毫秒级响应

拥有PB级网页索引库，支持多语言/多模态检索

部署分布式爬虫集群（日均抓取量可达数十亿页面）

采用动态渲染技术应对SPA等现代网页框架

2. 第三方API集成（主流解决方案）

典型用户：ChatGPT（Bing API）、Claude（混合方案）

技术实现：

付费调用Bing Search API（$7/千次请求）或Google Programmable Search

结合SerpApi/ScrapingBee等代理服务规避反爬机制

采用结果后处理技术：去重/质量过滤/时效性分级

缓存机制优化（热点数据TTL动态调整）

3. 混合架构（平衡成本与覆盖率）

创新实践：Perplexity、You.com

架构设计：

核心数据层：自建垂直领域爬虫（医疗/学术等）

通用搜索层：聚合多个搜索引擎API结果

实时索引系统：对高频更新源（社交媒体/新闻）实施增量抓取

部署边缘计算节点实现地域化内容优化

技术演进趋势：

动态渲染技术：采用无头浏览器集群（Headless Chrome + Puppeteer）

AI增强型爬虫：使用LLM解析页面语义结构，突破传统XPath/CSS选择器限制

合规性增强：基于robots.txt的智能限速策略，GDPR合规数据清洗

联邦式索引：区块链技术实现分布式网页快照存储

成本对比分析：

自建系统初期投入：$5M+（服务器集群+带宽+存储）

API方案边际成本：$0.005-0.03/次查询

混合架构年运营成本：$1.2-3M（中型规模）

当前行业呈现明显的马太效应，头部厂商通过搜索+AI的闭环构建护城河，而创新企业则通过「API组合+垂直爬虫」实现差异化竞争。未来随着W3C推出ML-enhanced crawling标准，可能会催生新的技术范式。

这个问题严谨点来说：

百度的文心和阿里的千问在以前虽然能搜索网页信息，但本质是自建的知识图谱，跟实时那是一点关系都没有。

正儿八经的联网搜索例如 DS 的，就是一个 agent 应用，一定是调用搜索引擎 API 的，不同厂商能操作的空间就在于——如何通过改写、拆解 Query，多次调用搜索引擎，然后总结多角度得到的答案，来实现更好的用户体验。然而这些策略其实是搜索排序算法中玩烂的，甚至是极度阉割版。所谓 RAG 知识库也是搜索算法中类似"相关性排序模块"的一个极度成熟的策略。

现阶段的 AI 应用层的创新都是旧策略的二次组合，就像三体里的应用物理学，说白了就是不那么理想主义的技术。只有模型本身能力的提高才是正儿八经打破智子封锁的基础物理学。

最后，DS 牛逼。

至少在去年年底我研究的时候不是，然而夸克用的也不是千问大模型

好奇一个技术问题：现在各家的「联网搜索」都是用的什么引擎？都是自建的爬虫系统，还是有一些公开的引擎调用？

🎙 播客「三五环」「半拿铁」主播  🤳 产品经理

来自圈子

AI探索站