多模态搜索

——搜索引擎第二生命周期的历史机遇

多模态搜索（Multimodal Search），旨在打破文字、图片、视频、音频等不同信息形式之间的壁垒，让用户能够使用任意一种形式去搜索另一种信息形式。过去搜索引擎主要围绕文本网页建立索引，而互联网中大量存在的视频、图片、音频等非结构化资源，虽然蕴含大量信息，却长期无法像文字一样被有效检索和利用。随着AI技术的发展，多模态理解能力逐渐成熟，这些沉睡在互联网中的数据资源开始具备被提取、整理和搜索的可能。目前，科技巨头已经全面布局多模态搜索领域，众多企业和开源项目也已经开始实践相关技术。

但是，多模态搜索的发展仍然存在几个关键问题。

数据所有权：AI搜索时代的新矛盾

最大的问题，是数据所有权。

传统搜索引擎建立在网页生态之上，通过抓取网页内容、建立索引，为用户提供信息入口，同时也为内容创造者带来流量。但视频和图片资源与传统文本网页不同，当AI能够直接理解视频内容，并将其中的信息提取出来形成知识库时，搜索引擎可能不再只是引导用户访问内容，而是直接对内容进行理解和重组。

例如，一个数小时的视频课程，未来可能被AI直接分析，将其中的知识提取出来，形成可以搜索的信息。用户无需完整观看视频，就能够获取其中的重要内容。这将改变过去互联网的信息流转方式，也会带来新的问题：内容创造者如何获得价值？AI提取的信息是否属于新的知识资产？未来互联网需要怎样的数据授权方式？这些问题目前仍没有成熟答案，但也正因为如此，新的商业模式和基础设施才存在诞生的机会。

巨大的工程和成本挑战：视频理解远比网页索引复杂

第二个问题，是巨大的工程和成本挑战。

视频理解成本比网页索引高出几个数量级。文本信息主要处理字符和语义，而视频分析需要同时处理空间、时间、视觉、语音等多个维度的信息。一个视频并不是简单的信息集合，它包含连续变化的画面、人物动作、声音内容以及隐藏在上下文中的关系。将长达数小时的视频转化为可检索的知识，对算力和存储都是巨大考验。

这也是为什么目前的大厂虽然拥有强大的计算资源，却更多是在已有产品中逐步加入多模态能力，而没有真正重新构建一个独立的多模态搜索生态。

产品形态的“隐性转变”：大厂惯性带来的创新窗口

第三个问题，是产品形态的变化。

目前，大厂实现多模态搜索能力，更多倾向于将其融合到现有搜索产品、视频平台和AI助手中，而不是打造一个独立的多模态搜索引擎。这背后反映的是一种企业惯性。

大型企业通常拥有成熟的商业模式、用户体系和产品生态，因此更倾向于在原有体系内进行优化，而不是主动推翻已有模式，重新构建新的搜索生态。但技术变革往往并不只是对旧产品的持续增强，而可能来自新的企业利用技术变化重新定义产品形态。因此，大厂不愿主动构建独立多模态搜索引擎，反而为创新企业提供了新的历史机遇。

搜索引擎并未终结，而是迎来第二生命周期

过去，人们普遍认为AI问答会取代搜索引擎，搜索引擎的生命周期已经结束。但我认为，这种判断可能是错误的。搜索引擎并非终结，而是新生。

AI时代，搜索引擎的核心竞争力可能不再是“索引已有文本”，而是“创造可搜索的信息层”。过去互联网中大量视频、图片、音频资源虽然存在于数据库中，但由于缺乏有效的信息提取方式，它们实际上处于沉睡状态。多模态搜索的价值，就是激活这些沉睡的数据资源，使其成为新的知识金矿。

这意味着，搜索引擎并不是被AI替代，而是因为AI获得了新的发展空间。

客户端提取：解决多模态搜索成本的新思路

我认为，多模态搜索最大的突破口，可能并不只是依赖企业服务器完成所有数据分析，而是将信息提取能力下放到客户端。

目前，流媒体资源通常需要播放之后才能被理解，如果完全依赖企业服务器对所有视频、图片进行分析，那么随着互联网媒体规模不断扩大，计算成本将非常高。但如果换一种思路，让客户端设备在用户观看视频、浏览图片的过程中，顺带完成信息提取，那么用户消费信息的过程，同时也是搜索索引生成的过程。

这可能改变未来搜索引擎的技术架构。搜索引擎不再需要完全依赖中心服务器提前分析整个互联网，而可以通过大量客户端共同完成知识生成。这不仅能够降低服务器端的计算压力，也可能重新解决数据所有权和成本问题。

未来的搜索引擎，可能建立在一种新的商业模式之上：用户参与知识生成，内容产生新的价值，搜索系统形成新的数据网络。

AI原生网络：从中心化索引库到分布式知识生成网络

如果这种模式成立，那么AI时代的多模态搜索可能不再是传统搜索引擎的延伸，而是一种新的AI原生网络。它不再依赖单一企业建立庞大的中心化索引库，而是通过大量客户端共同参与信息提取和知识生成，形成分布式知识生成网络。

这也意味着未来互联网可能需要新的协议，用于定义AI如何访问、理解和利用数字内容。类似过去互联网通过规则规范网页抓取，未来也可能需要新的AI协议，协调内容、用户设备和AI系统之间的关系。

历史机遇：下一代搜索基础设施正在形成

因此，我认为多模态搜索并不是搜索引擎的终点，而是搜索引擎进入第二生命周期的重要机会。AI时代，搜索的核心价值将从过去对已有文本的索引，转向对互联网中大量非结构化信息的理解和组织。由于大厂受限于现有商业模式和产品生态，更倾向于在原有体系内优化，而不是重新构建一种新的搜索模式，这也为创新企业提供了新的历史机遇。未来的多模态搜索可能成为一种建立在AI原生网络上的新型搜索基础设施，并推动互联网从中心化信息索引走向分布式知识生成。