搜索引擎对Web3内容的抓取机制与优化要点

一、Web3内容🎉被抓取的主要难点 百度搜索引擎的爬虫基于HTTP/HTTP💡S协议工作，而许多Web3平台使用非标准协议（如IPFS的“ipfs://”或以太坊的“ethereum://”）

百度爬虫可以抓取该网关页面，并间接索引到对应的去中心化内容

百度爬虫在抓取时会优📌先读取这部分内容，从而提高核心文本的识别率