搜索引擎設計備註

最近准备设计一个行业搜索引擎

因为我的需求比较简单
结果发现还是有些难度的 考虑到需求问题
我给拆开了 做个备注 有时候在折腾

Web 前台搜索界面
DBC 数据库集群
DBI 数据库导入
IDX URL链接库
SPIDER 爬虫

定制几个主要的站点规则
单一分类表 实现队列 自动抓取数据入TEMP库
DBI作为数据处理 写入正式表
DBI提供数据入库