第1745章 一句话点醒了贾瀞雯 (10 / 10)

        张涛也点头：“爬虫部分其实可以改进。

        我们现在是单线程抓取，太慢。

        可以改多线程，同时抓多个页面。

        还可以优化去重算法，减少重复抓取。”

        “索引结构也要调整。”王磊说，“数据量大了，现在的结构肯定撑不住。

        得设计新的存储方案。”

        团队重新有了方向。

        当天下午，他们就开始分工：李明负责优化爬虫，张涛改进索引结构，王磊和其他两人处理数据存储和服务器扩展。

        【跪求礼物，的为爱发电也行！】

        【This chapter is finished reading】