请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
“首批采购的一千台服务器已经全部上架了,在深城和东莞两个机房,足够支持三千万用户的云存储需求。但按照规划,S4发布之后如果用户量按预期增长,这个数量肯定不够,后续至少要再扩容两到三倍。”
林辰点了点头,目光落在架构图中间的一个模块上,上面标注着数据管道几个字。
“张婷,如果我要在这个架构上再叠一套搜索和广告推荐系统,技术上可行吗?”
张婷推了推眼镜,在架构图上快速标注了几笔:“可行,但需要新增几个模块。搜索需要全文索引和倒排索引,广告需要实时竞价和用户画像计算。
这两个系统的算力消耗很大,尤其广告竞价是毫秒级的实时计算,对延迟极其敏感。如果都放在同一套集群里,会互相抢资源。”
“那怎么解决?”
“两种方案。第一种,物理隔离。搜索和广告各自独立部署一套集群,互不影响。好处是稳定性高,坏处是成本高。
第二种,逻辑隔离。在同一套物理集群上做资源池划分,搜索和广告各占固定配额,通过调度器分配算力。好处是成本低,坏处是极端情况下可能互相干扰。”
林辰想了想后说道:“先按逻辑隔离做,资源池各占三分之一,剩下三分之一留给现有业务。后续如果广告量起来了,再考虑独立部署。”
张婷在架构图上记了一笔:“明白。另外还有一个问题,用户画像的计算需要大量的离线批处理和实时流处理。我们目前的Spark集群规模偏小,如果要支撑三千万用户的画像建模,至少需要扩容三倍。”
卢为冰这时候插了一句:“张婷,你刚才说的用户画像,具体能画到什么程度?”
张婷翻到架构图的另一页,指着上面的用户标签体系:“目前规划的画像体系分四层。基础层是设备信息和网络环境。行为层是应用使用习惯、搜索历史、下载记录。
兴趣层是通过算法对行为数据做聚类分析,得出用户的兴趣偏好。商业层是结合理财宝和美团的数据,分析用户的消费能力和消费偏好。
四层叠加,理论上可以做到千人千面的精准广告匹配。”
卢为冰点点头,转头看向林辰:“林总,如果这套画像体系和搜索、广告联盟打通,那我们的广告精准度完全可以超过谷歌的AdMob。
谷歌拿不到用户在微信里的聊天记录、拿不到用户在美团的外卖订单、拿不到用户在理财宝的资产状况。
这些数据我们全都有,而且是同一个生态内的闭环数据,质量比谷歌从外部抓取的数据高得多。”
林辰没有立刻接话,他脑子里在快速推演这套系统的潜在价值。
三千万用户,每人每天产生几十条行为数据,一年下来就是上百亿条。
这些数据经过清洗、建模、画像之后,如果用在广告匹配上,意味着广告主在我们这里投一万块钱,能触达的目标用户比投谷歌精准得多。
而更关键的是,这些数据全部在自己的生态里流转,不经过任何第三方服务器。
谷歌、Facebook、亚马逊拿不到,也不存在跨境传输的合规风险。
他看向张婷:“云服务本身,什么时候能正式上线?”
“架构已经跑通了,压力测试大概还需要一个月,主要是测故障切换和数据恢复。如果一切顺利,除去春节的时间,三月中旬可以开始小范围灰度发布,先在公司内部和部分开发者试用。
正式对用户开放,可以跟随S4的发布时间一起推。”