公开资料
线上实现持续演进,内部还有未公开的中台名和容量数字。本站把能对上论文或工程分享的部分写到可复核的粒度;对不上的延迟拆分标成工程惯例。抖音与 TikTok 数据面隔离,这里讲的是中国大陆抖音系公开架构。
Monolith: Real Time Recommendation System With Collisionless Embedding Table
Liu et al., arXiv:2209.07663 · RecSys 2022 workshop
Cuckoo Hash embedding 表、Worker–PS、训练 PS 到 serving PS 的增量同步、在线训练与 concept drift。
ByteGraph: A High-Performance Distributed Graph Database in ByteDance
Li et al., VLDB 2022(PVLDB 15(12))
BGE/BGS/KV 三层、edge-tree、超级顶点、跨机房复制、毫秒延迟与千万 QPS 口径。
ByteMQ / BMQ: A Cloud-native Streaming Data Layer in ByteDance
SoCC 2024;火山引擎消息队列实践
存算分离、Segment 打散、Kafka 协议兼容、集群迁移比例与成本口径。
单元化架构在字节跳动的落地实践
火山引擎 · 2024
Region 单元、UserID 分区、四层纠偏、同城容灾+异地多活;抖音系超百万实例。
5 年迭代 5 次,抖音推荐系统演进历程
InfoQ · 2021(特征平台)
6 亿+ DAU、数百万 QPS 播放、数千万 IOPS 埋点、Flink SQL/State、60TB 作业状态。
Abase / ByteKV / ByteSQL 工程分享
火山引擎基础架构
无主 KV、Redis 协议、Range 分区强一致、快照隔离、BlockDB。
亿级视频处理 · 融合 CDN · 云边调度
火山引擎 / InfoQ
BMF + 工作流 + 函数计算;多云 CDN;MNet 与 DCDN;活动冷启流量。
CloudWeGo(Kitex / Hertz / Netpoll)
ByteDance 开源
微服务数量公开口径、TTHeader、治理接口。