learntoall

公开资料

线上实现持续演进,内部还有未公开的中台名和容量数字。本站把能对上论文或工程分享的部分写到可复核的粒度;对不上的延迟拆分标成工程惯例。抖音与 TikTok 数据面隔离,这里讲的是中国大陆抖音系公开架构。

Monolith: Real Time Recommendation System With Collisionless Embedding Table

Liu et al., arXiv:2209.07663 · RecSys 2022 workshop

Cuckoo Hash embedding 表、Worker–PS、训练 PS 到 serving PS 的增量同步、在线训练与 concept drift。

ByteGraph: A High-Performance Distributed Graph Database in ByteDance

Li et al., VLDB 2022(PVLDB 15(12))

BGE/BGS/KV 三层、edge-tree、超级顶点、跨机房复制、毫秒延迟与千万 QPS 口径。

ByteMQ / BMQ: A Cloud-native Streaming Data Layer in ByteDance

SoCC 2024;火山引擎消息队列实践

存算分离、Segment 打散、Kafka 协议兼容、集群迁移比例与成本口径。

单元化架构在字节跳动的落地实践

火山引擎 · 2024

Region 单元、UserID 分区、四层纠偏、同城容灾+异地多活;抖音系超百万实例。

5 年迭代 5 次,抖音推荐系统演进历程

InfoQ · 2021(特征平台)

6 亿+ DAU、数百万 QPS 播放、数千万 IOPS 埋点、Flink SQL/State、60TB 作业状态。

Abase / ByteKV / ByteSQL 工程分享

火山引擎基础架构

无主 KV、Redis 协议、Range 分区强一致、快照隔离、BlockDB。

亿级视频处理 · 融合 CDN · 云边调度

火山引擎 / InfoQ

BMF + 工作流 + 函数计算;多云 CDN;MNet 与 DCDN;活动冷启流量。

CloudWeGo(Kitex / Hertz / Netpoll)

ByteDance 开源

微服务数量公开口径、TTHeader、治理接口。