56 亿条 TikTok 视频元数据被上传至 Hugging Face 免费下载

56 亿条 TikTok 视频元数据被上传至 Hugging Face 免费下载

N
News Editor
2026-10-06 22:00:19
开发者 hashfunction 以 datasocial 账号在 Hugging Face 发布约 56 亿条公开 TikTok 视频元数据,时间跨度从 2014 年 7 月到 2026 年 10 月。数据不含视频画面,包含标题、标签、音频 ID、屏幕文字、TikTok Shop 商品与卖家 ID,以及播放、点赞、评论等统计。该数据集未设访问门槛,当前已显示 1,181 次下载,非商业用途可免费使用,采集代码售价为 1,699 美元。

开发者 hashfunction 以 datasocial 账号在开源 AI 仓库 Hugging Face 发布了约 56 亿条公开 TikTok 视频的元数据,任何人都可以免费下载。该数据集覆盖时间从 2014 年 7 月到 2026 年 10 月。

发布的是元数据,不是视频内容

这批数据并不包含视频画面本身。每一行记录包含视频标题、话题标签、音频 ID、屏幕文字、TikTok Shop 商品 ID 和卖家 ID,以及播放量、点赞数、评论数、分享数、收藏数和下载数。整个数据集以 Parquet 文件形式提供,总大小为 460 GB,按月拆分,每个月对应一个文件。

其中部分字段来自 TikTok 自身的标签体系,例如视频是否被标记为 AI 生成,以及 TikTok 是否将其排除在「For You」推荐页之外。报道提到,较早期视频的 AI 标记字段经常为空,因为这些数据来自档案库。

数据可直接下载,另有独立网站提供访问

该数据集没有设置访问门槛,任何人都可以拉取。Hugging Face 页面显示,目前下载次数为 1,181 次。除 Hugging Face 外,数据也可通过 https://datasocial.ai/ 在线访问。

报道指出,这类数据之所以受到关注,是因为 AI 开发者一直希望获得类似素材,而 TikTok 官方获取路径相对狭窄。对数十亿条帖子而言,标题、标签、音频 ID 和互动数据可以作为训练材料,用于构建预测哪些内容会在 TikTok 上传播、哪些商品会在 TikTok Shop 上卖出、哪些词语和短语更容易获得点击,以及帮助语言模型学习用户在短视频场景中的写作方式。

56 亿条 TikTok 视频元数据被上传至 Hugging Face 免费下载 3

TikTok 官方研究工具覆盖范围更窄

TikTok 官方提供的 Research Tools 仅向符合条件的学术机构研究人员开放,适用地区包括美国、欧洲经济区、英国、加拿大和瑞士,也覆盖欧盟部分非营利机构。使用这些工具需要提交申请并获得批准。

与之相比,平台并不允许广泛的数据抓取。根据 TikTok 美国服务条款第 3.4 节,除非获得 TikTok 书面批准,否则不得使用自动化软件从平台提取数据。

DataSocial 说明了采集方式和规模

DataSocial 的说明文件称,其系统通过生成可伪装成 Android 手机的设备身份、逆向请求签名以及伪造 TLS 握手,访问了 TikTok 的私有移动 API。该说明称,系统在三周内采集了 32.3 亿个创作者资料、59.4 亿条视频和 28 亿条评论,且整个过程不涉及登录或账号。

免费层同时也是其商业服务入口。该数据集采用 CC BY-NC 4.0 许可,页面说明可免费用于研究和个人用途。商业用途、创作者资料和每日更新服务则被引导至 datasocial.ai,采集器源代码另行出售。

围绕抓取的法律争议已进入法院

报道提到,围绕数据抓取的争议已经进入诉讼阶段。Reddit 在 2025 年 10 月起诉 Perplexity 和 3 家数据抓取公司,指控其以「工业级规模」收集 Reddit 内容用于 AI 训练。根据 Law360 的说法,一名联邦法官在 7 月基本拒绝驳回该案。

56 亿条 TikTok 视频元数据被上传至 Hugging Face 免费下载 4

目前保留下来的主张包括《数字千年版权法案》相关指控,即 SerpApi 绕过了 Google 的反机器人保护。不过,TikTok 并非该案当事方,而且该案涉及的是通过 Google 搜索结果进行抓取,而不是私有移动 API。

数据字段与现有同类数据集

就数据内容而言,记录中包含标题、所用音乐以及不同的勾选字段。报道称,数据表中没有创作者账号名这一列,但仍展示了大量信息,包括标题、标签以及视频中提及的人等。与此同时,Datasocial 实际上提供了用户 ID。

类似数据集并非首次出现。Hugging Face 上也已有一套 45 亿条视频的数据副本,同样被描述为通过 TikTok 移动 API 采集。

这批数据目前可免费用于非商业用途,而用于采集这些数据的代码售价为 1,699 美元。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
100

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。