天文学是最早的"大数据科学"——每天数千万条观测记录的处理方式,决定了人类能看见怎样的宇宙。本文是"人类认知版图"系列第十六篇。
数据量的四次爆炸
- 照相底片时代(1880–1980):哈佛天文台玻璃底片库 50 万张——1910–1920 年代"哈佛计算员"(勒维特所在的全女性团队)人工测量底片上的星点位置与亮度,手工完成恒星测光
- CCD 巡天时代(1990–2010):斯隆巡天(SDSS)单夜产生 200 GB——超过此前人类天文数据总和;数据倒逼了"虚拟天文台"概念(数据在网上,而不是在归档磁带里)
- 千平方度巡天时代(2010–2025):泛星计划(Pan-STARRS)、兹维基瞬变源工厂(ZTF)、盖亚(18 亿天体)——瓦拉巴定位图星表本身 1 PB;中国 LAMOST 2000 万光谱
- 亿像素时代(2025–):鲁宾天文台每 3 天全天空 3.2 亿像素图像,10 年 60 PB——"数据雪崩"(data avalanche)
处理方法的三次进化
1. 模式识别自动化(1990–2010)
源提取(SExtractor)、图像对齐叠加(SWarp)、光谱流水线(SDSS 的 idlspec2d)——把底片时代的人眼判读变成批处理脚本。瓶颈:异常检测——2011 年开普勒光变曲线中,人工才注意到 KIC 8462852(塔比星)的诡异骤降,而流水线当噪声滤掉了。
2. 机器学习时代(2010–2023)
- 图像分类:Galaxy Zoo 公民科学(2007,30 万志愿者分类 100 万星系)产出的训练集,喂出 CNN 自动分类器(精度超人类)
- 瞬变源警报:ZTF/ASAS-SN 用随机森林每夜筛数十万候选,把超新星警报从"几周后"压缩到"15 分钟内"——第一时间触发全球望远镜(详见电磁波段篇的伽马暴接力)
- 系外行星:Kepler 光变中的凌星信号弱至 0.01%——AstroNet(谷歌)与 ExoMiner(NASA)用深度学习找回被传统算法漏掉的数百颗行星
- 引力波降噪:LIGO 数据用贝叶斯推断+神经网络实时区分真实信号与仪器毛刺
3. 基础模型时代(2023–)
AstroCLIP 等"天文版 GPT"用自监督学习从 10 亿级巡天图像预训练,微调即可通吃分类、测光、红移估计——与 NLP 的 BERT 时刻同构。仿真宇宙(如 Uchuu、Millennium)生成的数万亿粒子模拟数据,成了训练"数字宇宙孪生"的语料。
中国特色的数据基建
- LAMOST 光谱库:2000 万光谱全公开(美国同行评注:"这改变了中国天文的国际存在方式")
- FAST 脉冲星数据库:AI 预筛+人工复核的"机器+人"混合流水线,19 波束接收机数据流达 38 GB/s
- 之江实验室"天文智能计算中心":把 10 PB 级巡天数据上云,开放算力给全国科研团队
方法论意义
天文学数据革命的启示:科学发现正在从"提出假设→验证"转向"数据挖掘→假设后补"——塔比星、快速射电暴重复源 FRB 121102、'Oumuamua 都是"数据里先出现,理论后跟上"的案例。工具链(Python/天文栈 Astropy、Jupyter 笔记本)让本科生也能处理哈勃数据——数据民主化本身,就是科学的人口红利。