机器之心报道机器之心编辑部每年千万下载量，科学计算开源库 SciPy，你已经是个成熟的小伙伴了。
作为科学计算中的中流砥柱，SciPy 从 2001 年到现在已经走过了十九个年头，它为最优化、积分、微分方程等各种数值计算提供了完整的流程，也为科研分析人员提供了最好用与高效的开源库。
前天 2 月 3 日，SciPy 的维护者在 Nature Methods 上发表了一篇论文，其回顾了 SciPy 发展的里程碑与关键技术。
并借助 SciPy 1.0 这个成熟的象征，展现了当前科学计算以及未来发展方向都是什么样的。
论文地址：https://www.nature.com/articles/s41592-019-0686-2SciPy 项目地址：https://github.com/scipy/scipy为什么 SciPy 那么重要？ SciPy 是一个面向 Python 的开源科学计算库。
自 2001 年首次发布以来，SciPy 已经成为 Python 语言中科学算法的行业标准。
该项目拥有超过 800 个独特的代码贡献者，数以千计的相关开发包，和超过 150,000 个依赖存储库以及每年数以百万计的下载量。
在下述简介中，会概述 SciPy 1.0 的功能和开发实践，并着重阐述一些最新的技术发展与更新。
（注：数据更新来自 Github 最新反馈）SciPy 是一个基于 Python 和 Numeric 的开源代码包，当前模块集包括了上图中的内容。
项目覆盖范围SciPy 提供了科学计算的基本算法，这些算法涵盖了现有数学软件分类系统中的算法。
在迭代相对缓慢的领域（如：线性代数），SciPy 旨在提供完整的算法覆盖。
而在其他领域，它提供基本的构件，并与该领域的其他软件包进行良好的互动于兼容。
例如，SciPy 提供了人们期望在统计学教科书中能找到的基本算法（概率分布、假设检验、频率统计、相关函数等），但 Statsmodels 提供了更先进的统计预估及推断方法。
虽然 scikit-learn 涵盖了机器学习，但 PyMC、emcee 和 PyStan 涵盖了贝叶斯统计和概率建模等。
SciPy 能干什么我们知道 SciPy 是一个用于数学、科学、工程领域的常用库，可以处理插值、积分、最优化、常微分方程数值解的求解、信号处理等问题。
因此自然科学领域绝大多数涉及计算的工作都能用它来完成，例如我们熟知的统计学习，拟合个分布、做了 K 最近邻算法都是非常便捷的。
当然目前新冠肺炎疫情广受关注，研究者也可以用它模拟各种关键信息。
例如之前中国疾病预防控制中心、国内各省市疾控中心等机构在新英格兰医学杂志发表的《新型冠状病毒肺炎在中国武汉的早期传播》论文。
在获取数据之后，进行各种统计学分析很多都可以用 Scipy 完成，具体而言：研究者根据发病日期构建传染曲线；使用对数高斯分布拟合暴露历史和发病日期数据，估计潜伏期分布；使用韦伯分布拟合发病日期、首次就诊日期和住院日期，并估计发病离就诊的时间间隔分布、发病离住院的时间间隔分布；使用伽玛分布拟合病例集群数据，从而估计人际传播的时间间隔（serial interval）分布。
这些分析任务主要在于利用统计分布拟合对应的数据，该肺炎论文的研究者采用 MATLAB 做的拟合。
但实际上，scipy.status 包含了 100 多个概率分布，这些统计分析也能通过 SciPy 完成。
面对汹涌的疫情，不论我们是有第一手数据，还是从各网站爬取疫情信息，利用 SciPy 建模与分析都是非常好的选择。
SciPy 发展里程碑20 世纪 90 年代末期，美国梅奥医学中心的博士生 Travis Oliphant 发布了一系列构建于数值数组之上的包，并提供了用于信号处理、特殊函数、稀疏矩阵、正交、最优化和快速傅里叶变换等的算法。
这些包中的 Multipack 是一组包装了 Fortran 和 C 语言的扩展模块，用于解决非线性方程和最小二乘问题、求微分方程的积分以及拟合曲线。
随后，编程环境愈加丰富，也具备了适当的数值数组对象，开发全栈科学软件的时机成熟了。
2001 年，Eric Jones 和 Travis Vaught 创建了 Enthought 科学计算解决方案。
之后，为了简化工具堆栈，他们创建了以 SciPy 库为中心的 SciPy 项目。
该项目的发展势头很猛，2001 年 2 月推出网站和代码库，6 月宣布邮件列表，8 月推出了 SciPy 0.1 版。
SciPy 早期版本的文档较少，但随着 2006 年发布 Numpy 指南（Guide to Numpy），这种情况开始改变。
2007 年，Sphinx 文档生成器使得 SciPy 能够从包含 Python 代码的纯文本中自动呈现超文本和 PDF 文档。
2008 年，Pydocweb 工具使得 SciPy 又能够以维基百科的方式进行协作文档开发。
在早期的 SciPy workshop 中，反复出现的一些主题反映了 SciPy 的开发状态，它将重心放在了底层数组包、绘图、并行处理、加速/包装和用户界面上。
到了 2004 年，关于 SciPy 应用于科学计算问题上的内容开始出现。
图 1：自 2001 年发布 0.1 版到 2017 年推出 1.0 版本，SciPy 发展过程中的一些里程碑式事件。
SciPy 近三年的关键技术从 2001 年发布的 0.1，到近几年发布成熟版的 SciPy 1.0，最近三年 SciPy 在科学计算上有了更多的技术累积。
我们可以用更少的算力运行更大的矩阵计算，用更精简的方式拟合更复杂与多样的概率分布，也可以跑一跑最新的最优化方法。
研究者在这篇论文中着重介绍了 SciPy 一路走来的关键技术。
数据结构：稀疏矩阵scipy.sparse 提供了 7 种稀疏矩阵数据结构，或者称之为稀疏格式。
其中最重要的一种是压缩行/压缩列的稀疏格式，它们分别为 CSR 与 CSC。
这两种方法都提供了快速的主轴索引与快速的矩阵-向量乘法，这两种稀疏格式在 SciPy 及依赖的库中得到了广泛的应用。
从新特性的角度来看，scipy.sparse 矩阵与线性运算子现在都已经支持 Python 矩阵乘法（@）。
cKDTreescipy.spatial.ckdtree 模块实现了空间分割的数据结构，该结构会在 K 维空间中组织数据点。
整个 cKDTree 模块通过模板化类用 C++重写了，并新增对周期性边界条件的支持，它经常用于物理过程的模拟。
2013 年，基于 cKDTree.query 的 K 最近邻算法时间复杂度逼近了对数线性。
2015 年，cKDTree 二元树计数算法通过加强以支持加权，这对于很多科学应用来说都是非常重要的，例如计算星系的相关性函数。
统一捆绑到已编译代码：LowLevelCallable到了 SciPy 0.19，用户就可以直接使用 scipy.LowLevelCallable 对象包装底层函数，从而减少直接从 Python 调用已编译 C 函数的开销，这种编译的 C 函数可能是由 Numba 或 Cython 生成的。
数学优化scipy.optimize 子包提供了数学解决方案，用于解决多种类型的「root finding」和优化问题。
研究者在表 1 中详细比较了所有最小化方法的特征，这些特征说明了 SciPy 如果要达到比较完整的水平，它需要涵盖的数值方法或主题。
统计分布scipy.status 包含了 100 多个概率分布：96 个连续分布和 13 个离散单变量分布，以及 10 个多变量分布。
该实现依赖于一个一致的框架，该框架提供了抽样随机变量的方法，用以评估累积分布函数指数（CDF）和概率密度函数指数（PDF），并适合每一个分布的参数。
测试套件在更改代码时，测试驱动的开发被认为是一种管理不确定性的方法。
对于 SciPy 的每个组件，研究者都编写了多种能够验证它们预期行为的可执行小测试。
这些可执行小测试的集合被称为『测试套件』，增强了对正确性和准确度的置信度，并允许用户在修改已有代码时不会改变预期行为。
图 2：不同版本 SciPy 中的 Python 和编译代码量。
除了保证单元测试通过之外，重要的是确保 SciPy 代码库的性能能够随时间推移而提升。
比如，下图 3 展示了在大约 9 年的项目发展历程中，scipy.spatial. cKDTree.query 的性能提升情况。
图 3：从 cKDTree 的提出到 SciPy 1.0 的发布，scipy.spatial.cKDTree.query 的基准测试的结果。
图中的每个标记表示 SciPy 主分支中提交的基准测试的执行时间。
SciPy 仍在路上SciPy 项目每 6 个月进行一次更新。
任何感兴趣、有技术能力的开发者都可以参与贡献代码。
虽然 SciPy 的研发成本已经超过了 1 千万美元，但是项目依然是没有资金支持的。
这些代码都是由大学研究生、学术界和工业界的人们在闲暇时间完成的。
SciPy 有着一个很大的开发社区，用户基数也很庞大。
在 2017 年，通过 PyPI 下载的次数是 13,096,468 次，而通过 conda 下载的次数则有 5,776,017 次。
尽管如此，SciPy 依然在继续进步。
下图的表格是一个持续更新的文档，描述了团队正在项目中进行改进和提升的工作。
这份文档也提到了一些需要改进的地方。