IBM 推出开源工具,助力抗疫新冠病毒数据分析

  • 时间: 2020-06-30 05:52:42

IBM 开源数据和 AI 技术中心(CODAIT)推出了一个新工具包 covid-notebooks,该工具包可帮助开发人员和数据科学家回答有关大流行的问题。

covid-notebooks 旨在帮助完成以下任务:

获得有关爆发当前状态的权威数据,

清除最严重的数据质量问题,

将数据整理成易于使用 Pandas 和 Scikit-Learn 等工具进行分析的格式,

以及构建一组初始的示例报告和图形。

IBM 方面表示,处理好这些任务,开发人员和数据科学家就可以解放出来,专注于高级分析和建模任务,而不用担心数据格式和数据清理等问题。该存储库使用开发者友好的 Jupyter notebook 来涵盖每个初始数据分析步骤。

此外还使用 Elyra Notebook Pipelines Visual Editor 和 KubeFlow Pipelines 创建了数据处理管道。示例如下:

这些管道使用户只需单击一个按钮即可重新运行整个提取、转换、分析工作流程。“我们资源库中的工具使用权威来源,得出决策者可用于做出实时、关键决策的综合见解。“

IBM 开源数据中心和 AI 中心首席架构师 Frederick Reiss 表示:“对于正在分析 COVID-19 的影响并试图根据数据提出可行计划的数据科学家和决策者来说,相关信息可以说是铺天盖地。来自研究报告、新闻媒体、社交媒体和健康组织的数据几乎源源不断,这使得将数据分析为有用的行动的任务几乎不可能完成。开发人员和数据科学家需要回答他们关于数据来源、工具以及如何从不断变化的数据中得出有意义的、统计上有效的结论的问题。”