打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
数据分析 机器学习

Python数据分析




19年最新Python数据分析视频教程:点此查看


本教程的核心内容是利用Python语言操作、处理、清洗、可视化数据,对数据进行基本的分析。虽然以分析为名,但专注于Python的编程、主要类库、工具,而不是分析的方法论。更进一步的数据挖掘、机器学习,将在下一步的教程里体现。


在数据分析和处理领域,毫无疑问,Python是主流语言,其原因在于:

  • Python语法简单,代码量少

  • Numpy、Scipy、Pandas和Matplotlib的科学计算生态圈过于强大

  • Ipython和Jupyter notebook的交互式环境

  • 容易整合C/C++/FORTRAN代码,使用过往的存量代码

  • 从代码走向工程很快捷

下面是Python数据分析和处理任务中重要的库与工具:

1. Numpy

官网:http://www.numpy.org/

Numpy库是Python数值计算的基石。它提供了多种数据结构、算法以及大部分涉及Python数值计算所需的接口。主要包括以下内容:

  • 快速、高效的多维数组对象ndarray

  • 基于元素的数组计算或者数组间的数学操作函数

  • 用于读写硬盘中基于数组的数据集的工具

  • 线性代数操作、傅里叶变换以及随机数生成

  • 成熟的C语言API,拓展代码

2. Scipy

官网:https://www.scipy.org/

这个库是Python科学计算领域内针对不同标准问题域的包集合,主要包括以下内容:

  • integrate:数值积分例程和微分方程求解器

  • linalg:线性代数例程和基于numpy.linalg的矩阵分解

  • optimize:函数优化器和求根算法

  • signal:信号处理工具

  • sparse:稀疏矩阵与稀疏线性系统求解器

  • special:SPECFUN的包装其

  • stats:标准的连续和离散概率分布

Scipy与Numpy一起为很多传统科学计算应用提供了一个合理、完整、成熟的科学计算基础。

3. Pandas

官网: http://pandas.pydata.org/

Pandas提供了高级数据结构和函数,使得利用结构化、表格化数据的工作快速、简单、有表现力。Pandas将表格和关系型数据库的灵活数据操作能力与Numpy的高性能数组计算的理解相结合。提供复杂的索引函数,使得数据的重组、切块、切片、聚合、子集选择更为简单。Pandas是数据分析和处理工作中,实际使用占比最多的工具,使用频率最高,也是本教程的主要介绍内容。

4. matplotlib

官网:https://matplotlib.org/

matplotlib是最流行的用于制图以及其它数据可视化的Python库。在基于Python的数据可视化工作中,这个库是行业默认选择,虽然也有其它可视化库,但matplotlib依然是使用最为广泛,并且与生态系统的其它库良好整合。

此工具是本教材主要介绍内容之一,实际上,学会了这个工具,其它可视化库,甚至Matlab绘图,基本套路都是类似的,可以一通百通。

5. Jupyter notebook

官网:https://jupyter.org/

基于Python的交互式编程环境有IPython、IPython notebook以及Jupyter notebook。但如果对于数据分析、处理、机器学习等相关工作,我强烈推荐基于web的Jupyter notebook。

这个代码测试、开发、编辑、文字工具,真的是谁用谁知道,并且也是本教程的主要内容之一,吐血推荐!

6. scikit-learn

官网:https://scikit-learn.org/stable/

如果说基于Python的机器学习,那么首推必须是scikit-learn库,属于必学工具!它主要包括以下子模块:

  • 分类:SVM、最近邻、随机森林、逻辑回归等

  • 回归:Lasso、岭回归等

  • 聚类:k-means、谱聚类等

  • 降维:PCA、特征选择、矩阵分解等

  • 模型选择:网格搜索、交叉验证、指标矩阵等

  • 预处理:特征提取、正态化

  • 其它有用的工具和数据集

机器学习是非常庞大和复杂的一门学科,本教程不准备讲述,而是放在下一步。

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
从理论到学习时间表:教你正月30天速成Python
为什么说 Python 是数据科学的发动机(二)工具篇(附视频中字)
scikit-learn 和pandas 基于windows单机机器学习环境的搭建
[译] 天龙八步 第二弹:8步从Python白丁到专家,从基础到深度学习
【译】数据科学之5个最佳Python库,为初学者定制的教程
学神之路 —— Python数据科学全攻略(原创译文)
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服