加入收藏 | 设为首页 | 会员中心 | 我要投稿 源码门户网 (https://www.92codes.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 运营中心 > 网站设计 > 教程 > 正文

数据分析从业者必看,10 个加速Python数据分析的简单的小技巧

发布时间:2019-07-26 01:32:59 所属栏目:教程 来源:skura
导读:副标题#e# 笔者按,一些小的技巧在编程领域可能会非常有用,在数据科学领域同样如此。数据科学爱好者 Parul Pandey 在近日发表了一篇博文,分享了在数据科学中非常实用的 10 个小技巧。笔者将他的文章编译整理如下。 有时候,一点小小的黑客行为可以节省时
副标题[/!--empirenews.page--]

笔者按,一些小的技巧在编程领域可能会非常有用,在数据科学领域同样如此。数据科学爱好者 Parul Pandey 在近日发表了一篇博文,分享了在数据科学中非常实用的 10 个小技巧。笔者将他的文章编译整理如下。

有时候,一点小小的黑客行为可以节省时间,挽救生命。一个小小的快捷方式或附加组件有时会被证明是天赐之物,并且可以真正提高生产力。所以,下面是我最喜欢的一些技巧,我以本文的形式一起使用和编译它们。其中,有些可能是相当有名的,有些可能是新的,但我相信下次您从事数据分析项目时,它们会非常有用。

1.Profiling the pandas dataframe

Profiling 是一个帮助我们理解数据的程序,而 Pandas Profiling 正是实现这一点的一个 python 包。这是对 pandas 数据帧进行探索性数据分析的一种简单快速的方法。pandas df.describe()和 df.info()函数通常用作 EDA 过程的第一步。但是,它只提供了非常基本的数据概述,对于大型数据集没有太大帮助。另一方面,pandas 分析函数使用 df.profile_report()扩展 pandas 数据帧,以便快速进行数据分析。它用一行代码显示了大量信息,在交互式 HTML 报告中也显示了这些信息。

对于给定的数据集,pandas 分析包计算以下统计信息:

数据分析从业者必看,10 个加速 python 数据分析的简单的小技巧

Pandas Profiling 包计算统计信息

安装

  1. pip install pandas-profiling 
  2.  
  3. or 
  4.  
  5. conda install -c anaconda pandas-profiling 

使用

让我们使用古老的 Titanic 数据集来演示通用的 Python 分析器的功能。

  1. #importing the necessary packages 
  2. import pandas as pd 
  3. import pandas_profiling 
  4.  
  5.  
  6. # Depreciated: pre 2.0.0 version 
  7. df = pd.read_csv('titanic/train.csv') 
  8. pandas_profiling.ProfileReport(df) 

注:在这篇文章发表一周后,Pandas-Profiling 发布了一个升级版本 2.0.0。其语法发生了一些变化,事实上,功能已经包含在 pandas 中,报告也变得更加全面。以下是最新的语法用法:

使用

要在 Jupyter notebook 中显示报告,请运行:

  1. #Pandas-Profiling 2.0.0 
  2. df.profile_report() 

这一行代码就是在 Jupyter notebook 中显示数据分析报告所需的全部代码。报告非常详细,必要时包括图表。

数据分析从业者必看,10 个加速 python 数据分析的简单的小技巧

还可以将报告导出到具有以下代码的交互式 HTML 文件中。

  1. profile = df.profile_report(title='Pandas Profiling Report') 
  2. profile.to_file(outputfile="Titanic data profiling.html") 

2.第二步,为 pandas plots 带来交互性

pandas 有一个内置的.plot()函数作为数据帧类的一部分。然而,用这个函数呈现的可视化并不是交互式的,这使得它不那么吸引人。相反,也不能排除使用 pandas.dataframe.plot()函数绘制图表的易用性。如果我们不需要对代码进行重大修改,就可以像绘制 pandas plots 那样绘出交互式图表呢?你可以在 Cufflinks 库的帮助下做到这一点。

Cufflinks 将 plotly 的力量与 pandas 的灵活性结合起来,便于绘制。现在让我们来看看如何安装这个库并让它在 pandas 中工作。

安装

  1. pip install plotly # Plotly is a pre-requisite before installing cufflinks 
  2. pip install cufflinks 

使用

  1. #importing Pandas 
  2. import pandas as pd 
  3. #importing plotly and cufflinks in offline mode 
  4. import cufflinks as cf 
  5.  
  6.  
  7. import plotly.offline 
  8. cf.go_offline() 
  9. cf.set_config_file(offline=False, world_readable=True) 

是时候用 Titanic 数据集来展示它的魔法了。

  • df.iplot()

数据分析从业者必看,10 个加速 python 数据分析的简单的小技巧

df.iplot() vs df.plot()

右视图显示的是静态图表,左图表是交互式的,更详细地说,所有这一切在语法上都没有重大变化。

点击这里获取更多的示例。

3.一点点 Magic

Magic 命令是 Jupyter notebook 中的一组方便的函数,旨在解决标准数据分析中的一些常见问题。在%lsmagic 的帮助下,您可以看到所有可用的 magic。

数据分析从业者必看,10 个加速 python 数据分析的简单的小技巧

所有可用的 magic 函数列表

magic 命令有两种:行 magics(前缀为一个% 字符并在一行输入上操作)和单元 magics(用%% 前缀关联并在多行输入上操作)。如果设置为 1,则可以调用 magic 函数,而无需键入初始百分比。

让我们看看其中一些在常见数据分析任务中可能有用的功能:

% pastebin

(编辑:源码门户网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读