想要成为一个程序员,除了学习各种教程之外,熟悉各种已经在生产环境中使用的工具会让你更快的成长!
这里有7款python工具,是所有数据专家必不可少的工具。当你对他们有一定了解后,会成为你找工作的绝对优势!下面就了解它们一下吧:
IPython是一个基于Python Shell的交互式解释器,但是有比默认Shell强大得多的编辑和交互功能。IPython 提供了如下特性:
更强的交互 shell(基于 Qt 的终端)
一个基于浏览器的记事本,支持代码,纯文本,数学公式,内置图表和其他富媒体
支持交互数据可视化和图形界面工具
灵活,可嵌入解释器加载到任意一个自有工程里
简单易用,用于并行计算的高性能工具
当你一个库不会用的时候,用ipython 可以写一些测试代码。可以用ipython快速掌握库的方法和使用。
GraphLab Greate 是一个 Python 库,由 C++ 引擎支持,可以快速构建大型高性能数据产品。
关于 GraphLab Greate 的特点:
可以在您的计算机上以交互的速度分析以 T 为计量单位的数据量。
在单一平台上可以分析表格数据、曲线、文字、图像。
最新的机器学习算法包括深度学习,进化树和 factorization machines 理论。
可以用 Hadoop Yarn 或者 EC2 聚类在你的笔记本或者分布系统上运行同样的代码。
借助于灵活的 API 函数专注于任务或者机器学习。
在云上用预测服务便捷地配置数据产品。
为探索和产品监测创建可视化的数据。
Pandas 是基于 NumPy 的一个非常好用的库,正如名字一样,人见人爱。之所以如此,就在于不论是读取、处理数据,用它都非常简单。
Pandas 有两种自己独有的基本数据结构。读者应该注意的是,它固然有着两种数据结构,因为它依然是 Python 的一个库,所以,Python 中有的数据类型在这里依然适用,也同样还可以使用类自己定义数据类型。只不过,Pandas 里面又定义了两种数据类型:Series 和 DataFrame,它们让数据操作更简单了。
线性编程是一种优化,其中一个对象函数被最大程度地限制了。PuLP 是一个用 Python 编写的线性编程模型。它能产生线性文件,能调用高度优化的求解器,GLPK,COIN CLP/CBC,CPLEX,和GUROBI,来求解这些线性问题。
matplotlib在Python中应用最多的2D图像的绘图工具包,使用matplotlib能够非常简单的可视化数据。
matplotlib 尝试使容易事情变得更容易,使困难事情变为可能。通过 Matplotlib,你只需要输入几行代码,便可以生成绘图,直方图,功率谱,条形图,错误图,散点图等。
Scikit-Learn是用Python开发的机器学习库,其中包含大量机器学习算法、数据集,是数据挖掘方便的工具。Scikit-learn的基本功能主要被分为六大部分:分类,回归,聚类,数据降维,模型选择和数据预处理。Scikit-learn需要NumPy和SciPy等其他包的支持,才能够使用。
Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据或实时的流数据)的大数据处理的需求。
Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。