1 Python 数据分析简介

1.1 为什么使用Python进行数据分析？

• 因为使用Python进行数据分析有以下优势；
• Python作为当下最为流行的编程语言之一：
  • 可以独立完成数据分析的各种任务
  • 数据分析领域里有海量开源库
  • 机器学习/深度学习领域最热门的编程语言
  • 在爬虫，Web开发等领域均有应用
• 与Excel，PowerBI，Tableau等软件：
  • 比较Excel有百万行数据限制
  • PowerBI ，Tableau在处理大数据的时候速度相对较慢
  • Excel，Power BI 和Tableau 需要付费购买授权
  • Python功能远比Excel，PowerBI，Tableau等软件强大
  • Python跨平台，Windows，MacOS，Linux都可以运行
• 与R语言比较：
  • Python在处理海量数据的时候比R语言效率更高
  • Python的工程化能力更强，而R语言专注于统计与数据分析领域
  • Python在非结构化数据（文本，图像）和深度学习领域比R更有优势
  • 在数据分析相关开源社区，python相关的内容远多于R语言

1.2 常用Python数据分析开源库介绍

• Numpy

  • NumPy（Numerical Python）是 Python 语言的一个扩展程序库
  • 是一个运行速度非常快的数学库，主要用于数组计算
  • 包含：
    • 一个强大的N维数组对象ndarray
    • 广播功能函数
    • 整合 C/C++/Fortran 代码的工具
    • 支持线性代数、傅里叶变换、随机数生成等功能

• Pandas

  • Pandas是一个强大的分析结构化数据的工具集
  • 它的使用基础是Numpy（提供高性能的矩阵运算）
  • 用于数据挖掘和数据分析，同时也提供数据清洗功能
  • Pandas利器之Series：是一种类似于一维数组的对象
  • Pandas利器之DataFrame，是Pandas中的一个表格型的数据结构

• Matplotlib

  • Matplotlib 是一个功能强大的数据可视化开源Python库
  • 是Python中使用最多的图形绘图库
  • 可以创建静态, 动态和交互式的图表

• Seaborn

  • 是一个Python数据可视化开源库
  • 建立在Matplotlib之上，并集成了Pandas的数据结构
  • Seaborn通过更简洁的API来绘制信息更丰富，更具吸引力的图像
  • 面向数据集的API，与Pandas配合使用起来比直接使用Matplotlib更方便

• Sklearn

  • scikit-learn是基于Python的机器学习工具
  • 是一个简单高效的数据挖掘和数据分析工具
  • 可供大家在各种环境中重复使用
  • 建立在 NumPy ，SciPy 和Matplotlib上

• Jupyter Notebook/Jupyter Lab

  • Jupyter Notebook是一个开源Web应用程序
  • 可以创建和共享代码、公式、可视化图表、笔记文档
  • 是数据分析学习和开发的首选开发环境
  • 用途：数据清理和转换、数值模拟、统计分析、数据可视化、机器学习等

2 Python 数据分析环境搭建

2.1 开发环境搭建

• Anaconda 是最流行的数据分析平台，全球两千多万人在使用；

  • Anaconda 附带了一大批常用数据科学包
  • Anaconda 是在 conda（一个包管理器和环境管理器）上发展出来的
  • 可以帮助你在计算机上安装和管理数据分析相关包
  • 包含了虚拟环境管理工具

• Anaconda 可用于多个平台（Windows、Mac OS X 和 Linux）

  • 可以在官网上下载对应平台的安装包
  • 如果计算机上已经安装了Python，安装不会对你有任何影响
  • 安装的过程很简单，一路下一步即可
  • 下载地址：Download Anaconda Distribution | Anaconda

• 需要注意的下载步骤：

  

• 配置环境变量（可能有的版本会提供勾选选项，勾上就不需要手动配置）：

  

• 测试：

  conda -V
  python -V
  

  

2.2 Anaconda 的使用

2.2.1 Anaconda Navigator

• 搜索 Anaconda Navigator 后，可以看到下图，然后打开（第一次打开时间可能较长，1~2min）

  

• 打开后界面如下：

  

  

2.2.2 Anaconda的包管理功能

• 可以通过命令安装包

  conda install 包名
  pip install 包名
  

• 注意，使用pip时最好指定安装源：

  • 阿里云：https://mirrors.aliyun.com/pypi/simple/
  • 豆瓣：https://pypi.douban.com/simple/
  • 清华大学：https://pypi.tuna.tsinghua.edu.cn/simple/
  • 中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/

• 比如：

  pip install 包名 -i https://mirrors.aliyun.com/pypi/simple/  # 通过阿里云镜像安装
  

2.2.3 Anaconda 的虚拟环境管理

• 虚拟环境的作用

  • 很多开源库版本升级后API有变化，老版本的代码不能在新版本中运行
  • 将不同Python版本/相同开源库的不同版本隔离
  • 不同版本的代码在不同的虚拟环境中运行

• 在 Anaconda Navigator 中创建虚拟环境：

  

• 通过命令行创建虚拟环境：

  conda create -n 虚拟环境名字 python=python版本  # 创建虚拟环境
  conda activate 虚拟环境名字 # 进入虚拟环境
  conda deactivate 虚拟环境名字 # 退出虚拟环境
  conda remove -n 虚拟环境名字 --all  # 删除虚拟环境
  

2.3 Jupyter Notebook的使用

2.3.1 启动 Jupyter Notebook

• Anaconda Navigator 界面启动：

  

• 终端启动：

  conda activate 虚拟环境名字
  jupyter notebook
  

2.3.2 Jupyter Notebook 使用简介

• 新建Notebook文档

  

• 新建文件之后会打开Notebook界面

  

• 代码的输入框和输出显示的结果就是cell

  

• 常用快捷键：

  • 命令模式，按ESC进入
    • Y，cell切换到Code模式
    • M，cell切换到Markdown模式
    • A，在当前cell的上面添加cell
    • B，在当前cell的下面添加cell
    • 双击D：删除当前cell
  • 编辑模式，按Enter进入
    • 多光标操作：Ctrl键点击鼠标（Mac:CMD+点击鼠标）回退：Ctrl+Z（Mac:CMD+Z）
    • 重做：Ctrl+Y（Mac:CMD+Y）
    • 补全代码：变量、方法后跟Tab键
    • 为一行或多行代码添加/取消注释：Ctrl+/（Mac:CMD+/）
  • 两种模式通用快捷键
    • Shift+Enter，执行本单元代码，并跳转到下一单元
    • Ctrl+Enter，执行本单元代码，留在本单元

• cell行号前的*，表示代码正在运行

2.3.3 Jupyter Notebook中使用Markdown

• 在命令模式中，按 M 即可进入到Markdown编辑模式；

• 使用Markdown语法可以在代码间穿插格式化的文本作为说明文字或笔记；

• 标题和缩进语法：

  

2.3.4 Jupyter Lab

3 Pycharm集成Anaconda

• 此处使用的是 PyCharm 2023.2.5 专业版，步骤如下：

  

  

• 测试：