搭建一个新手学习AI/ML的Python环境

    不知不觉消失了好久,公众号也很久没有更新了。因为跑去学习微软AI方向的MPP课程了。MPP是目前微软最先提供关于AI的培训课程,关于MPP的学习体系,我后面会再写一篇简单的介绍。

     MPP包含了很多的内容,开始学习的时候速度还挺快,到后面越来越艰涩。这也是很久没有精力去更新内容的原因之一。在学习的过程中,逐步接触到了AI或者ML所需要的Python环境。还记得我们之前的介绍吗?通过Python去调用AI的很多API,来快速实现AI的一些功能。

    在学习Azure AI的API的eDoc的时候,就发现有一些示例代码使用了Jupyter Notebook来体现。当时觉得,我有Python不就好了吗?原汁原味地学习代码。到了MPP课程中“强制”使用了notebook之后,发现这种方式确实很方便学习。这么解释吧,我复制完示例代码,然后来运行之前,会尝试阅读代码,然后加上自己的注释。而notebook能将注释或者笔记部分,单独写成md格式的块。代码则分列到另外的代码块。这样就非常便于阅读背景信息和笔记,而同时方便的运行调试代码。

    另外,很多AI或者ML的课程,也会以notebook的文件格式提供笔记本帮助学习,所以,拥有一个notebook的环境还是很有必要的。下面我们就来尝试使用最复杂的搭建方式,搭建一个notebook环境。

    还记得第一次使用VS Code写Python的时候,会给代码格式评分,规范化也是学习代码的一部分,所以pylint还是需要的:
astroid-1.6.3 / isort-4.3.4 / lazy-object-proxy-1.3.1 / mccabe-0.6.1 / pylint-1.8.4 / wrapt-1.10.11

    这么多AI的API都是以Web服务方式提供,快速调用API就离不开requests了:

certifi-2018.4.16 / chardet-3.0.4 / idna-2.6 / requests-2.18.4 / urllib3-1.22

    进行数据处理怎么可以少了numpy?啥代码貌似都要array啊~
numpy-1.14.2

    同样,进行ML处理数据,pandas也是不可或缺滴~

pandas-0.22.0 / pytz-2018.4

    各种画图各种展现,没有matplotlib咋整?

cycler-0.10.0 / kiwisolver-1.0.1 / matplotlib-2.2.2 / pyparsing-2.2.0

    安装notebook就复杂点了,依赖的库有点多~

MarkupSafe-1.0 / Send2Trash-1.5.0 / backcall-0.1.0 / bleach-2.1.3 / decorator-4.3.0 / entrypoints-0.2.3 / html5lib-1.0.1 / ipykernel-4.8.2 / ipython-6.3.1 / ipython-genutils-0.2.0 / ipywidgets-7.2.1 / jedi-0.12.0 / jinja2-2.10 / jsonschema-2.6.0 / jupyter-1.0.0 / jupyter-client-5.2.3 / jupyter-console-5.2.0 / jupyter-core-4.4.0 / mistune-0.8.3 / nbconvert-5.3.1 / nbformat-4.4.0 / notebook-5.4.1 / pandocfilters-1.4.2 / parso-0.2.0 / pickleshare-0.7.4 / prompt-toolkit-1.0.15 / pygments-2.2.0 / python-dateutil-2.7.2 / pywinpty-0.5.1 / pyzmq-17.0.0 / qtconsole-4.3.1 / simplegeneric-0.8.1 / terminado-0.8.1 / testpath-0.3.1 / tornado-5.0.2 / traitlets-4.3.2 / wcwidth-0.1.7 / webencodings-0.5.1 / widgetsnbextension-3.2.1

    然后要做MPP的实验,自然少不了需要微软的人工智能工具库 CNTK~ 课程也挺奇怪,要求2.0版本,后面的课程则要求更新的版本,先安装2.0的

scipy-1.0.1 / cntk-2.0

    其实以上列举这么多库,没有太大的意义,在使用pip安装的时候,就会自动按照依存关系去安装需要的库。那我为什么把这些库都列出来呢?两个原因,第一,如果我们需要离线安装;第二,由于都知道的原因,访问默认库分发的时候,经常干扰HTTPS流量导致下载失败。这时就可以按照以上的清单,去pypi网站上照方抓药了。

    安装完毕,就能在本地使用notebook跑起来了。

image

    说了这么多,没有更方便的办法吗?有!

image

    其实MPP课程中使用了Anaconda来搭建用于学习AI/ML的环境。使用Anaconda可以方便的图形化管理你的环境。不过我看看安装文件就已经好几百M,想想变形本可怜的200G空间,就没安装了。

     那么,还有没有方便的办法呢?有!

     访问 https://notebooks.azure.com  啥东西都不用装,打开就能用。

image

     学完ML的课程,感觉还是一脸懵~还需要时间再消化消化,不过环境需要更新了。更新CNTK倒是简单:

PS C:\WINDOWS\system32> pip install cntk –upgrade
Collecting cntk
   Downloading https://files.pythonhosted.org/packages/e0/66/bd529934288094c4a4a7110fa6797669d95ffa7fc3687275a5541b80a281/cntk-2.5.1-cp36-cp36m-win_amd64.whl (63.7MB)
     100% |████████████████████████████████| 63.7MB 181kB/s
Requirement not upgraded as not directly required: scipy>=0.17 in c:\program files\python36\lib\site-packages (from cntk) (1.0.1)
Requirement not upgraded as not directly required: numpy>=1.11 in c:\program files\python36\lib\site-packages (from cntk) (1.14.2)
Installing collected packages: cntk
   Found existing installation: cntk 2.0
     Uninstalling cntk-2.0:
       Successfully uninstalled cntk-2.0
Successfully installed cntk-2.5.1

    因为安装CNTK 2.0的时候,依赖的scipy和numpy库已经是当时最新,所以没有自动更新。不过我还是自己手动刷到最新版了。

    然后,需要加上OpenCV了。去官网看了看,默认的支持是Python 2.7……这咋整啊?翻了翻网页,貌似有非官方的库提供了,既然大家都用,那就别犹豫了,装上:

PS C:\WINDOWS\system32> pip install opencv_python
Collecting opencv_python
   Downloading https://files.pythonhosted.org/packages/4c/25/151aeb11e80f99b97d3eb93a2c98bcacd857f28c4fb8865eb0201d800e97/opencv_python-3.4.0.12-cp36-cp36m-win_amd64.whl (33.3MB)
     100% |████████████████████████████████| 33.4MB 581kB/s
Requirement already satisfied: numpy>=1.11.3 in c:\program files\python36\lib\site-packages (from opencv_python) (1.14.3)
Installing collected packages: opencv-python
Successfully installed opencv-python-3.4.0.12

     验证一下安装:
PS C:\WINDOWS\system32> python
Python 3.6.5 (v3.6.5:f59c0932b4, Mar 28 2018, 17:00:18) [MSC v.1900 64 bit (AMD64)] on win32
Type “help”, “copyright”, “credits” or “license” for more information.
>>> import cv2
>>> print(cv2.__version__)
3.4.0

     貌似这里有更新的版本,不过没再手动下载安装了。

https://www.lfd.uci.edu/~gohlke/pythonlibs/#opencv

    对了,在升级Python本身的时候,遇到一个有意思的错误:

C:\Personal\Hao.Hu\My Codes>jupyter
Fatal error in launcher: Unable to create process using ‘””c:\program files\python36\python.exe”  “C:\Program Files\Python36\Scripts\jupyter.exe” ‘

    查了一下,跟路径设置导致编译时生成的exe的路径出错有关。折腾了一番,改了路径然后重新安装库,再次编译的exe就没问题了。


此条目发表在AI, 死磕和掰活分类目录,贴了, , , , 标签。将固定链接加入收藏夹。

发表评论

Fill in your details below or click an icon to log in:

WordPress.com 徽标

You are commenting using your WordPress.com account. Log Out /  更改 )

Google photo

You are commenting using your Google account. Log Out /  更改 )

Twitter picture

You are commenting using your Twitter account. Log Out /  更改 )

Facebook photo

You are commenting using your Facebook account. Log Out /  更改 )

Connecting to %s