Linux.中国 - 开源社区

 找回密码
 骑士注册

QQ登录

微博登录


Python 语言在企业级应用上的十大谬误

2015-1-4 07:20    评论: 11 收藏: 3 分享: 17    

谬误 #6: Python 速度慢

首先是有一个重要区别: Python 是一门编程语言,而不是运行时环境. Python 拥有几个实现:

  1. CPython 是参考实现, 且也是广泛发布和使用的实现.
  2. Jython 是Python用于JVM的是一个成熟的实现.
  3. IronPython 是 Microsoft 针对其自家的通用语言运行时——又名 .NET,实现的Python .
  4. PyPy 是一个正在日趋成熟的Python实现,拥有JIT编译,增量垃圾收集诸多先进的特性.

每一个运行时都有其自己的性能特点, 而且他们本身也不慢. 这里更重要的地方在于不能错误地把一个性能指标分派到一门编程语言智商. 应该总是把该评估用在一个应用程序运行时上面,最好是针对一个特定的使用场景.

清楚了那些事项之后,下面就是一些有Python提供的小项,体现其重要的性能优势:

  1. 把 NumPy 用作 Intel 的 MKL SIMD接口
  2. PyPy的 JIT 编译能 达到比C还快的性能
  3. Disqus 能在同样的100个盒子上容纳两亿五千万到5亿用户

诚然,这些都不是最新的列子,只是我个人的最爱罢了. 这将很容易扯到高性能Python以及独立提供的运行时这些广阔的领域. 我们不应只是专注于解决单个特殊的案例, 而是应该把注意力放在对开发人员在 最终产品性能 方面的生产力的普遍影响上面, 特别是在一种企业级环境之下.

A comparison of C++ to Python,. The Python is approximately a tenth the size.

C++ vs Python,. 两种语言在同一个输出下的对比.

给定足够的时间,一个循规蹈矩的开发者只会按照下面这种经过论证的方式来编写精确高效的软件:

  1. 设计实现一个可以正确完成任务的软件,包括开发单独的测试
  2. 测试性能,明确瓶颈
  3. 优化,根据测试和Amdahl法则,并且利用Python与C的渊源

虽然这听起来很简单,但是即使是老道的工程师,这依旧是一个非常耗时的过程。Python设计之初就考虑到了这一套开发流程。根据我们的经验,通常C++和Java项目完成一次迭代流程的时间,够Python项目完成三次迭代流程。今天,PayPal和eBay中不乏有Python项目使用更少的代码战胜了同类C++和Java项目,这多亏了快速的开发使得仔细的裁剪和优化变得可能。

谬误 #7: Python无法做到大规模

大规模有许多定义,但无论怎样,YouTube是个大规模网站。每月UV超过十亿,每分钟上传的视频时长超过100小时,占用互联网带宽的20%,所有这一切都以Python作为核心技术。Dropbox,DisqusEventbriteRedditTwilio,InstagramYelpEVE OnlineSecond Life,,以及,是的,以及eBay和PayPal中都有Python大规模的例子,这些证明大规模不仅仅是可能:它是一种模式。

成功的关是键简单性且一致性。CPython,Python的主要虚拟机,其最大限度地放大了这些特性,从而演变出了一个精确可测的运行时。人们很难发现 Python程序员关心垃圾的收集暂停或应用地启动时间。拥有强大的平台和网络支持,Python其本身自然而然的智能水平可扩展,BitTorrent就是其充分的体现。

此外,规模化主要涵盖测量和迭代。Python是以分析和优化为要义建立的。看Myth #6了解更多Python如何垂直拓展的细节。

谬误 #8: Python缺少好的并发支持

除了偶尔叫嚣性能规模化的问题,有人想提的技术些,“Python缺乏并发,”或者,“GIL怎么样?“如果几十个反例仍不足以支持Python水平及垂直拓展规模的能力,那么再更深地解释CPython实现细节也不会有帮助,所以我会简短些。

Python拥有强大的并发原语,包括generatorsgreenletsDeferreds, 和futures.。Python有优秀的并发框架,包括eventletgevent,和Twisted。Python在定制运行时尚投入了惊人的工作量,包括Stackless和 PyPy。所有烦人这些和更多表明,根本不存工程师们在Python并发编程方面的缺憾。同时,所有这些都正在被正式的在企业生产环境中支持或使用。例如,请参考Myth #7

全局解释器锁,或称GIL,是Python在大多数应用场景下的性能优化,也是几乎所有CPython实现代码的开发上的基础优化。GIL使得Python可以很便利地使用操作系统的线程或轻线程(通常指greenlets),且不影响使用多进程。更多相关信息,请看该主题的Q&A列表,以及Python文档中的介绍

在PayPal中,一个典型服务的部署需要多台机器,多个进程,多个线程,以及一个数字非常庞大的greenlets,相当于一个非常强大可扩展的并行环境(见下图)。在大多数的企业环境中,团队更倾向于往更高层次过度,谨慎并注重灾难恢复。然而,在某些情况下,每台机器每天Python服务仍然处理数以百万计的请求,而且轻松处理。

Sketch of a PayPal Python server worker

一个基于单一worker的协同异步架构草图。最外层的盒子是进程,下一个层次为线程,这里这些线程都是轻线程。操作系统处理线程间的抢占,而I/O异步协同合作。

谬误 #9: Python 程序员很稀缺

事实上,现在使用 Python 的 web 开发者的确没有使用 PHP 或者 Java 的 web 开发者多。这可能主要是由于企业需求和教育之间的相互作用导致的,不过 教育领域(教学所使用的编程语言)的趋势使得情况可能产生变化 。

也就是说,使用 Python 的开发者并不稀缺。现在全世界有数百万使用 Python 的开发者。已有几十个Python 技术大会、 StackOverflow 上成千上万的 Python 内容问答、雇佣大量使用 Python 的开发者的大企业比如 YouTube 、 美国银行( Bank of American )和 LucasArts/Dreamworks 等等,这些都显而易见地证实了这一点。在 eBay 和 PayPal 我们一直保持拥有几百位使用 Python 的正式开发者,这是怎么做到的呢?

那么,当一个项目被创建时为什么它会被首推?对于孩子来大学生教授们来说,Python作为第一门程序设计语言是非常易于学习的。在eBay,仅仅需要一个星期,一个新的Python程序员就能展示一个真正的成果,并且他们开始散发光芒常常只要2-3个月,通过Internet的宝藏(互动式教程文档开源代码库)一切皆有可能。

另外一个重要的考虑因素是,项目使用Python会更简单,它不会像其他项目那样需要那么多的开发者。在谬误6谬误9中提到的那样,在Python项目中,学习像Instagram那样的高效团队是一个常见的比喻,并且这确实是我们在eBay和PayPal的经验。

谬误 #10: Python不适应于大项目

Myth #7 讨论了大规模运行Python的项目,但开发Python大规模项目是什么情况呢?正如在Myth #9中提到的,大多数Python不被人看好。 然而Instagram在其被亿元美金收购当天达到千万的点击量,而整个公司只有十几个人。Dropbox在2011年只有70个工程师,其他团队更少。所以,Python适合大规模团队吗?

美国银行实际上有超过5000的Python开发者,一个单独的项目超过一千万行Python代码。JP摩根也经历了类似的转变。YouTube也有数千的开发者和数百万行的代码。大规模产品和团队每天都在使用Python,因为它具有良好的模块化和封装特性,在特定方面许多的大规模开发建议是一致的。工具,强大的惯例以及代码审查促使了项目规模化管理的现实。

幸运的是,Python发展于上面所提到的好的奠基。我们在检查执行使用pyflakes以及其他工具进行Python代码的静态分析,正如坚持PEP8——Python语言的基础风格指南。

最后,应该指出的是,除了调度加速Myth #6以及#7中所提到的,使用Python的项目通常需要更少的开发者。我们常见的成功案例中,使用Java或C++的项目通常有3-5开发者耗时2-6个月,最终由单一的开发者在2-6周(或小时,因为这些原因)完成项目。

有点像奇迹,但却是现代发展的事实,但其往往出自一个竞争激烈的行业。

一种干净的状态

这些谬误可能只是消遣。讨论这些谬误仍然很活跃的和受启发的,包括内部和外部, 因为隐含在每一个谬误里的都是一个Python的优势的认识。 而且, 记住这些看似乏味的表现和麻烦的问题是稳步成长的表露, 并稳定地增长兴趣促进教育和持续地工作。 在这里,希望能扑灭一场充满火焰的战争,并且使得能真正去谈论工作与Python的实现。

留心将来的帖子,我将深入研究细节在这个概览。 那么你在那之前就必须了解细节,已经修正 或是注释起来, 我的电子邮件是mahmoud@paypal.com. 到那时,开心编码吧!

12
查看其它分页:

发表评论


最新评论

我也要发表评论

赵木华 2015-1-6 23:33  新浪微博网友评论
想学但目前不急
回复
若恋琴心 2015-1-4 11:33  新浪微博网友评论
@我的印象笔记
回复
HI浮生若茶 2015-1-4 10:33  新浪微博网友评论
@Linux中国 错别字,JavaScript,但是写的很好
回复
pengdu 2015-1-4 09:33  新浪微博网友评论
@我的印象笔记
回复
追夕阳的蜗牛 2015-1-4 09:03  新浪微博网友评论
@我的印象笔记
回复
预_流 2015-1-4 09:03  新浪微博网友评论
@我的印象笔记
回复
LPW-2014 2015-1-4 08:33  新浪微博网友评论
今年想深入学习python了,一门文艺范的语言,simple is beauty。
回复
Big_Reds 2015-1-4 08:03  新浪微博网友评论
呵呵 py
回复
Teehong 2015-1-4 08:03  新浪微博网友评论
Repost
回复
LionMOD 2015-1-4 08:03  新浪微博网友评论
PayPal[笑cry]
回复
翟启亮 2015-1-4 07:33  新浪微博网友评论
@我的印象笔记
回复
返回顶部

分享到微信朋友圈

打开微信,点击底部的“发现”,
使用“扫一扫”将网页分享至朋友圈。