走近 Python (类比 JS )
技术文章 / 2017-11-23

Python 是一门运用很广泛的语言,自动化脚本、爬虫,甚至在深度学习领域也都有 Python 的身影。作为一名前端开发者,也了解 ES6 中的很多特性借鉴自 Python (比如默认参数、解构赋值、Decorator等),同时本文会对 Python 的一些用法与 JS 进行类比。不管是提升自己的知识广度,还是更好地迎接 AI 时代,Python 都是一门值得学习的语言。 数据类型 在 Pytho…

Python 和 Ruby 的对比
技术文章 / 2017-11-23

最近在考虑学习一门后端语言,在ruby和python直接犹豫,然后自己做了一些对比,希望能帮到有同样问题的你。 一、异同对比选择 1、Python和ruby的相同点: 都强调语法简单,都具有更一般的表达方式。python是缩进,ruby是类basic的表达。都大量减少了符号。 都是动态数据类型。都是有丰富的数据结构。 都具有C语言扩展能力,都具有可移植性,比perl的可移植性更好。也都可以作为嵌入…

《流畅的 Python 》阅读笔记
技术文章 / 2017-11-23

起步 《流畅的python》是一本适合python进阶的书, 里面介绍的基本都是高级的python用法. 对于初学python的人来说, 基础大概也就够用了, 但往往由于够用让他们忘了深入, 去精通. 我们希望全面了解这个语言的能力边界, 可能一些高级的特性并不能马上掌握使用, 因此这本书是工作之余, 还有余力的人来阅读, 我这边就将其有用, 精妙的进阶内容整理出来. 这本书有21个章节, 整理也…

Jupyter 常见可视化框架选择
技术文章 / 2017-11-22

对于以Python作为技术栈的数据科学工作者,Jupyter是不得不提的数据报告工具。可能对于R社区而言,鼎鼎大名的ggplot2是常见的可视化框架,而大家对于Python,以及Jupyter为核心的交互式报告的可个视化方案就并没有那么熟悉。本文试图比较几个常用的解决方案,方便大家选择。 选择标准 称述式还是命令式 数据工作者使用的图的类别,常见的就三类:GIS可视化、网络可视化和统计图。因此,大…

如何在kafka-python和confluent-kafka之间做出选择?
技术文章 / 2017-11-20

在Data Syndrome,我们使用并喜爱Kafka。它使我们能够以最少的努力和复杂性将批处理变为实时处理。然而,在最近的一个项目中,我们学到了有关kafka-python软件包的惨痛教训,该软件包促使我思考该如何选择开源工具。本文将反思我们的开源决策过程,介绍两个用于Python的Kafka客户端、我们遇到的问题及我们将采用的解决方案。 kafka-python:蛮荒的西部 kafka-pyt…

Python KafkaProducer and KafkaConsumer的开发模块
技术文章 / 2017-11-20

1.在python中往kakfa写数据和读取数据,使用的是python-kafka库 2.消费者需持续写入数据,因groupid存在偏移量,才能看看到数据。 3.安装库的命令为pip install python-kafka -i https://pypi.douban.com/simple 4.其中返回的message为一个生成器,其中元素的type为<class ‘kafka…

使用 Gc、Objgraph 干掉 Python 内存泄露与循环引用!
技术文章 / 2017-11-16

Python使用引用计数和垃圾回收来做内存管理,前面也写过一遍文章《Python内存优化》,介绍了在python中,如何profile内存使用情况,并做出相应的优化。本文介绍两个更致命的问题:内存泄露与循环引用。内存泄露是让所有程序员都闻风丧胆的问题,轻则导致程序运行速度减慢,重则导致程序崩溃;而循环引用是使用了引用计数的数据结构、编程语言都需要解决的问题。本文揭晓这两个问题在python语言中是…

使用 Python 在 Linux 上实现一键回归测试
技术文章 / 2017-11-15

从代码库迁出代码 —- pexpect 的使用 测试人员从代码库(例如 CVS )迁出代码的过程中,需要手动输入访问密码,而 Python 提供了 Pexpect 模块则能够将手动输入密码这一过程自动化。当然 Pexpect 也可以用来和 ssh、ftp、passwd、telnet 等命令行进行自动化交互。这里我们以 CVS 为例展示如何利用 Pexpect 从代码库迁出代码。 清单 1. 用 p…

Python 最火,R 极具潜力:2017 机器学习调查报告
技术文章 / 2017-11-14

数据平台 Kaggle 近日发布了 2017 机器学习及数据科学调查报告,这也是 Kaggle 首次进行全行业调查。调查共收到超过 16000 份回复,受访内容包括最受欢迎的编程语言、不同国家数据科学家的平均年龄、不同国家的平均年薪等。 点此查阅完整报告 下面主要看看工具使用方面的结果。请注意,该报告包含多个国家的数据,可能存在收集不够全面的情况,仅供参考。 年龄 从全球范围来看,本次调查对象的平…

开源大数据分析平台superset安装与配置
技术文章 / 2017-09-20

Superset最初由Airbnb开发,现已成为Apache旗下的开源项目,源码托管在github之上,由python编写。 目前可以支持Linux和OSX,好像还不支持windows。 首先是安装部署,其实官方文档写得很清楚了(http://superset.apache.org/installation.html#getting-started),这里把个人心得写出来,方便英文不好的朋友参考,…