千锋教育-做有情怀、有良心、有品质的职业教育机构

当前位置:首页  >  IT面试题  >  Python面试题  >  正文

python库之文本处理

来源:千锋教育
作者:wjy
关键词: 广州 成都
2022-09-26
分享

  文本处理

  用于解析和操作简单文本的库。

  通用

  difflib – (Python标准库)帮助进行差异化比较。

  Levenshtein – 快速计算Levenshtein距离和字符串相似度。

  fuzzywuzzy – 模糊字符串匹配。

  esmre – 正则表达式加速器。

  ftfy – 自动整理Unicode文本,减少碎片化。

  自然语言处理

  处理人类语言问题的库。

  NLTK -编写Python程序来处理人类语言数据的最好平台。

  Pattern – Python的网络挖掘模块。他有自然语言处理工具,机器学习以及其它。

  TextBlob – 为深入自然语言处理任务提供了一致的API。是基于NLTK以及Pattern的巨人之肩上发展的。

  jieba – 中文分词工具。

  SnowNLP – 中文文本处理库。

  loso – 另一个中文分词库。

python库之文本处理

  浏览器自动化与仿真

  selenium – 自动化真正的浏览器(Chrome浏览器,火狐浏览器,Opera浏览器,IE浏览器)。

  Ghost.py – 对PyQt的webkit的封装(需要PyQT)。

  Spynner – 对PyQt的webkit的封装(需要PyQT)。

  Splinter – 通用API浏览器模拟器(selenium web驱动,Django客户端,Zope)。

  多重处理

  threading – Python标准库的线程运行。对于I/O密集型任务很有效。对于CPU绑定的任务没用,因为python GIL。

  multiprocessing – 标准的Python库运行多进程。

  celery – 基于分布式消息传递的异步任务队列/作业队列。

  concurrent-futures – concurrent-futures 模块为调用异步执行提供了一个高层次的接口。

  异步

  异步网络编程库

  asyncio – (在Python 3.4 +版本以上的 Python标准库)异步I/O,时间循环,协同程序和任务。

  Twisted – 基于事件驱动的网络引擎框架。

  Tornado – 一个网络框架和异步网络库。

  pulsar – Python事件驱动的并发框架。

  diesel – Python的基于绿色事件的I/O框架。

  gevent – 一个使用greenlet 的基于协程的Python网络库。

  eventlet – 有WSGI支持的异步框架。

  Tomorrow – 异步代码的奇妙的修饰语法。

  队列

  celery – 基于分布式消息传递的异步任务队列/作业队列。

  huey – 小型多线程任务队列。

  mrq – Mr. Queue – 使用redis & Gevent 的Python分布式工作任务队列。

  RQ – 基于Redis的轻量级任务队列管理器。

  simpleq – 一个简单的,可无限扩展,基于Amazon SQS的队列。

  python-gearman – Gearman的Python API。

  云计算

  picloud – 云端执行Python代码。

  http://dominoup.com – 云端执行R,Python和matlab代码

  网页内容提取

  提取网页内容的库。

  HTML页面的文本和元数据

  newspaper – 用Python进行新闻提取、文章提取和内容策展。

  html2text – 将HTML转为Markdown格式文本。

  python-goose – HTML内容/文章提取器。

  lassie – 人性化的网页内容检索工具

  WebSocket

  用于WebSocket的库。

  Crossbar – 开源的应用消息传递路由器(Python实现的用于Autobahn的WebSocket和WAMP)。

  AutobahnPython – 提供了WebSocket协议和WAMP协议的Python实现并且开源。

  WebSocket-for-Python – Python 2和3以及PyPy的WebSocket客户端和服务器库。

  DNS解析

  dnsyo – 在全球超过1500个的DNS服务器上检查你的DNS。

  pycares – c-ares的接口。c-ares是进行DNS请求和异步名称决议的C语言库。

  计算机视觉

  OpenCV – 开源计算机视觉库。

  SimpleCV – 用于照相机、图像处理、特征提取、格式转换的简介,可读性强的接口(基于OpenCV)。

  mahotas – 快速计算机图像处理算法(完全使用 C++ 实现),完全基于 numpy 的数组作为它的数据类型。

  代理服务器

  shadowsocks – 一个快速隧道代理,可帮你穿透防火墙(支持TCP和UDP,TFO,多用户和平滑重启,目的IP黑名单)。

  tproxy – tproxy是一个简单的TCP路由代理(第7层),基于Gevent,用Python进行配置。

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

相关推荐

  • 最新开源:高效的Python通用对象池化库 接着你需要创建 Pond 的对象: Pond 可以传递一些参数进去,分别代表: borrowed_timeout :单位为秒,借出对象的最长期限,超过期限的对象归还时会自动销毁不会放入对象池。
  • 那些隐藏的Pycharm实用小技巧(下) 方法:点击左上角“File”→点击“Settings”→找到Project下面的“Python interpreter”→点击“+”→输入你想安装的包的名字,例如“pygame”,然后点击下面的“Install Package”就开始安装了,安装完成就可以用了。
  • 那些隐藏的Pycharm实用小技巧(上) 快速多行注释或者取消多行注释 虽然我们在写代码中可以用“#”来进行单行注释,但如果有多行代码需要注释,那么一行一行来敲“#”就有点麻烦,这里我们可以用鼠标选中多行代码,然后按 Ctrl+/ 就能进行多行代码的注释了,同时也可以取消多行代码的注释。
  • 关于框架的选择误区 在框架的选择问题上,许多人很容易就陷入了下面两个误区中而不自知:哪个框架最好——世上没有最好的框架,只有最适合你自己、最适合你的团队的框架。编程语言选择也是一个道理,你的团队Python最熟就用Python好了
  • web开发的一些框架 Django是一个开源的Web应用框架,由Python写成,支持许多数据库引擎,可以让Web开发变得迅速和可扩展,并会不断的版本更新以匹配Python最新版本,如果是新手程序员,可以从这个框架入手。
  • python库之文本处理 threading – Python标准库的线程运行。对于I/O密集型任务很有效。对于CPU绑定的任务没用,因为python GIL。 multiprocessing – 标准的Python库运行多进程。 celery – 基于分布式消息传递的异步任务队列/作业队列。