python

Scrapy爬蟲框架安裝與demo示例 2015-12-28

Scrapy,Python開發的一個快速,高層次的螢幕抓取和web抓取框架,用于抓取web站點並從頁面中提取結構化的數據.Scrapy用途廣泛,下面我們來看一個Scrapy爬蟲框架安裝與demo示例Scrapy是一個由python語言編寫的通用爬蟲框架,最近專案組的一個兄弟在幫大數據那邊從一些大型電商網站上爬取商口信息,就是使用scrapy來操作的.由于幫其修改了一點該專案的東西,這裏也順便記錄下scray的一些內容,能寫多少是多少吧.scrayp源碼托管在GitHub上,官網(http://scrapy

安裝FLASK出錯解決以及PIP TRUSTED-HOST參數 2015-12-10

Flask是一個使用 Python 編寫的輕量級 Web 應用框架.其 WSGI 工具箱采用 Werkzeug ,模板引擎則使用 Jinja2 .Flask使用 BSD 授權,今天小編在安裝flask時報錯了,下面來看安裝FLASK出錯解決以及PIP TRUSTED-HOST參數解決辦法.安裝FLASK出錯解決以及PIP TRUSTED-HOST參數安裝Flask報錯:flask_install_error這是根據教程https://dormousehole.readthedocs.org/en/late

Python中requests.get用法示例 2015-12-10

requests get在php中是接受數據了在python中同樣也是接受數據,那麽requests get如何使用呢,下面一起來看看requests get用法例子.例子.@@ -0,0 +1,22 @@+__author__ = 'tanteng'++import requests++def t

WINDOWS上安裝PYTHON2.7 SCRAPY模塊教程 2015-11-28

WINDOWS上安裝PYTHON2.7 SCRAPY模塊教程
安裝PYTHON2.7通常是在linux內核系統中了,如果我們只是學習測試估計需要在windows中安裝PYTHON2.7了,下面我們就一起來看看吧.由于Scrapy目前對Python2.7的支持最好,Python3下可能會有問題,所以還是在Python2.7下裝Scrapy模塊.在Mac上自帶的P

PYTHON3處理JSON的函數 2015-11-05

PYTHON3處理JSON的函數學習python的朋友必須要挑撥的一門技巧的,我們下面給各位整理了一些處理json函數供各位參考學習.在python3中import json模塊,然後使用dir(json)可以看到json模塊提供的函數,下面選幾個常用的json處理函數看看用法:>>> import json>>> dir(json)['JSONDecodeError', 'JSONDecoder', 'JSONEncoder', '__all__', '__autho

整理python連接MySQL/MongoDB/Redis/memcache數據庫教程 2015-10-26

由于經常會用到python連接到mysql操作,有時還會用python連接MongoDB,所以本文就整理出python連接MySQL/MongoDB/Redis/memcache等數據庫的方法,方便查閱.如何整合redis mongodb mysql1.業務系統的關聯關系用mysql組織2.緩存數據

python 與 c/c++ 的交互實踐教程 2015-10-25

python 與 c/c++ 的交互實踐教程
專案需要用到 python 與 c/c++ 程序交互,網上有推薦swig但不符合專案需求,琢磨了 python 的 ctypes 模塊感覺不錯,這裏記錄下來做備用,同時也給廣大 python with c/c++ 派留給方便.測試環境: win 8.1, Visual Studio 2010, Py

windows和ubuntu下使用python寫備份腳本 2015-10-13

一篇關于windows和ubuntu下使用python寫備份腳本 的代碼,有需要的朋友參考一下1.windows 7:安裝python2.x或者3.x,編程語言有不同的地方,需要注意,網上大多是2.x的教程.在cmd之後,運行python xxx.py之前,需要設置環境變量,把python安裝時候的

python join字符連接函數的使用方法 2015-10-13

string模塊的join方法,因此它需要兩個參數,一個是list,另一個是分隔符.而且調用時正如cnxo所示,如果你導入了 string模塊:import string你需要使用string.join()這樣來用.但現在string對象本身就有這樣方法,這樣它只需要一個分隔符參數.用法爲:'+'.join(list1) 最簡單的我們用到了join函數,實例print ''.join(list('hello')) 把數據連接word1 = "A"word2 = "few&qu

Python安裝Image模塊命令詳解 2015-10-13

Python處理圖片我們需要安裝一個圖片模塊pil也就是Python Image Library了,他像php gd庫了,有了它就可以對圖片進行各種處理了.最近專案使用Python對輸出文件進行處理,需要用到Image模塊對圖片進行處理,默認安裝的Python是沒有帶Image庫的,安裝PIL的Image庫還是很簡單的,分享之~如果需要jpeg和zlib支持先安裝相應的包一.下載源碼包http://www.pythonware.com/products/pil/index.htm 下載最新版的PIL安裝程

Python模仿POST提交HTTP數據以及使用Cookie值 2015-10-13

本文章介紹在Python中模仿POST HTTP數據,帶Cookie提交數據實現,這裏有兩個不同的實例方法,各位朋友可參考.方法一如果不使用Cookie, 發送HTTP POST非常簡單: 代碼如下 import urllib2, urllibdata = {'name' : 'www', 'password' : '123456'}f = urllib2.urlopen( url = 'http://www.111cn.net/', data = urllib.urlencode(data)

Python中Excel各種操作與常見問題 2015-10-13

文章簡單的介紹了關于Python中Excel各種操作與常見問題,有需要的朋友可以參考一下.模塊介紹:xlrd 0.7.5 下載地址:http://pypi.python.org/pypi/xlrd 文檔地址:https://secure.simplistix.co.uk/svn/xlrd/trunk

python實現3g QQ機器人程序代碼 2015-10-13

python實現3g QQ機器人程序代碼
目前網上有不少的實現QQ機器人的方法,都不太穩定甚至都已經失效了,而且我們還要冒著QQ號被盜用的風險.其實我們可以自己實現一個QQ自動應答的機器人,思路非常簡單:通過模擬登錄3G版QQ,來實現相關的操作:一.首先我們得看看3GQQ的相關協定 爲此,我們需要一個支持WAP的浏覽器,可以使用Firefox的wmlbrowser插件,打開FF後,訪問地址:https://addons

python zlib壓縮與解壓字符串代碼 2015-10-13

本文章來介紹在python zlib壓縮與解壓字符串代碼,有需要了解的朋友可參考參考.使用zlib.compress可以壓縮字符串.使用zlib.decompress可以解壓字符串.如下 代碼如下 #coding=utf-8import zlibs = "hello word, 00000000000000000000000000000000"print len(s)c = zlib.compress(s)print len(c)d = zlib.decompress(c)print

pyghon list指定位置插入字符的方法 2015-10-13

#list 序列sample_list = [1,2,3,'abc']#dictionary 字典sample_dic = {"key":value, }#tuple 唯讀的序列sample_tuple = (1,3,"ab")序表 序表由一系列值用逗號分隔而成 序表與字符串一樣是不可變的:不

Python操作Mysql實例代碼教程(1/3) 2015-10-13

本文章給學習Python的同學介紹在python 中操作Mysql實例代碼教程,最後面還有一個操作類,希望文章對各位會有所幫助.本文介紹了Python操作MYSQL.執行SQL語句.獲取結果集.遍曆結果集.取得某個字段.獲取表字段名.將圖片插入數據庫.執行事務等各種代碼實例和詳細介紹,代碼居多,是一

Python內置函數map、reduce、filter在文本處理中的應用 2015-10-13

在Python內置函數map.reduce.filter在文本處理中的應用是一門比較簡單的知識點了,下面我們一起來看看這三個函數的用法.文件是由很多行組成的,這些行組成一個列表,python提供了處理列表很有用的三個函數:map.reduce.filter.因此在文本處理中,可以使用這三個函數達到代碼的更加精簡清晰.這裏的map.reduce是python的內置函數,跟hadoop的map.reduce函數沒有關系,不過使用的目的有點類似,map函數做預處理.reduce函數一般做聚合.map.reduc

python連接mongodb(安裝pymongo驅動) 2015-10-13

本文章來給各位同學介紹關于python連接mongodb(安裝pymongo驅動),如果此教程對你有幫助不防進入參考一下.1.wget -q http://peak.telecommunity.com/dist/ez_setup.py2.執行ez_setup.py腳本 代碼如下 python ez_setup.py 3.sudo easy_install pymongo下面是個小例子: 代碼如下 from pymongo import Connectionimport timedb = Connectio

python中readline判斷文件讀取結束實例 2015-10-13

大家知道,python中按行讀取文件可以使用readline函數,下面寫一個按行遍曆讀取文件的方法,通過這個方法,引入我們要討論的問題.例 代碼如下 filename = raw_input('Enter your file name') #輸入要遍曆讀取的文件路徑及文件名file = open(f

python中添加新的lib path實例 2015-10-13

有朋友問我python中怎麽添加新的lib path呢,下面我來介紹介紹.python讀取類庫的順序是,當前目錄,pythonpath,path和安裝目錄.可以動態的設置pythonpath如下: 代碼如下 Python 2.6.3 (r263rc5186, Oct 2 2009, 0) [MSC v.1500 32 bit (Intel)]on win32Type "help", "copyright", "credits"
一周排行