【转】 python socket向百度发送http长连接请求 并做搜索
2011-10-08 22:13
| #coding=gbk
'''
socket 给百度发送http请求 连接成功后，发送http的get请求，所搜索功能 '''
import socket
import sys
import time
if __name__=='__main__':
#创建套接字
try :
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
except socket.eorror,e:
print 'socket false:%s'%e
print 'socket ...'
#连接百度ip
try :
sock.connect(('220.181.111.148',80))
except socket.error,e:
print 'connect false %s'%e
sock.close()
print 'connect ...'
#发送百度首页面请求并且保持连接
try :
print 'send start...'
str='GET / HTTP/1.1\r\nHost:www.baidu.com\r\nConnection:keep-alive\r\n\r\n'
sock.send(str)
except socket.eorror,e:
print 'send false'
sock.close()
data=''
data = sock.recv(1024)
while (1): '''如何判断数据接收完毕，在发送http 最前端,
包含发送数据文件大小属性Content-Length，
用字符匹配方式取得文件大小,
同过大小判断是否接收完毕。
'''
print data
beg = data.find('Content-Length:',0,len(data))
end = data.find('Content-Type:',0,len(data))
print beg
print end
if(beg == end):
print 'connecting closed'
break
num = long(data[beg+16:end-2])
print num
nums = 0
while (1):
data=sock.recv(1024)
print data
nums +=len(data)
if(nums >= num):
break
word = raw_input('please input your word----->')
str='''GET /s?wd=''' + word + ''' HTTP/1.1
Host:www.baidu.com
Connection: Keep-Alive '''
print str
sock.send(str)
data = ''
data = sock.recv(1024)
sock.close()
print data |
|
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
用python搜索google
from：http://ipython.iteye.com/blog/336304
如果直接用urllib.urlopen(url)会返回一个forbidden的，其实加一个add_header就可以了.
给出一个关键字
word 就会返回搜索结果了。
import urllib
import urllib2
def search(word):
url=r'http://www.google.cn/search?hl=zh-CN&newwindow=1&q='+word+"&start=10&sa=N"
req=urllib2.Request(url)
req.add_header("User-Agent",'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)')
opener=urllib2.build_opener()
text=opener.open(req).read()
return text
python通过socket查询whois脚本
from:http://www.oschina.net/code/snippet_54100_2870
import socket
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(("whois.networksolutions.com", 43))
s.send("sina.com.cn \r\n")
while 1:
v = s.recv(1024)
if v == "" or v == None:
break
print v
s.close()
| |
|
http://blog.csdn.net/maopig/article/details/6968109
http://www.vckbase.com/document/viewdoc/?id=1856
如何创建和使用socket链接池
作者：吴康彬
采用CS方式的程序不可避免都要碰到socket连接的问题，很多时候，使用编程语言当中自带的socket库，使用起来多少有些不习惯，虽然系统自带的库在很多异常处理，稳定性上下了很多功夫，但是要去理解和使用那些库，比如做socket连接池不免要走很多弯路。在这里我和大家讨论下怎么样创建和使用socket链接池。
一般socket链接有以下两种方式：长（常）链接和短链接。
长链接：当数据发送完成后socket链接不断开。一直保留到异常或者是程序退出为止，这种方式的好处是不用每次去发起连接断开，在速度上可以比短连接要快一些，但是相对来说对服务器的资源压力也要大些。长链接用的范围很广，比如游戏系统，qq等等，长（常）链接一般还需要定时向服务器ping数据，以保证socket链接畅通。当ping不通服务器时，需要重新开启链接。
短链接：当一次数据发送完毕后，主动断开链接，每次发送数据都要一次链接、断开操作，这种方式的好处是：对服务器的资源占用相对来说比较小，但是由于每次都要重新链接，速度开销上也比较大，这种方式对于那种不需要经常与服务器交互的情况下比较适用。
上面两种方法在用户量非常大的情况下都存在着很大的不足，因此，我们考虑可以用一种折衷的办法，那就是使用socket的连接池。
程序一开始初始化创建若干数量的长链接。给他们设置一个标识位，这个标识位表示该链接是否空闲的状态。当需要发送数据的时候，系统给它分配一个当前空闲的链接。同时，将得到的链接设置为“忙”，当数据发送完毕后，把链接标识位设置为“闲”，让系统可以分配给下个用户，这样使得两种方式的优点都充分的发挥出来了。杭州携购网络科技有限公司旗下的携购独立购物网(http://www.shopxg.com)系统采用的就是这种方式。用户数量足够多的时候，只需要动态增加链接池的数量即可。
下面我们用具体的程序来讲解下：
首先我们声明一个socket类：