多线程环境下调用 HttpWebRequest 并发连接限制

.Net 的 HttpWebRequest 或者 WebClient 在多线程情况下存在并发连接限制,这个限制在桌面操作系统如 windows xp , windows 7 下默认是2,在服务器操作系统上默认为10. 如果不修改这个并发连接限制,那么客户端同时可以建立的 http 连接数就只有2个或10个。对于一些诸如浏览器或网络蜘蛛的应用,2个或10个并发数量实在太少,大大影响应用的性能。之所以有这个并发连接限制,是因为 http 1.0 和 http 1.1 标准规定并发连接数最大为2. 不过目前主流的浏览器都已经不遵循这个规则了,但 .net framework 依然默认遵循这个规则。 很多文章说用异步方式访问 HttpWebRequest 可以提高并发性能,但我测试下来,如果不修改这个默认并发连接数,同步或异步方式访问性能都很不好。

bxwx小说下载小工具

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 import sys, urllib,string import re,os import threading url=raw_input('input url:') s=url.find("index.html") str=url[0:s] content = urllib.urlopen(url).read() #获取链接与章节目录 re_result=re.compile(r'(?<=<a href=")\d+.html(?=")') lianjie=re.findall(re_result,content) #获取小说名称 re_title=re.compile(r'(?<=<div id="title">).+(?=</)') re_title_result=re.findall(re_title,content) # 章节重新排序 lianjie.sort() #获取文章链接 i=0 wzsj=[] for j in lianjie: wzsj.

SQLite Lib 生成方法

从网上下载的一般都是 SQLite3.dll 和 SQLite3.def 文件。 生成的方法是: 第一步:找到 LIB.EXE 所在目录 一般都在 C:\Program Files\Microsoft Visual Studio\VC98\Bin 下(如果VC是装在C盘的话),在 “运行” 中输入 cmd,然后切换到该目录下 第二步:使用 LIB 命令生成 .lib 文件 很多网页上都介绍,使用 LIB /DEF:sqlite3.def /machine:IX86 即可生成,可是我使用它时遇到一些小问题。 这里就不说了,说说应该注意的几点问题吧。 第一个,你的 sqlite3.def 要是没有在 C:\Program Files\Microsoft Visual Studio\VC98\Bin 下,需要写全路径; 第二,为了清楚起见,你需要注明 .lib 文件的输出路径。下面我给出一个完整的命令行: C:\Program Files\Microsoft Visual Studio\VC98\Bin>LIB /out:D:\test\sqlite3.lib /MACHINE:IX86 /DEF:D:\test\sqlite3.def 运行完这个命令后,你会在 D:\test\ 下发现 sqlite3.lib 和 sqlite3.exp 两个文件。

服务器每天零点更新数据库

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 #include <stdio.h> #include <time.h> #include <sys/time.h> #include <stdlib.
Built with Hugo
主题 StackJimmy 设计