Python 实现域名解析为ip的方法
今天得了一批域名,需要把域名解析成ip
因为量比较大所以采用了多进程和队列的方式
frommultiprocessingimportProcess,Queue,Pool importsocket importmultiprocessing importos #写入文件 defwrite(q,lock,filename): whilenotq.empty(): url=q.get() print(url) try: ip=socket.gethostbyname(url) except: ip="unknow" print(ip) withopen(filename,'a+')asf: lock.acquire()#加锁防止多个进程写入会混乱 try: f.write(url+""+ip+"\n") finally: lock.release() #添加到队列 defreadurl(q,n): withopen(str(n)+'.txt','r')asf: lines=f.readlines() forlineinlines: q.put(line.strip()) returnq #根据进程进行拆分txt defmulti(urllist,n): withopen(urllist,'r')asf: lines=f.readlines() line=int(len(lines)/n) print(line) forminrange(0,n): withopen(str(m)+'.txt','a+')asf1: foriinrange(line*m,line*(m+1)): f1.write(lines[i]) #删除拆分的txt文件 defremove(n): foriinrange(0,n): os.remove(str(i)+'.txt') print("######清除临时文件######") if__name__=="__main__": manager=multiprocessing.Manager() q=manager.Queue() lock=manager.Lock() m=5#设置扫描进程数 urllist="url.txt"#待解析的url filename="test.txt"#结果保存的文件名 multi(urllist,m) p=Pool(m) foriinrange(m): p.apply_async(write,args=(readurl(q,i),lock,filename)) p.close() p.join() remove(m) print("#######全部文件采集完成########")
以上这篇Python实现域名解析为ip的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持毛票票。