思路很簡單，就是用python發送請求，提取響應體中的狀態碼加以判斷，最后保存到本地txt文本中，以實現網站信息的篩選。

import timeimport requestsimport urllib3from concurrent.futures import ThreadPoolExecutor#取源文件中的網址并且去重def get_url(old_file): with open(old_file,’r’,encoding=’gbk’)as f: urllist=list(set(f.readlines())) return urllist#主體，發送請求，通過異常捕獲判斷能否響應，通過狀態碼判斷網閘能否正常訪問def request(url): url=url.strip() #構造請求頭信息 headers = { ’Connection’: ’keep-alive’, ’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36’ } try: #忽略證書安全警告 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) r=requests.get(url,headers=headers,timeout=10,verify=False)#timeout設置超時時間，我設置了10s，使用verif=False忽略sll認證 if r.status_code==200: cost_time=r.elapsed.total_seconds()#計算訪問耗時 print(url,’ ----->【能訪問】訪問耗時:033[35;46m{:.2f}s033[0m’.format(cost_time)) can_access_save_to_txt(url) else: print(url,’ ----->不能訪問,狀態碼為:033[31;44m{}033[0m’.format(r.status_code)) except: print(url, ’ ----->不能訪問,原因：033[31;44m不能響應033[0m’)#將能訪問的網址保存到new_filedef can_access_save_to_txt(result): result=result.strip() #篩選出不是.apk的url,此判斷可以不加 if not result.endswith(’.apk’): with open(aim_file,’a’)as f: f.write(result+’n’)def main(): s_time=time.time() #使用線程池，創建四條線程。 pool=ThreadPoolExecutor(max_workers=4) urls=get_url(orign_file) for url in urls: pool.submit(request,url) pool.shutdown() e_time=time.time() sum_time=int(e_time-s_time) if sum_time>60: print(f’033[38;46m 程序正常執行結束退出！共耗時:【{sum_time//60}分鐘】 033[0m’) elif sum_time/60>1: print(f’033[38;46m 程序正常執行結束退出！共耗時:【{sum_time//60*60}小時】 033[0m’)if __name__ == ’__main__’: orign_file=r’E:test.txt’ #篩選后能訪問的網址 aim_file='./data/test_can_access.txt' #篩選后不能訪問的網址 main()三．運行結果

本次使用python撰寫了一款篩選網站的小工具，將網站大致分為能訪問和不能訪問兩類，將能夠訪問且狀態碼為200的網站存儲到了文件中，最終實現了網站的篩選。思路、代碼方面有什么不足歡迎各位大佬指正、批評！

以上就是python 制作網站篩選工具(附源碼)的詳細內容，更多關于python 制作網站篩選工具的資料請關注好吧啦網其它相關文章！