这篇文章给大家分享的是有关Python中如何遍历特定目录下的文件提取指定信息的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
需求
需要遍历某目录下的文件(文本/csv,里面包含带有http/https协议的url)提取其中所包含的域名并去重输出
代码
#coding:utf-8
#author: Duckweeds7
import re
import os
import csv
import codecs
import urllib
def splitSign(str1): # 去掉多余符号且提取域名部分 可进行自行修改适应需求
str2 = str1.replace(',','')
proto, rest = urllib.splittype(str2) # 这里用到了urllib库中方法,详情可自行搜索
res, rest = urllib.splithost(rest)
return res
def text_save(filename, data):#filename为写入CSV文件的路径,data为要写入数据列表.
file = open(filename,'a') # a为追加 w为覆盖
for i in range(len(data)):
s = str(data[i]).replace('[','').replace(']','')#去除[],这两行按数据不同,可以选择
s = s.replace("'",'').replace(',','') +'\n' #去除单引号,逗号,每行末尾追加换行符
file.write(s)
file.close()
print("Complete")
def walkFile(file):
regex = re.compile('[a-zA-z]+://[^\s]*')
all_urls = []
for root, dirs, files in os.walk(file):
# root 表示当前正在访问的文件夹路径
# dirs 表示该文件夹下的子目录名list
# files 表示该文件夹下的文件list
# 遍历目录下的文件
for f in files:
f_obj = open(os.path.join(root, f)) # 由于files是文件名需要与os.path拼接为绝对路径
get_urls = regex.findall(f_obj.read()) # 正则提取其中的url
all_urls.extend(map(splitSign, get_urls)) # map函数对get_urls中的每一项进行splitSign函数处理
set_urls = set(all_urls) # set集合去重处理
text_save('E:\\test\\test.csv',list(set_urls)) # 输出的文件名 需要是绝对路径
if __name__ == '__main__':
walkFile('E:\\test') # 输入需要处理的文件夹路径
感谢各位的阅读!关于“Python中如何遍历特定目录下的文件提取指定信息”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!