思享工具箱

Python3.x：PDFMiner3k在线、本地解析pdf

摘要：
Python3.x:PDFMiner3k在线和本地解析。pdf安装管道installpdfminer3k示例1：在线解析pdf“”演示：pdf2htmlex解析pdf日期时间：2018-02-2215:300“”importimportlibimportsymportrandomfromlib.requestimportorrlopenfromlib-requests
Python3.x：PDFMiner3k在线、本地解析pdf

安装

pip install pdfminer3k

示例一：在线解析pdf

'''
    Demo：pdf2htmlex解析pdf
    Datetime：2018-02-22 15:30:00
'''

import importlib
import sys
import random
from urllib.request import urlopen
from urllib.request import Request
from pdfminer.converter import PDFPageAggregator
from pdfminer.layout import LTTextBoxHorizontal, LAParams
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.pdfinterp import PDFTextExtractionNotAllowed
from pdfminer.pdfparser import PDFParser, PDFDocument

'''
 解析pdf 文本，保存到txt文件中
'''
importlib.reload(sys)

user_agent = ['Mozilla/5.0 (Windows NT 10.0; WOW64)', 'Mozilla/5.0 (Windows NT 6.3; WOW64)',
              'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
              'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
              'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
              'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
              'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
              'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
              'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
              'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
              'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
              'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
              'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
              'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
              'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
              'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
              'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
              'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
              'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
              'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']
def parse(_path):
    # fp = open(_path, 'rb')  # rb以二进制读模式打开本地pdf文件
    request = Request(url=_path, headers={'User-Agent': random.choice(user_agent)})  # 随机从user_agent列表中抽取一个元素
    fp = urlopen(request) #打开在线PDF文档
    # 用文件对象来创建一个pdf文档分析器
    praser_pdf = PDFParser(fp)
    # 创建一个PDF文档
    doc = PDFDocument()
    # 连接分析器 与文档对象
    praser_pdf.set_document(doc)
    doc.set_parser(praser_pdf)
    # 提供初始化密码doc.initialize("123456")
    # 如果没有密码 就创建一个空的字符串
    doc.initialize()

    # 检测文档是否提供txt转换，不提供就忽略
    if not doc.is_extractable:
        raise PDFTextExtractionNotAllowed
    else:
        # 创建PDf资源管理器 来管理共享资源
        rsrcmgr = PDFResourceManager()
        # 创建一个PDF参数分析器
        laparams = LAParams()
        # 创建聚合器
        device = PDFPageAggregator(rsrcmgr, laparams=laparams)
        # 创建一个PDF页面解释器对象
        interpreter = PDFPageInterpreter(rsrcmgr, device)
        # 循环遍历列表，每次处理一页的内容
        # doc.get_pages() 获取page列表
        for page in doc.get_pages():
            # 使用页面解释器来读取
            interpreter.process_page(page)

            # 使用聚合器获取内容
            layout = device.get_result()

            # 这里layout是一个LTPage对象 里面存放着 这个page解析出的各种对象 一般包括LTTextBox, LTFigure, LTImage, LTTextBoxHorizontal 等等 想要获取文本就获得对象的text属性，
            for out in layout:
                # 判断是否含有get_text()方法，图片之类的就没有
                # if hasattr(out,"get_text"):
                if isinstance(out, LTTextBoxHorizontal):

                    results = out.get_text()
                    print("results: " + results)
if __name__ == '__main__':
    url = "http://******/201707/P020170717564197883913.pdf"
    parse(url)

示例二：解析本地pdf

'''
    Demo：pdf2htmlex解析pdf
    Datetime：2018-02-22 15:30:00
    Author：lizm
'''
import importlib
import sys
import random
from urllib.request import urlopen
from urllib.request import Request
from pdfminer.converter import PDFPageAggregator
from pdfminer.layout import LTTextBoxHorizontal, LAParams
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.pdfinterp import PDFTextExtractionNotAllowed
from pdfminer.pdfparser import PDFParser, PDFDocument

'''
 解析pdf 文本，保存到txt文件中
'''
importlib.reload(sys)

def parseLocal(path_):
    fp = open(path_, 'rb')  # 以二进制读模式打开
    # 用文件对象来创建一个pdf文档分析器
    praser_pdf = PDFParser(fp)
    # 创建一个PDF文档
    doc = PDFDocument()
    # 连接分析器 与文档对象
    praser_pdf.set_document(doc)
    doc.set_parser(praser_pdf)
    # 提供初始化密码doc.initialize("123456")
    # 如果没有密码 就创建一个空的字符串
    doc.initialize()
    # 检测文档是否提供txt转换，不提供就忽略
    if not doc.is_extractable:
        raise PDFTextExtractionNotAllowed
    else:
        # 创建PDf资源管理器 来管理共享资源
        rsrcmgr = PDFResourceManager()
        # 创建一个PDF参数分析器
        laparams = LAParams()
        # 创建聚合器
        device = PDFPageAggregator(rsrcmgr, laparams=laparams)
        # 创建一个PDF页面解释器对象
        interpreter = PDFPageInterpreter(rsrcmgr, device)
        pageCount = 0
        # 循环遍历列表，每次处理一页的内容
        # doc.get_pages() 获取page列表
        for page in doc.get_pages():
            # 使用页面解释器来读取
            interpreter.process_page(page)
            pageCount = pageCount +1
            # 使用聚合器获取内容
            layout = device.get_result()
            count = 0
            # 这里layout是一个LTPage对象 里面存放着 这个page解析出的各种对象 一般包括LTTextBox, LTFigure,
            # LTImage, LTTextBoxHorizontal 等等 想要获取文本就获得对象的text属性，
            for out in layout:
                count = count + 1
                # 判断是否含有get_text()方法，图片之类的就没有
                # if hasattr(out,"get_text"):
                if isinstance(out, LTTextBoxHorizontal):
                    results = out.get_text()
                    results = results.strip().replace(' ', '').replace(',', '').replace('
', '|')
                    print("results:(%s/%s):%s " % (count, pageCount,results))

if __name__ == '__main__':
    path_ = 'E:SublimeWorksprojectdemoP020170717564197883913.pdf'
    parseLocal(path_)

注意：PDFMiner3k对表格数据支持不太友好，可以用pdf2htmlwx（非python第三方库）将pdf转为html，然后在解析html；

使用过程中出现：

pdfminer与日志配置代码有冲突：
#日志配置代码
logger = logging.getLogger()
#set loghandler
file = logging.FileHandler(sys.path[0]+"py_sac_log"+time.strftime("%Y%m%d")+".log")
logger.addHandler(file)
#set formater
formatter = logging.Formatter("%(asctime)s %(levelname)s %(message)s")
file.setFormatter(formatter) 
#set log level
logger.setLevel(logging.NOTSET)
#还未找到原因

标签：#mozilla#pdf#pdfminer | 浏览：168 | 发布日期：

免责声明：文章转载自《Python3.x：PDFMiner3k在线、本地解析pdf》仅用于学习参考。如对内容有疑问，请及时联系本站处理。

上篇Wireshark使用技巧：提取VOIP通话中的音频流Centos7安装完成后一些小优化下篇

宿迁高防，2C2G15M，22元/月；香港BGP，2C5G5M，25元/月 雨云优惠码：MjYwNzM=

相关文章

ABAP学习（24）：Smartforms示例

ABAP Smartforms        ABAP创建可以打印的窗体，二维码等。Tcode: SMARTFORMS,可以创建对应Form以及对应样式Style。 1.创建Style   创建Style:ZTOM_TEST_STYLE1; 整体样式， 指定默认Paragraph的格式L1； 指定字体，大小等；   Paragraph样式， 指定段落字体对...

Java-Word转PDF

1. 下载jar包或者引入pom.xml 下载：https://www.e-iceblue.cn/Downloads/Free-Spire-Doc-JAVA.html 引入pom.xml：https://www.e-iceblue.cn/licensing/install-spirepdf-for-java-from-maven-repository.ht...

IText简介及示例

一、iText简介 　 　iText是著名的开放源码的站点sourceforge一个项目，是用于生成PDF文档的一个java类库。通过iText不仅可以生成PDF或rtf的文档，而且可以将XML、Html文件转化为PDF文件。          使用iText非常方便，引入jar包,程序中就可以使用iText类库了。iText.jar包下载地址:http:...

beamer的安装和使用

想用latex做幻灯片，以前零星看过，知道beamer，但感觉好像挺麻烦，一直没做。 今天google一下，很多相关的结果。 参照这个页面进行安装：http://dsec.pku.edu.cn/~yuhj/wiki/TeXSlides.html --------------------------------------------------------...

将多个markdown汇总成一个markdown或者pdf, 转换为电子书

需求: 比如这个项目, 它是电子书, 但是是md文件的集合, 需求就是, 怎么把它聚合成一个markdown, 或者pdf, 或epub等格式. 发现了这个项目, 它可以完成这个任务. 但是我发现需要改代码才能完成任务. 所以看看它是怎么实现的. 如何聚合成一个markdown文件. 巧妙: awk 'FNR==1{print ""}{print}' $(...

Linux下分割、合并PDF（pdftk），用于Linux系统的6款最佳PDF页面裁剪工具

 Linux下分割、合并PDF（pdftk），用于Linux系统的6款最佳PDF页面裁剪工具 Linux下分割、合并PDF（pdftk） pdftk http://www.pdflabs.com/docs/install-pdftk/ 合并 pdftk 1.pdf 2.pdf 3.pdf cat output 123.pdf pd...

最新文章

随机推荐

思享工具箱导航