博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
简单的python爬虫 --获取当前网页内容
阅读量:5308 次
发布时间:2019-06-14

本文共 1420 字,大约阅读时间需要 4 分钟。

import urllib.request import mysql.connector from Tools.scripts.treesync import raw_input import bs4 from bs4 import BeautifulSoup #爬取的网页地址 response = urllib.request.urlopen('https://jn.fang.lianjia.com/loupan/lixia/nht1/#lixia') buff = response.read() #编码方式 html = buff.decode("utf-8") html_doc =html soup = BeautifulSoup(html_doc,'html.parser') #数据库操作 conn = mysql.connector.connect(user='****', password='****', database='****') cursor = conn.cursor() #存放的表及字段
sql="""insert into ll_pachong(LL_NAME,LL_PRICE,LL_XH) VALUES """ number=0 try:    # 执行sql语句    print('-----------------------------------------------------------------------')    cursor.execute('select * from ll_pachong ')    values = cursor.fetchall()    print('输出结果:', values)    #获取需要的内容并存入mysql数据库    for link in soup.select('.resblock-list-wrapper'):        for ul in link.select('.resblock-desc-wrapper'):            number=number+1            nam=(ul.select('.name'))[0].get_text()            price=(ul.select('.number'))[0].get_text()            cursor.execute("insert into ll_pachong(LL_NAME,LL_PRICE,LL_XH) VALUES ('"+nam+"','"+price+"','"+str(number)+"')")            print((ul.select('.name'))[0].get_text())            print((ul.select('.number'))[0].get_text())    # 提交到数据库执行    conn.commit() except Exception as e:     raise e     # 发生错误时回滚     conn.rollback() cursor.close() conn.close()

转载于:https://www.cnblogs.com/yeluowuti/p/9956486.html

你可能感兴趣的文章
ITOO高校云平台V3.1--项目总结(二)
查看>>
Spring Java-based容器配置
查看>>
android launcher2开发之 有抽屉改成无抽屉
查看>>
Android App补丁更新
查看>>
混用Int与IntPtr导致GetProcAddress始终返回null
查看>>
第四次网络原理笔记
查看>>
mac笔记本怎样显示隐藏的文件
查看>>
关于socket通讯,如何才能高效?
查看>>
NPOI导Excel样式设置
查看>>
webp图像批量转换软件推荐——XnConvert
查看>>
PHP session用redis存储
查看>>
hdu1232畅通工程 并查集
查看>>
部署并启动tomcat服务器
查看>>
Python 主要模块和常用方法简览
查看>>
NES Assembly Language
查看>>
qml学习:对象和属性
查看>>
机器学习算法中文视频教程
查看>>
python Linux flask uwsgi nginx 在centos7.3部署
查看>>
合数幂上下分解表
查看>>
PHP-FPM config 文件生产环境
查看>>