BeautifulSoup详解

安装引用

#beautifulsoup4库
pip install beautifulsoup4

#引用
from bs4 import BeautifulSoup

示例

#这个 a 可以换成 你从request里请求过来的网页内容
a = '<a href = "#" abc = 456 def = 123> i am a link </a>'

# a 是源网页的html,第二个参数'html.parser'是使用html的剖析器
soup = BeautifulSoup(a, 'html.parser')

#使用select函数找出所有含有特定CSS属性的或html标签元素
video = soup.select('video')

print(soup.select('a')[0]['href'])#输出"#"
print(soup.select('a')[0]['abc'])#输出"456"
print(soup.select('a')[0]['def'])#输出"123"

完整示例

#requests 请求地址
resp = requests.get(url,headers = headers)

#获取到网页text
html = resp.text

#html是源网页的html,第二个参数'html.parser'是使用html的剖析器
soup = BeautifulSoup(html, 'html.parser')

#使用select函数找出所有含有特定CSS属性的或html标签元素,后面获取数组下标里面的某些html属性
video = soup.select('video')[0]['src'];

path = "C:/Users/tongyao/Desktop/爬网页/file/sp.mp4"

#模拟浏览器请求 保存
req = request.Request(video);

req.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36');

response = request.urlopen(req).read();

#打开路径写入文件,w是写,b是流
with open(path,'wb') as f:
	f.write(response);
print("完成")
来做第一个评论吧!~

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇