服务器网站开发替人做赌彩网站被判刑

服务器网站开发,替人做赌彩网站被判刑,网站开发前端的工作内容是什么,网络广告怎么做前言 在网络爬虫开发领域#xff0c;动态页面爬取一直是核心难点之一。传统的请求库#xff08;如 Requests#xff09;仅能获取静态 HTML 内容#xff0c;无法处理由 JavaScript 渲染的动态数据#xff1b;而 Selenium 作为老牌自动化测试工具#xff0c;虽能解决动态页…前言在网络爬虫开发领域动态页面爬取一直是核心难点之一。传统的请求库如 Requests仅能获取静态 HTML 内容无法处理由 JavaScript 渲染的动态数据而 Selenium 作为老牌自动化测试工具虽能解决动态页面爬取问题但存在启动速度慢、资源占用高、稳定性不足等缺陷。Playwright 是微软推出的新一代自动化测试工具凭借跨浏览器支持、异步编程友好、内置等待机制等优势逐渐成为替代 Selenium 爬取动态页面的首选方案。本文将从实战角度出发全面讲解 Playwright 的核心特性、使用方法并通过完整案例演示如何用其高效爬取动态页面帮助开发者掌握这一主流技术。摘要本文聚焦 Playwright 在动态页面爬虫开发中的应用对比其与 Selenium 的核心差异系统讲解 Playwright 的环境搭建、核心 API 使用、动态元素定位、异步爬取等关键技术点。通过实战案例爬取豆瓣电影 Top250动态渲染的电影信息完整展示从页面加载、元素提取到数据存储的全流程同时剖析 Playwright 的底层工作原理帮助开发者理解其高效爬取动态页面的核心逻辑。最终实现一套高性能、高稳定性的动态页面爬虫方案为爬虫开发提供新的技术选型思路。一、Playwright vs Selenium 核心差异对比为清晰展示 Playwright 的优势以下从核心维度对比两者的差异特性PlaywrightSelenium开发团队微软开源社区最初由 ThoughtWorks 开发浏览器支持Chrome、Firefox、Safari、Edge原生支持需要对应浏览器驱动配置复杂异步支持原生支持异步async/await需结合第三方库实现体验差等待机制自动等待元素加载无需手动设置需手动设置显式 / 隐式等待易出错资源占用低启动速度快高启动及运行速度慢元素定位支持更多定位方式如 text、has-text定位方式有限依赖 XPath/CSS稳定性高内置防反爬适配易出现元素未加载完成导致的异常调试体验内置代码生成器、调试工具调试工具需额外配置二、Playwright 环境搭建2.1 安装 PlaywrightPlaywright 的安装分为两个步骤安装 Python 包和安装浏览器驱动Playwright 会自动管理驱动无需手动下载。执行以下命令完成安装bash运行# 安装Playwright Python包 pip install playwright # 安装浏览器驱动Chrome、Firefox、WebKit playwright install2.2 验证安装创建test_install.py文件执行以下代码验证环境是否正常python运行from playwright.sync_api import sync_playwright def test_playwright_install(): with sync_playwright() as p: # 启动Chrome浏览器无头模式 browser p.chromium.launch(headlessTrue) page browser.new_page() # 访问测试页面 page.goto(https://www.baidu.com) # 获取页面标题 title page.title() print(f页面标题{title}) # 关闭浏览器 browser.close() if __name__ __main__: test_playwright_install()输出结果plaintext页面标题百度一下你就知道原理说明sync_playwright()创建同步 Playwright 实例适用于同步编程场景若需异步可使用async_playwright()。p.chromium.launch()启动 Chromium 内核浏览器Chrome/Edge 基于该内核headlessTrue表示无头模式无界面运行便于服务器部署。page.goto()导航至指定 URLPlaywright 会自动等待页面加载完成默认等待 DOMContentLoaded。page.title()获取页面标题验证浏览器是否正常访问目标页面。三、Playwright 核心 API 详解3.1 浏览器与页面操作API 方法功能说明browser p.chromium.launch()启动浏览器实例context browser.new_context()创建浏览器上下文隔离的会话环境page context.new_page()创建新页面page.goto(url, wait_untilload)导航至 URLwait_until 可选 load/domcontentloaded/networkidlepage.close()关闭页面browser.close()关闭浏览器3.2 元素定位与操作Playwright 支持多种元素定位方式核心方法为page.locator()常用定位策略python运行# 1. CSS选择器推荐 locator page.locator(#kw) # 定位百度搜索框 # 2. XPath locator page.locator(//*[idkw]) # 3. 文本匹配 locator page.locator(text百度热搜) # 精确匹配文本 locator page.locator(has-text热搜) # 包含文本 # 4. ID/Class locator page.locator([idkw]) locator page.locator(.s_ipt) # 元素操作 locator.fill(Playwright 爬虫) # 输入文本 locator.click() # 点击元素 locator.wait_for() # 等待元素可见3.3 数据提取python运行# 获取元素文本 text page.locator(.title).text_content() # 获取文本内容含子元素 inner_text page.locator(.title).inner_text() # 获取可见文本 # 获取元素属性 href page.locator(a).get_attribute(href) # 获取页面HTML html page.content() # 执行JS代码 result page.evaluate(() document.body.scrollHeight) # 获取页面高度四、实战爬取豆瓣电影 Top250 动态页面4.1 需求分析豆瓣电影 Top250https://movie.douban.com/top250的电影列表通过 JavaScript 动态渲染需模拟浏览器加载页面提取每部电影的标题、评分、简介、链接等信息并将数据保存至 CSV 文件。4.2 完整代码实现python运行import csv from playwright.sync_api import sync_playwright class DoubanMovieSpider: def __init__(self): self.base_url https://movie.douban.com/top250 self.movies [] # 存储爬取的电影数据 def crawl_movie(self, page): 爬取单页电影数据 # 定位所有电影条目 movie_items page.locator(.item) # 获取条目数量 item_count movie_items.count() print(f当前页电影数量{item_count}) for i in range(item_count): item movie_items.nth(i) # 获取第i个条目 # 提取电影信息 rank item.locator(.pic em).inner_text() # 排名 title item.locator(.hd a span).first.inner_text() # 标题 score item.locator(.rating_num).inner_text() # 评分 quote item.locator(.inq).inner_text() if item.locator(.inq).count() 0 else # 引言 link item.locator(.hd a).get_attribute(href) # 链接 # 存储数据 self.movies.append({ rank: rank, title: title, score: score, quote: quote, link: link }) print(f已爬取{rank}. {title} | 评分{score}) def crawl_all_pages(self): 爬取所有页面 with sync_playwright() as p: # 启动浏览器无头模式若需调试可设为False browser p.chromium.launch( headlessTrue, # 禁用图片加载提升爬取速度 args[--blink-settingsimagesEnabledfalse] ) context browser.new_context( # 设置用户代理模拟真实浏览器 user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ) page context.new_page() # 遍历所有页面共10页 for page_num in range(10): offset page_num * 25 url f{self.base_url}?start{offset}filter print(f\n正在爬取第{page_num 1}页{url}) # 访问页面等待网络空闲确保动态内容加载完成 page.goto(url, wait_untilnetworkidle) # 爬取当前页数据 self.crawl_movie(page) # 关闭浏览器 browser.close() def save_to_csv(self): 将数据保存至CSV文件 with open(douban_top250.csv, w, encodingutf-8-sig, newline) as f: fieldnames [rank, title, score, quote, link] writer csv.DictWriter(f, fieldnamesfieldnames) writer.writeheader() writer.writerows(self.movies) print(f\n数据已保存至douban_top250.csv共{len(self.movies)}条记录) if __name__ __main__: spider DoubanMovieSpider() # 爬取所有页面 spider.crawl_all_pages() # 保存数据 spider.save_to_csv()4.3 输出结果控制台输出部分plaintext正在爬取第1页https://movie.douban.com/top250?start0filter 当前页电影数量25 已爬取1. 肖申克的救赎 | 评分9.7 已爬取2. 霸王别姬 | 评分9.6 已爬取3. 阿甘正传 | 评分9.5 ... 正在爬取第2页https://movie.douban.com/top250?start25filter 当前页电影数量25 已爬取26. 蝙蝠侠黑暗骑士 | 评分9.2 已爬取27. 教父2 | 评分9.3 ... 数据已保存至douban_top250.csv共250条记录CSV 文件输出部分ranktitlescorequotelink1肖申克的救赎9.7希望让人自由。https://movie.douban.com/subject/1292052/2霸王别姬9.6风华绝代。https://movie.douban.com/subject/1291546/3阿甘正传9.5一部美国近现代史。https://movie.douban.com/subject/1292720/4.4 核心原理剖析动态页面加载处理Playwright 的page.goto()方法默认等待 DOMContentLoaded通过设置wait_untilnetworkidle可等待网络请求基本完成无新请求超过 500ms确保 JavaScript 渲染的电影列表完全加载。元素定位与遍历使用page.locator(.item)定位所有电影条目通过count()获取条目数量nth(i)遍历每个条目针对可能不存在的元素如引言.inq通过count() 0判断是否存在避免报错。性能优化启用无头模式headlessTrue减少资源占用添加--blink-settingsimagesEnabledfalse禁用图片加载提升爬取速度设置真实用户代理User-Agent降低被反爬识别的概率。数据存储采用 Python 内置的csv模块将爬取的电影信息写入 CSV 文件encodingutf-8-sig确保中文正常显示newline避免出现空行。五、Playwright 高级特性异步爬取对于高并发爬取场景Playwright 支持异步编程以下是异步版豆瓣 Top250 爬虫示例python运行import csv import asyncio from playwright.async_api import async_playwright class AsyncDoubanMovieSpider: def __init__(self): self.base_url https://movie.douban.com/top250 self.movies [] async def crawl_movie(self, page): 异步爬取单页数据 movie_items page.locator(.item) item_count await movie_items.count() for i in range(item_count): item movie_items.nth(i) rank await item.locator(.pic em).inner_text() title await item.locator(.hd a span).first.inner_text() score await item.locator(.rating_num).inner_text() quote await item.locator(.inq).inner_text() if await item.locator(.inq).count() 0 else link await item.locator(.hd a).get_attribute(href) self.movies.append({ rank: rank, title: title, score: score, quote: quote, link: link }) print(f已爬取{rank}. {title} | 评分{score}) async def crawl_all_pages(self): 异步爬取所有页面 async with async_playwright() as p: browser await p.chromium.launch(headlessTrue) context await browser.new_context( user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ) page await context.new_page() for page_num in range(10): offset page_num * 25 url f{self.base_url}?start{offset}filter print(f\n正在爬取第{page_num 1}页{url}) await page.goto(url, wait_untilnetworkidle) await self.crawl_movie(page) await browser.close() def save_to_csv(self): with open(douban_top250_async.csv, w, encodingutf-8-sig, newline) as f: fieldnames [rank, title, score, quote, link] writer csv.DictWriter(f, fieldnamesfieldnames) writer.writeheader() writer.writerows(self.movies) print(f\n异步爬取完成数据已保存至douban_top250_async.csv共{len(self.movies)}条记录) if __name__ __main__: spider AsyncDoubanMovieSpider() asyncio.run(spider.crawl_all_pages()) spider.save_to_csv()原理说明async_playwright()创建异步 Playwright 实例结合async/await实现异步编程。asyncio.run()执行异步主函数是 Python 3.7 推荐的异步执行方式。异步爬取的优势在爬取多页面 / 多网站时可并发执行请求大幅提升爬取效率相比同步爬取效率提升 3-5 倍。六、防反爬与最佳实践6.1 防反爬策略设置合理的请求间隔在页面跳转时添加随机延迟避免高频请求被封禁python运行import random import time # 同步版延迟 time.sleep(random.uniform(1, 3)) # 异步版延迟 await asyncio.sleep(random.uniform(1, 3))使用代理 IPpython运行# 配置代理 context browser.new_context( proxy{server: http://127.0.0.1:7890}, # 替换为实际代理地址 user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 )避免指纹识别Playwright 默认会隐藏自动化特征但可进一步配置python运行browser p.chromium.launch( headlessTrue, args[ --disable-blink-featuresAutomationControlled, # 禁用自动化检测 --no-sandbox, # 禁用沙箱服务器环境必需 --disable-dev-shm-usage # 解决/dev/shm内存不足问题 ] ) # 清除webdriver标识 page.add_init_script(Object.defineProperty(navigator, webdriver, {get: () undefined}))6.2 最佳实践使用浏览器上下文隔离会话每个爬虫任务使用独立的context避免 Cookie / 缓存冲突。异常处理添加 try-except 捕获页面加载、元素定位异常确保爬虫鲁棒性。断点续爬记录已爬取页面重启时从上次中断位置继续下一篇实战文章将详细讲解。调试技巧启动浏览器时设置headlessFalse并添加slow_mo500慢动作执行便于调试元素定位问题。七、总结Playwright 作为新一代自动化工具在动态页面爬取场景中展现出远超 Selenium 的性能和易用性其原生支持异步、自动等待机制、丰富的元素定位方式大幅降低了动态页面爬虫的开发难度同时通过合理的防反爬配置和性能优化可实现高效、稳定的爬虫开发。本文通过豆瓣电影 Top250 的实战案例完整覆盖了 Playwright 的环境搭建、核心 API、同步 / 异步爬取、数据存储等关键环节希望能为开发者提供一套可直接落地的动态页面爬虫解决方案。在实际开发中可结合 Playwright 的截图、录屏、网络请求拦截等高级功能进一步拓展爬虫的能力边界应对更复杂的反爬场景。后续将继续讲解爬虫请求签名破解、JS 加密逆向等进阶技术敬请关注。