目前，Browser Use的功能可以通过自然语言直接描述命令任务，AI便能自动执行。例如，用户只需说“打开5个Bing网页”，不再需要像以前那样写繁琐的代码来完成这一操作。
然而，当前的应用仍不够成熟，主要局限于一些简单的任务，如在特定网站上传文件、同时打开多个标签页搜索不同内容，或在HuggingFace上根据下载量排名找到特定项目等。
而我觉得这类控制浏览器的Agent，主要应该应用于自动化平台的内容发布，或者将网页数据自动化采集到本地。对于这两大应用场景，通常需要登录进入特定平台，而不像HuggingFace或Google这样可以直接搜索获取内容。
然而，由于许多网页需要进行机器人验证（例如通过勾选自行车、红绿灯等Google的reCAPTCHA验证），这让我自己手动点击都感到麻烦。另一个问题是某些应用程序需要登录验证，如豆包搜索数据需要扫码登录或者手机号登录，Twitter以及Chromium等都需要输入登录信息。如果能绕过这些验证会更方便，但目前我还没有尝试过绕过这些验证的方法。
下面是一些实际的部署和应用测试:
01
避免环境冲突, 建议用conda专门创建一个环境, 命令行先安装
可以把Github文件直接下载下来, 里面有很多模版py文件, 可以在此基础上修改, 包括打开多个tab进行搜索,让AI查找机票等模版
可能出现Playwright错误
1234567ERROR [browser] Failed to initialize Playwright browser: BrowserType.launch: Executable doesn't exist at Library/Caches/ms-playwright/chromium-1148/chrome-mac/Chromium.app/Contents/MacOS/Chromium╔════════════════════════════════════════════════════════════╗║ Looks like Playwright was just installed or updated. ║║ Please run the following command to download new browsers: ║║ ║║ playwright install ║║ ║
需要安装playwright的chromium浏览器, 不是在我们常用的Chrome浏览器操作的, 因此针对需要登录注册信息的比较麻烦
playwright安装成功后是下面分布的执行界面
自定义OpenAI API
在env环境变量修改OpenAI的OPENAI_BASE_URL, OPENAI_API_KEY , 但经测试这样会检测不到, 需要直接把api key和base url写到ChatOpenAI里
891011llm = ChatOpenAI( model='gpt-4o', base_url= os.getenv("OPENAI_BASE_URL"), api_key=os.getenv("OPENAI_API_KEY "),调用一次gpt 4o , 0.1元
Windsurf
额度, 现在把Vs code删除了, 改成Windsurf, 在IDE本身嵌入AI对话工具,不需要额外下载插件
在编写代码时, Windsurf会出现可能会用到的代码自动提示
现在也更新了AI搜索问答的功能, @链接,AI能帮你整理网页内容
通过Cascade告诉Windsurf帮我运行应用, AI就可以帮你运行了; 也可以直接说明自己想要开发的任务, AI会帮你创建各个文件,生成代码,对上下文的理解要比Cursor多一些
我自己简单测试下来对话框ai生成代码效果不如Claude,ChatGPT和豆包结合着来。 我不是程序员也没怎么敲过代码,这只是简单测试。 对专业的程序员生产力应该是有帮助的,毕竟连淘宝都有各种方案的付费链接了。
我测试没有设置Prompt,用的默认的。 可以创建.windsurfrule文件, 设置Prompt, 让AI按照你自己的需求来回答。 后续打算再深入研究一下,反正VS code是不用再用了
豆包可以直接跟Github库连接,能够更智能地理解代码上下文，并提供更精准的建议。 但是生成的代码还是会出现明显的错误, 执行不了。
Claude代码生成更专业更准确, 但Claude生成的代码(Claude我上传了4个browser use的使用案例)没有很好结合browser use这个库库的特点,没有太结合上下文, 右侧打开浏览器的步骤完全可以用自然语言叙述, 放在Agent的task里, Claude则没有考虑到这个框架task的作用。上面豆包考虑到了, 因为把整个Github库传输过去了。
ChatGPT则用来一些代码解释和Claude额度没有时备用
02
内容平台分发
substack需要输入网站登录信息,邮箱,密码
1314151617 task_description = ( f"go to https://pamperherself.substack.com/publish/home, " f"enter your email:{email},click sign in with password,enter your password:{password},if the email still needed then enter your email again:{email}" f"create a new post, paste the following content: {user_content}, " f"add the Thistle tag, and click publish"
但是仍然有I'm not a robot验证
下图这些五颜六色的数字编号就是Browser User再起作用,让AI知道每个元素的含义进一步操作
这就是AI控制浏览器类Agent的通用问题: 怎么绕过登录和机器人验证
豆包新闻搜索
中文内容建议直接通过豆包搜索,ima搜索等AI搜索去查找, 比直接到谷歌,百度查找的信息多
搜索后会要求你登录才能查看具体搜索结果
命令行返回的结果也是搜索界面已经有的内容, 没有按照我们要求的黏度计搜索的内容
尝试遇见登录框时等待用户手动登录。 代码有问题, Browser-Use没有必要的方法, 比如下面new page, 框架库没有这个应用,不知道怎么await
await agent.browser.start()page = await agent.browser.new_page("https://www.doubao.com/chat/search")中国微信, 小红书, 飞书这些很屏蔽的, 不会让你通过浏览器就能爬下来很多信息,而往往高质量一些的内容都在这些平台。 目前这些平台的信息,有微信公众号数据源是ima搜索, 抖音数据源是豆包搜索, 都只有在各自平台去搜索,这些平台又需要电话验证码。
百度搜索
Ai搜索也要注册, 直接搜索信息流问题不准
直接百度搜索的大都是广告
Epilogue
整体控制浏览器的Agent还可以再等等, 看后面有没有出来专门对人机验证有完善的功能。 本以为像Browser Use这类AI控制电脑Agent是像影刀RPA一样通过屏幕来Chrome浏览器操作, 结果还是需要用playwright,用Chromium
