Skip to content

Add aiDoubleClick and aiRightClick actions #1590

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Closed
gaopenghua-2022 wants to merge 1 commit into from
Closed

Add aiDoubleClick and aiRightClick actions #1590

Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
15 changes: 12 additions & 3 deletions apps/site/docs/zh/automate-with-scripts-in-yaml.mdx
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -286,11 +286,22 @@ tasks:
xpath: <xpath> # 可选，目标元素的 xpath 路径，用于执行当前操作。如果提供了这个 xpath，Midscene 会优先使用该 xpath 来找到元素，然后依次使用缓存和 AI 模型。默认值为空
cacheable: <boolean> # 可选，当启用 [缓存功能](./caching.mdx) 时，是否允许缓存当前 API 调用结果。默认值为 True

# 双击一个元素，用 prompt 描述元素位置
- aiDoubleClick: <prompt>
deepThink: <boolean> # 可选，是否使用深度思考（deepThink）来精确定位元素。默认值为 False
xpath: <xpath> # 可选，目标元素的 xpath 路径，用于执行当前操作。如果提供了这个 xpath，Midscene 会优先使用该 xpath 来找到元素，然后依次使用缓存和 AI 模型。默认值为空
cacheable: <boolean> # 可选，当启用 [缓存功能](./caching.mdx) 时，是否允许缓存当前 API 调用结果。默认值为 True

# 右击一个元素，用 prompt 描述元素位置
- aiRightClick: <prompt>
deepThink: <boolean> # 可选，是否使用深度思考（deepThink）来精确定位元素。默认值为 False
xpath: <xpath> # 可选，目标元素的 xpath 路径，用于执行当前操作。如果提供了这个 xpath，Midscene 会优先使用该 xpath 来找到元素，然后依次使用缓存和 AI 模型。默认值为空
cacheable: <boolean> # 可选，当启用 [缓存功能](./caching.mdx) 时，是否允许缓存当前 API 调用结果。默认值为 True

# 鼠标悬停一个元素，用 prompt 描述元素位置
- aiHover: <prompt>
deepThink: <boolean> # 可选，是否使用深度思考（deepThink）来精确定位元素。默认值为 False
xpath: <xpath> # 可选，目标元素的 xpath 路径，用于执行当前操作。如果提供了这个 xpath，Midscene 会优先使用该 xpath 来找到元素，然后依次使用缓存和 AI 模型。默认值为空

cacheable: <boolean> # 可选，当启用 [缓存功能](./caching.mdx) 时，是否允许缓存当前 API 调用结果。默认值为 True

# 输入文本到一个元素，用 prompt 描述元素位置
Expand All @@ -305,7 +316,6 @@ tasks:
locate: <prompt>
deepThink: <boolean> # 可选，是否使用深度思考（deepThink）来精确定位元素。默认值为 False
xpath: <xpath> # 可选，目标元素的 xpath 路径，用于执行当前操作。如果提供了这个 xpath，Midscene 会优先使用该 xpath 来找到元素，然后依次使用缓存和 AI 模型。默认值为空

cacheable: <boolean> # 可选，当启用 [缓存功能](./caching.mdx) 时，是否允许缓存当前 API 调用结果。默认值为 True

# 全局滚动，或滚动 prompt 描述的元素
Expand All @@ -316,7 +326,6 @@ tasks:
locate: <prompt> # 可选，执行滚动的元素
deepThink: <boolean> # 可选，是否使用深度思考（deepThink）来精确定位元素。默认值为 False
xpath: <xpath> # 可选，目标元素的 xpath 路径，用于执行当前操作。如果提供了这个 xpath，Midscene 会优先使用该 xpath 来找到元素，然后依次使用缓存和 AI 模型。默认值为空

cacheable: <boolean> # 可选，当启用 [缓存功能](./caching.mdx) 时，是否允许缓存当前 API 调用结果。默认值为 True

# 在报告文件中记录当前截图，并添加描述
Expand Down