LaiCai Flow: ใช้ AI ควบคุม Android และ emulator อัตโนมัติ

LaiCai Flow ช่วยใช้ AI ควบคุมอุปกรณ์ Android และ emulator อัตโนมัติ คุณสามารถแก้ไข Flow ใน Graph View สร้าง Flow ด้วยแชต LLM API ในแอป LaiCai หรือให้ Codex, Claude และเครื่องมือ AI บนเดสก์ท็อปสร้าง Flow ผ่าน MCP

วิดีโอสอน LaiCai Flow เพิ่มเติม

  1. ภาพรวม UI ของ LaiCai Flow
  2. สร้างโปรไฟล์ LaiCai Flow แรกของคุณ
  3. สร้างโหนด LaiCai Flow แรกของคุณ
  4. สร้าง LaiCai Flow ด้วยตนเอง
  5. สร้าง LaiCai Flow ด้วย AI Planner
  6. สร้างโปรไฟล์ LaiCai Flow ด้วย Codex และ MCP
  7. เรียกใช้อัตโนมัติ Android บนอุปกรณ์ด้วย LaiCai Flow
  8. ทำงาน Google Photos อัตโนมัติด้วยโหนด LaiCai Flow
  9. ลบรูป Google Photos หนึ่งรูปด้วยโหนด LaiCai Flow
  10. ลบรูป Google Photos หลายรูปด้วยโหนดทำซ้ำของ Flow
  11. ลบรูป Google Photos ทั้งหมดโดยอัตโนมัติด้วย flow.until
  12. พิมพ์ข้อความบน Android อัตโนมัติด้วย data.array และ flow.foreach

Core concepts

คุณสามารถมองการกำหนดค่า Flow เหมือนแผนผังลำดับงานได้: แต่ละโหนดใน Flow ทำหน้าที่เพียงอย่างเดียว แต่ละโหนดมีอินพุตและเอาต์พุต และโหนดก่อนหน้าจะส่งข้อมูลไปยังโหนดถัดไป ตัวอย่างเช่น [โหนดจับคู่รูปภาพ] มีหน้าที่ค้นหาพิกัดของรูปภาพเท่านั้น จากนั้นส่งพิกัดนั้นให้ [โหนดคลิก] ถัดไปเพื่อทำงานคลิก

Profile and Main Flow

A profile stores one or more flows. The Main Flow is the entry point that runs when you start automation on a device.

Nodes and data

Flow มีโหนดหลายประเภทสำหรับจัดการงานที่แตกต่างกัน แต่ละโหนดรับผิดชอบการกระทำหรือขั้นตอนประมวลผลข้อมูลที่ชัดเจนเพียงอย่างเดียว เช่น การทำงานบนหน้าจอ เงื่อนไข การแปลงข้อมูล การควบคุมลำดับงาน การเชื่อมต่อบริการภายนอก หรือการเรียกใช้ Flow อื่น หลังจากโหนดทำงานแล้ว สามารถส่งออกข้อมูลให้โหนดถัดไปใช้งานต่อได้

โหนดทำอะไรได้บ้าง

โหนดของ LaiCai Flow ครอบคลุมการสังเกตหน้าจอ การควบคุมอุปกรณ์ การประมวลผลข้อมูล การควบคุมลำดับงาน และการเชื่อมต่อภายนอก คุณสามารถประกอบเหมือนบล็อก: สังเกตหน้าจอ เลือกข้อมูล สั่งงานอุปกรณ์ แล้วค่อยแยกทาง รอ วนซ้ำ หรือเรียก Flow อื่น

การสังเกตหน้าจอ

ใช้ image matching, OCR, object detection, screenshot และ UI tree search เพื่อหา text, button, template หรือเป้าหมายที่มองเห็นบนหน้าจอ Android ปัจจุบัน

vision.matchvision.ocrvision.detectvision.captureui.find

การแตะและป้อนข้อมูล

หลังจากโหนดก่อนหน้าส่งตำแหน่งหรือค่าเป้าหมายแล้ว ให้แตะ ปัด กดค้าง ลาก พิมพ์ข้อความ กดแป้นพิมพ์ หรือใช้ clipboard

pointer.tappointer.swipepointer.longPresspointer.draginput.text

ควบคุมแอปและอุปกรณ์

เปิดหรือหยุดแอป Android ส่ง Home และ Back ถ่ายภาพหน้าจอ อัดหน้าจอ ปรับระดับเสียง หรือบันทึก media ลงในโทรศัพท์

app.openapp.forceStopdevice.homedevice.backdevice.screenshot

ประมวลผลข้อมูล

เลือก field, อ่าน JSON path, สร้าง object และ array, filter และ sort list, เปรียบเทียบค่า และเก็บ runtime state สำหรับขั้นตอนถัดไป

data.pickdata.filterdata.sortdata.jsonGetvar.setstorage.get

ควบคุม Flow

แยกทางตามเงื่อนไข รอระหว่างขั้นตอน หยุดการรัน เรียก child Flow ทำซ้ำ Flow วน array หรือรันจนกว่า child Flow จะสำเร็จ

flow.branchflow.waitflow.runflow.repeatflow.forEachflow.until

การเชื่อมต่อภายนอก

เรียก HTTP API โหลดไฟล์ภายในเครื่อง รัน macro หรือ AutoJS script ที่บันทึกไว้ และใช้ ADB Shell เมื่อต้องการ Android automation ที่ลึกขึ้น

http.requestfile.loadmacro.playautojs.runadb.shell

สามวิธีในการสร้างเวิร์กโฟลว์อัตโนมัติของ LaiCai Flow

ตัวอย่าง Graph View ที่แสดงเวิร์กโฟลว์อัตโนมัติ LaiCai Flow ซึ่งสร้างจาก node ที่เชื่อมต่อกัน
วิธีที่ 1

แก้ไข Flow ใน Graph View

เหมาะกับผู้ที่มีประสบการณ์ด้านการเขียนโปรแกรมหรือระบบอัตโนมัติ เมื่อความต้องการชัดเจนและขั้นตอนไม่ซับซ้อนเกินไป ใน Graph View ให้เพิ่ม node อัตโนมัติด้วยตนเอง เชื่อมตามลำดับการทำงาน แล้วตั้งค่าพารามิเตอร์ input, output และการส่งข้อมูลระหว่าง node

  • เริ่มจากแยกเป้าหมายเป็นขั้นตอนที่แน่นอน เช่น เปิดแอป รอหน้าจอ แล้วแตะปุ่ม
  • ใช้เส้นเชื่อมเพื่อแสดงเส้นทางการทำงานและ branch ง่าย ๆ เช่น success, failure, true และ false
  • เมื่อทำเสร็จทีละช่วง ให้รันตรวจสอบและดู log เพื่อเช็กพารามิเตอร์ node, input, output และสถานะอุปกรณ์
วิธีที่ 2

สร้าง Flow ด้วยการสนทนาในแอป LaiCai

ไม่ต้องมีพื้นฐานการเขียนโปรแกรม ทุกคนสามารถอธิบายงานอัตโนมัติด้วยภาษาธรรมชาติ แล้วให้ AI สร้างหรือแก้ไข Flow ในแอป LaiCai ได้ คุณอธิบายเป้าหมายเหมือนแชต เช่น เปิดแอป ค้นหาปุ่ม อ่านข้อความ แตะองค์ประกอบ ป้อนเนื้อหา หรือทำงานซ้ำ และยังใช้ @mention เพื่อเลือกภาพ template, พื้นที่ OCR, assets ของอุปกรณ์ หรือ node ที่มีอยู่ได้อย่างรวดเร็ว เพื่อให้ AI อัปเดต Profile ปัจจุบันได้แม่นยำขึ้น

  • อธิบายความต้องการด้วยภาษาปกติ เช่น “เปิด YouTube แตะไอคอนค้นหา แล้วพิมพ์ LaiCai Flow”
  • ใช้ @mention เพื่อเลือก assets ที่ต้องใช้ เช่น ภาพ template, พื้นที่ตรวจจับ, ภาพปุ่ม หรือ node ที่มีอยู่
  • AI จะใช้ Flow ปัจจุบัน ความสามารถของ node สถานะอุปกรณ์ และ assets ที่คุณเลือก เพื่อสร้างหรือปรับการเชื่อมต่อ node และพารามิเตอร์
  • หากขาดชื่อ package, ภาพ template, พื้นที่ OCR, ข้อมูลบัญชี หรือพารามิเตอร์ API แอปจะขอให้คุณเติมข้อมูล แทนที่จะเดาเอง
วิธีที่ 3

สร้าง Flow ผ่าน MCP ใน Codex, Claude และเครื่องมือ AI บนเดสก์ท็อปอื่น

เหมาะกับผู้ที่ใช้งาน Codex, Claude หรือเครื่องมือ AI บนเดสก์ท็อปอยู่แล้ว ผ่าน LaiCai MCP เครื่องมือ AI บนเดสก์ท็อปสามารถอ่านอุปกรณ์ ความสามารถของ node, assets อัตโนมัติ และ Profile ที่มีอยู่ได้โดยตรง คุณจึงไม่ต้องคัดลอกบริบทเหล่านี้ไปใส่ในแชต และไม่ต้องใช้ LLM API token เพิ่มสำหรับบริบทในเครื่องส่วนนี้ คุณยังสามารถใช้ความสามารถของ Codex และ Claude ในการอ่านโค้ด วิเคราะห์ไฟล์ ให้เหตุผลแบบมีโครงสร้าง และจัดการบริบทยาว เพื่อให้ AI สร้าง ตรวจสอบ หรืออัปเดต LaiCai Flow Profile ได้

  • ไม่ต้องคัดลอกข้อมูลอุปกรณ์ node schema, assets หรือเนื้อหา Profile ไปยังหน้าต่างแชตด้วยตนเอง
  • บริบทในเครื่องที่ MCP ให้มาไม่ใช้ LLM API token เพิ่ม
  • สามารถผสานความสามารถของ Codex และ Claude ด้านการวิเคราะห์โค้ด อ่านไฟล์ และแยกปัญหา เพื่อช่วยออกแบบ Flow ที่ซับซ้อนขึ้น
  • เหมาะเมื่ออยากให้ AI อ้างอิงไฟล์โปรเจกต์ในเครื่อง assets อัตโนมัติ และสถานะอุปกรณ์จริงพร้อมกันขณะดูแล Profile