LaiCai Flow: AIでAndroid端末とエミュレータを自動操作

LaiCai Flow lets you use AI to automate Android devices and emulators. You can edit Flows in Graph View, generate Flows by chatting inside the LaiCai app through an LLM API, or let Codex, Claude, and other desktop AI tools generate Flows through MCP.

LaiCai Flow の動画チュートリアル

  1. LaiCai Flow のUI概要
  2. 最初のLaiCai Flowプロファイルを作成
  3. 最初のLaiCai Flowノードを作成
  4. LaiCai Flowを手動で作成
  5. AI PlannerでLaiCai Flowを生成
  6. CodexとMCPでLaiCai Flowプロファイルを生成
  7. LaiCai Flowでデバイス上のAndroid自動化を実行
  8. LaiCai FlowノードでGoogleフォトを自動化
  9. LaiCai FlowノードでGoogleフォトの画像を1枚削除
  10. Flowの繰り返しノードでGoogleフォトの画像を複数削除
  11. flow.untilでGoogleフォトの画像をすべて自動削除
  12. data.arrayとflow.foreachでAndroidにテキストを自動入力

Core concepts

Flow 設定はフローチャートのように考えられます。Flow 内の各ノードは1つのことだけを行います。各ノードには入力と出力があり、前のノードがデータを後続のノードへ渡します。例えば、[画像一致ノード] は画像の座標を見つけるだけを担当し、その座標を次の [クリックノード] に渡してクリックタスクを実行します。

Profile and Main Flow

A profile stores one or more flows. The Main Flow is the entry point that runs when you start automation on a device.

Nodes and data

Flow には、さまざまな種類のタスクを処理するための多くのノードがあります。各ノードは、画面操作、条件判断、データ変換、フロー制御、外部サービス連携、別の Flow の呼び出しなど、明確な1つの操作またはデータ処理ステップを担当します。ノードの実行後は、後続のノードが利用できるデータを出力できます。

ノードでできること

LaiCai Flow のノードは、画面観察、デバイス操作、データ処理、フロー制御、外部連携をカバーします。画面を観察し、データを選び、デバイスを操作し、その後に分岐、待機、ループ、別の Flow 呼び出しを組み合わせます。

画面観察

画像マッチング、OCR、物体検出、スクリーンショット、UI ツリー検索で、現在の Android 画面上のテキスト、ボタン、テンプレート、表示ターゲットを探します。

vision.matchvision.ocrvision.detectvision.captureui.find

タッチと入力

上流ノードが位置や値を出力した後、タップ、スワイプ、長押し、ドラッグ、テキスト入力、キー入力、クリップボード操作を実行します。

pointer.tappointer.swipepointer.longPresspointer.draginput.text

アプリとデバイス制御

Android アプリの起動や停止、Home と Back、スクリーンショット、録画、音量調整、端末へのメディア保存を行います。

app.openapp.forceStopdevice.homedevice.backdevice.screenshot

データ処理

フィールド抽出、JSON パス読み取り、オブジェクトや配列の作成、リストのフィルターとソート、値の比較、実行状態の保存を行います。

data.pickdata.filterdata.sortdata.jsonGetvar.setstorage.get

フロー制御

条件分岐、待機、実行停止、子 Flow 呼び出し、Flow の繰り返し、配列の走査、子 Flow が成功するまでの実行を行います。

flow.branchflow.waitflow.runflow.repeatflow.forEachflow.until

外部連携

HTTP API の呼び出し、ローカルファイルの読み込み、保存済みマクロや AutoJS スクリプトの実行、より深い Android 自動化が必要な場合の ADB Shell に対応します。

http.requestfile.loadmacro.playautojs.runadb.shell

LaiCai Flow 自動化ワークフローを作成する 3 つの方法

接続されたノードで構成された LaiCai Flow 自動化ワークフローを示す Graph View の例。
方法 1

Graph View で Flow を編集

プログラミングや自動化の経験があり、要件が明確で手順が複雑すぎない場合に適しています。Graph View で自動化ノードを手動で追加し、実行順に接続してから、各ノードのパラメーター、入力、出力、ノード間のデータ受け渡しを設定します。

  • まず目標を、アプリを開く、画面を待つ、ボタンをタップするなどの確定した手順に分けます。
  • 接続線で実行パスと簡単な分岐を表します。例: success、failure、true、false。
  • 小さな区切りごとに実行して、ログでノードパラメーター、入力、出力、デバイス状態を確認します。
方法 2

LaiCai アプリ内の対話で Flow を生成

プログラミングの知識は不要です。誰でも自然言語で自動化タスクを説明し、LaiCai アプリ内で AI に Flow を生成または編集させることができます。アプリを開く、ボタンを探す、文字を認識する、要素をタップする、内容を入力する、操作を繰り返すなど、会話のように目標を伝えられます。さらに @mention でテンプレート画像、OCR 領域、デバイス素材、既存ノードを素早く指定し、AI が現在の Profile をより正確に更新できます。

  • 「YouTube を開き、検索アイコンをタップし、LaiCai Flow と入力する」のように普通の言葉で説明できます。
  • @mention でテンプレート画像、認識領域、ボタンのスクリーンショット、既存ノードなどの assets を指定できます。
  • AI は現在の Flow、ノード能力、デバイス状態、指定された素材に基づいて、ノード接続とパラメーターを生成または調整します。
  • パッケージ名、テンプレート画像、OCR 領域、アカウント情報、API パラメーターが不足している場合は、推測せず補足を求めます。
方法 3

Codex、Claude などのデスクトップ AI ツールで MCP 経由で Flow を生成

すでに Codex、Claude などのデスクトップ AI ツールを使っている人に適しています。LaiCai MCP を通じて、デスクトップ AI はデバイス、ノード能力、自動化素材、既存 Profile を直接読み取れるため、それらのコンテキストをチャットにコピーする必要がなく、そのローカルコンテキストに追加の LLM API token を使う必要もありません。Codex や Claude のコード読解、ファイル分析、構造化推論、長いコンテキスト処理を活かしながら、AI に LaiCai Flow Profile の生成、確認、更新を任せられます。

  • デバイス情報、ノード schema、assets、Profile 内容をチャット画面へ手動コピーする必要はありません。
  • MCP が提供するローカルコンテキストに追加の LLM API token を消費しません。
  • Codex や Claude のコード分析、ファイル読解、問題分解能力を組み合わせて、より複雑な Flow 設計を支援できます。
  • AI がローカルプロジェクトファイル、自動化素材、実デバイス状態を同時に参照しながら Profile を保守したい場面に適しています。