Power Automate Desktop
「UIオートメーション」を使いこなす~フォーム入力~
UIとはUser Interfaceの略でユーザーとコンピュータをつなぐ装置や入力フォームなどを指します。マウスやキーボードはもちろん、画面上のボタンやテキストエリアなどもUIに含まれます。Power Automate Desktopの「UIオートメーション」アクションでは主に画面上のUI操作を自動化していきます。マウスとキーボードの自動化に関しては「マウスとキーボード」というアクションから実行できるので、そちらをご利用ください。「UIオートメーション」の操作は種類が多く、メニューを開いてみると直下のアクションが13種類、更にプルダウンメニューが3種類用意されています。このページでは「フォーム入力」メニューの中にあるアクションについてひとつひとつ動きを確認していきましょう。
(なお、2022/8/2執筆時点でのアクション数であり、今後、利用できるオプションが増える可能性があります。)
1. ウィンドウ内のテキスト フィールドをフォーカス
![テキストフィールドをフォーカス](/wp-content/uploads/2022/08/uiform_focus.webp)
「ウィンドウ内のテキスト フィールドをフォーカス」するアクションでは指定したテキストボックスにフォーカスを当てることができます。今回、テスト画面として下図画面を用意しました。タイトルタグと大見出し、段落文章とテキストボックス、テキストエリア、チェックボックス、ラジオボタン、送信ボタンを用意しています。
![テスト画面](/wp-content/uploads/2022/08/uiform_focus_ex.webp)
このアクションの設定画面はとても簡単です。テキストフィールドというパラメータにフォーカスを当てたいテキストボックスを指定すれば終了です。今回はテスト画面のテキストボックスを指定しました。
![テキストフィールドをフォーカス設定画面](/wp-content/uploads/2022/08/uiform_focus_setting.webp)
実行すると、下図のように指定したテキストボックスにフォーカスが入っていれば成功です。このアクションはテキストエリアを選択しても正常に動作します。
![実行結果](/wp-content/uploads/2022/08/uiform_focus_result.webp)
2. ウィンドウ内のテキスト フィールドに入力する
![テキストフィールドに入力する](/wp-content/uploads/2022/08/uiform_write.webp)
次に「ウィンドウ内のテキスト フィールドに入力する」アクションの動きを確認します。これは指定したテキストボックスに文字を書き込むことができるアクションです。設定画面ではテキストボックスを指定するパラメータ、入力テキストを決めるパラメータ、詳細メニューからテキストボックスがすでに何らかの文字がある場合に書き換えるか追加するかを選ぶパラメータ、入力する前にクリックするかどうかを選ぶパラメータがあります。
![テキストフィールドに入力する設定画面](/wp-content/uploads/2022/08/uiform_write_setting.webp)
上図のように設定した場合の動きを見てみましょう。テキストボックスはテスト画面にあるものを指定しました。実行結果は以下のようになります。連続で実行しても、テキストを置換するようにしているので、「こんにちはこんにちは」という風に連続することはありません。
![実行結果](/wp-content/uploads/2022/08/uiform_write_result.webp)
3. ウィンドウ内のボタンを押す
![ボタンを押す](/wp-content/uploads/2022/08/uiform_push.webp)
「ウィンドウ内のボタンを押す」では指定した任意のボタンをクリックさせることができます。設定はとても簡単に行うことができ、どのボタンを押すか決めるだけです。今回はテスト画面にあったボタンを指定しています。
![ボタンを押す設定画面](/wp-content/uploads/2022/08/uiform_push_setting.webp)
実行してみると、下図のようにボタン押下後に、「プッシュしました」というメッセージが表示され、確かにボタンを押していることが確認できました。なお、メッセージに関してはボタンを押したことがわかるようにJavaScriptで実装しており、RPAの機能ではございません。
![実行前](/wp-content/uploads/2022/08/uiform_push_bef.webp)
![実行後](/wp-content/uploads/2022/08/uiform_push_after.webp)
4. ウィンドウのラジオ ボタンをオンにする
![ラジオボタンをオンにする](/wp-content/uploads/2022/08/uiform_radio.webp)
「ウィンドウのラジオ ボタンをオンにする」を使うと、指定したラジオボタンにチェックを付けることができます。設定画面のパラメータはひとつだけで、ラジオボタンを指定すれば終了です。
![ラジオボタンをオンにする設定画面](/wp-content/uploads/2022/08/uiform_radio_setting.webp)
テスト画面の「テスト5」のラジオボタンを指定して実行した場合、下図のように「テスト5」のラジオボタンに新たにチェックが入ります。もし、ほかのラジオボタンにチェックがすでにあった場合は、そのチェックがなくなり、「テスト5」のボタンにチェックが入ります。
![実行前](/wp-content/uploads/2022/08/uiform_radio_bef.webp)
![実行後](/wp-content/uploads/2022/08/uiform_radio_after.webp)
5. ウィンドウのチェック ボックスの状態を設定
![チェックボックスの状態を設定](/wp-content/uploads/2022/08/uiform_check.webp)
「ウィンドウからデータを抽出する」を使うと、指定したウィンドウから取得したデータをExcelか変数に格納することができます。設定画面のパラメータは2つで、ウィンドウの指定と、データをExcelで保存するか、変数で保存するかを選択するだけです。
![チェックボックスの状態を設定画面](/wp-content/uploads/2022/08/uiform_check_setting.webp)
テスト画面の「テスト2」のチェックボックスをONにするように指定した場合、実行すると下図のようにテスト2にチェックを入れることができます。
![実行前](/wp-content/uploads/2022/08/uiform_check_before.webp)
![実行後](/wp-content/uploads/2022/08/uiform_check_after.webp)
6. ウィンドウでドロップ ダウン リストの値を設定する
![ドロップダウンリストの値を設定する](/wp-content/uploads/2022/08/uiform_dropdown.webp)
最後に「ウィンドウでドロップ ダウン リストの値を設定する」アクションの使い方を見てみましょう。こちらも今までと同じようにテスト画面で動きを確認できれば良かったのですが、こちらのアクションはブラウザ対応をしていないので、ブラウザで動きを確認するテスト画面では動作しません。
なので、今回は下図のように設定画面のバッテリー欄にある「バッテリー節約機能」のドロップダウンを使って動きを確認していきましょう。
![検証用画面](/wp-content/uploads/2022/08/uiform_dropdown_ex.webp)
設定画面ではドロップダウンリストの指定と操作方法を選択します。ドロップダウンリストは「バッテリー節約機能」にあるドロップダウンを指定します。
![ドロップダウンリストの値を設定する画面](/wp-content/uploads/2022/08/uiform_dropdown_setting.webp)
「選択したオプションをクリア」の操作を選択した場合、ドロップダウンの選択は初期値に戻ります。今回で言うと、下図のように「なし」に選択が変わります。
![実行結果1](/wp-content/uploads/2022/08/uiform_dropdown_result.webp)
「名前によりオプションを選択する」の操作を選択した場合、追加でオプション名の指定とオプション名で正規表現を使用するかどうかを選択することができます。正規表現を使うと任意の一文字を意味する「?」や任意の0文字以上の文字を意味する「*」などを使用でき、部分一致検索を行うことができるようになります。
![設定画面2](/wp-content/uploads/2022/08/uiform_dropdown_setting2.webp)
上図設定で実行すると、ドロップダウンは「10%」を選択します。
![実行結果2](/wp-content/uploads/2022/08/uiform_dropdown_setting2.webp)
「インデックスによりオプションを選択する」の操作を選択した場合、追加でオプションインデックスを指定します。
![設定画面3](/wp-content/uploads/2022/08/uiform_dropdown_setting3.webp)
この際、気を付ける点は、通常パソコン関連のインデックスは0から始まることが多いのですが、このアクションではインデックスが1から始まることです。今回の例で言うと、「なし」のインデックスは1となり、常時は「7」となります。
![リストインデックスの振られ方](/wp-content/uploads/2022/08/uiform_dropdown_index.webp)
オプションインデックスを4にして実行すると、「30%」が選択されます。
![実行結果3](/wp-content/uploads/2022/08/uiform_dropdown_result3.webp)
以上、「UIオートメーション」の「フォーム入力」アクションについての解説でした。このUIをユーザーと同じように使えるのがRPAの最も大きな強みのひとつと言っても過言ではありません。ぜひ使えるようになって自動化できる幅を広げていってください。
→「Power Automate Desktop」の他の操作も見る執筆者プロフィール
![プロフィール画像](/wp-content/uploads/2022/06/author_pic.webp)
伊藤 丈裕
(株)サムテックのシステムエンジニア。応用情報技術者資格保有。
27歳の時、営業から完全未経験で転職。開発とWebマーケティングを担当。得意言語はJavaとJavaScript。