Autoitで画像を探しクリックする(画像認識)

探したい画像があると、そこの場所をクリックしてくれます。

Autoitは、UWSC以上に賢いと思います。
jpg,Bmp,Pngいろいろな画像を探しクリックしてくれます。かなり正確に探してくれます。

Autoitは、Basic言語のようなスクリプトで、IE・Chromeなどのブラウザ,Excel・LibreOfficeなどの表計算,オンラインゲームなどを自動で動かせるようにできます。

Autoitはどこで手に入れることできるか:

_ImageSearch 関数を使うためすること

(1)当然ですが、「Autoit」がインストールされていること

(2)画像探すためには、2つの重要なファイルがあります。

ImageSearch.au3
ImageSearchDLL.dll

:_英語サイトですが、途中にダウンロードのリンクがあります。

こんな感じです。

サイト見るとこんな形での場所がありますので、そこをクリックします

  64bitダウンしたら、Autoitも64Bit版使わないとエラーになります。

こんなエラーが出たら

上記の必要ファイルにパスが通っていない可能性があるので、同じフォルダに入れてください。

_ImageSearch()関数の使い方(引数)

「引数」とは、ImageSearch関数にいろいろな情報を教えるためのものです。

(1)スクリプトのヘッド部分(先頭)に:

#include “ImageSearch.au3”

 ダウンロードしたユーザー関数ファイルです。

(2)「引数」の役割

_ImageSearch(“画像ファイル名”, 0(左上)or1(真中), $x, $y, 許容値)

左上or真中:0または1 取得する座標の位置の違いです。
$x $yには画像が見つかったとき、座標が入ります。
許容値:探す画像少し違っても探し出すかです。(よく理解できません)

_ImageSearch(‘twitter.png’,1,$x, $y,0~256) を試す

関数の最後のパラメータ使い方よくわからないので、値を変化させ、色々実験してみます。

値0   _ImageSearch(‘twitter.png’,1,$x, $y,0)

inputBoxでパラメータを設定してます。目的の画像に移動してます。(値0)

探してる画像はこれです。twitter twitterのアイコン画像です。

値255  _ImageSearch(‘twitter.png’,1,$x, $y,255)

似たものを探してしまいます。画面のはじから探し始めます
左上から探し始めるので、ゴミ箱横に行ったと思われます。

値100  _ImageSearch(‘twitter.png’,1,$x, $y,100)

別の違うところ,似たようなところに言ってしまいます。
左上から探すようなので、似た画像がある場合は範囲を指定し確率をあげる方法もあります。

画像クリックのサンプル (コード)

Google Sheet のセル背景色を選択

Google sheetのツールバーアイコンを画像認識しています。

セルの背景色を黄色に変えます。「s」押すだけであとは自動です。
色パレットのアイコン探し、中から黄色の画像探しクリックしてます。

#include "ImageSearch.au3"
 
HotKeySet("s", "checkForImage")
 
global $y = 0, $x = 0
 
Func checkForImage()
    Local $search = _ImageSearch('color.png',1,$x, $y,0)
    If $search = 1 Then
        MouseClick("left",$x, $y, 1,50)
    EndIf
    Local $search = _ImageSearch('yellow.png',1,$x, $y,0)
    If $search = 1 Then
        MouseClick("left",$x, $y, 1,50)
    EndIf
EndFunc
 
while 1
    sleep(200)
WEnd

検索する画像を簡単に作る

Raptureというフリーソフトを使うと簡単に、画像を切り取り検索用に利用できます。

アイコンをクリックし起動したら、切り取りたい部分を指定するだけです。

コメント

タイトルとURLをコピーしました