online.kosen-career.tech こちらのイベントでそれっぽいAsureBotを作ったのでその手順を備忘録。基本的な環境構築からオウム返しBotまでは以下を参照。 qiita.com 無料で使えるそれっぽいAPIを探したところA3RTというものがリクルートから提供されていたので、これをBotに組み込むことを目標とする。 a3rt.recruit-tech.co.jp EchoBot.csの初期状態を読むと

OnMessageActivityAsyncでメッセージ送信時の反応
OnMembersAddedAsyncで接続時の最初のメッセージ

を行っていることが分かる。

なので基本的にはOnMessageActivityAsyncの方を拡張していくような形。今回はBot上で画像を扱ってみたかったこともあり、ImageSearchAPIを使ってみた。
Image Search API | PRODUCT | A3RT
結果画像の送信はこちらのプログラムを参考にして実装した。
メッセージにメディアを追加する - Bot Service | Microsoft Docs

using System.Collections.Generic;
using System.Linq;
using System.Threading;
using System.Threading.Tasks;
using Microsoft.Bot.Builder;
using Microsoft.Bot.Schema;
using Newtonsoft.Json;
using Newtonsoft.Json.Linq;
using System.Net;
using System.IO;

namespace Microsoft.BotBuilderSamples.Bots
{
    public class EchoBot : ActivityHandler
    {
        protected override async Task OnMessageActivityAsync(ITurnContext<IMessageActivity> turnContext, CancellationToken cancellationToken)
        {
            var replyText = $"{turnContext.Activity.Text}";

            //API処理
            string search_word = replyText;
            WebRequest request = WebRequest.Create("https://api.a3rt.recruit-tech.co.jp/image_search/v1/search_by_text?apikey=AAAAAAAAAAAAAAAAAAAAAAAA&query=" + search_word);
            WebResponse response = request.GetResponse();

            using (Stream dataStream = response.GetResponseStream())
            {
                // Open the stream using a StreamReader for easy access.
                StreamReader reader = new StreamReader(dataStream);
                // Read the content.
                string responseFromServer = reader.ReadToEnd();

                string jsonString = JsonConvert.SerializeObject(responseFromServer);

                JObject deserial = (JObject)JsonConvert.DeserializeObject(responseFromServer);

                string send_img = deserial["result"]["img"][0]["url"].ToString();

                //返信処理
                IMessageActivity reply = null;
                reply = MessageFactory.Text("This is an inline attachment.");
                reply.Attachments = new List<Attachment>() { GetInternetAttachment(send_img) };

                await turnContext.SendActivityAsync(reply, cancellationToken);
            }

            // Close the response.
            response.Close();
        }

        protected override async Task OnMembersAddedAsync(IList<ChannelAccount> membersAdded, ITurnContext<IConversationUpdateActivity> turnContext, CancellationToken cancellationToken)
        {
            var welcomeText = "Hello and welcome!";
            foreach (var member in membersAdded)
            {
                if (member.Id != turnContext.Activity.Recipient.Id)
                {
                    await turnContext.SendActivityAsync(MessageFactory.Text(welcomeText, welcomeText), cancellationToken);
                }
            }
        }

        private static Attachment GetInternetAttachment(string img_url)
        {
            // ContentUrl must be HTTPS.
            return new Attachment
            {
                Name = @"Resources\architecture-resize.jpg",
                ContentType = "image/jpg",
                ContentUrl = img_url,
            };
        }
    }
}

これを実行してみるとこんな感じ

f:id:massiro-myaon:20210320172212j:plain

画像の数には限りがあるみたいで、見当違いな結果になることも多いが、キーワード次第でそれっぽい結果を返す。今はJson内の1つ目の画像URLを参照しているが、全部表示or最も類似するものを推定みたいなことが出来るといいかもしれない。

C# による JSON 相互変換 (Json.NET 利用) - clock-up-blog

基本的に他のAPIもリクエストするURLと受け取ったJsonの読み方を変えてやることでほぼ全部実装可能。必要に応じて組み合わせて見てほしい。

2020-10-23

USB電源を回路で使用する

授業でUSB電源を回路で使用する機会があり、少し悩んだので備忘録

使うのは以下の2つ

ブレッドボード用マイクロＢメスＵＳＢコネクタＤＩＰ化キット
ＮＪＷ４１８１Ｕ３　ＤＩＰ化キット

1つ目のはUSB電源の5Vを端子にそのまま出してくれる

2つ目ので3.3Vに降圧する

詳細はデータシートにありますが、細かいピン配置などは少し頭を使う必要があるので参考までに活用ください

f:id:massiro-myaon:20201023113154j:plain

2020-10-11

OBSアップデートしようとしたら詰まった話

OBSアップデートしようとしたら詰まりました

avutil-55.dll is still in use　的なのが出ました

特に日本語で調べても見つけられなかったのでメモ

こちらのサイトを見て「Teams」の単語があったので開いていたTeamsを終了
Bug Report - Cannot update to 21.0.1 nor install - avutil-55.dll | OBS Forums
そしてアップデートをやり直したら成功。以上です。

2020-08-13

SORACOM Summer Challenge

SORACOM Summer Challengeに参加して2種類のIoTデバイスを頂きました。
今回はそれらを用いて製作したものとその製作手順を紹介していきます。

www.hello.soracom.jp

はみがきチェッカー

応募時に提案していたアイデアです。
歯ブラシを取り出したタイミングを検知・記録します。

f:id:massiro-myaon:20200813140613j:plain

リミットスイッチをはんだ付けしてプリンターパーツを付けてハード側は完成。

f:id:massiro-myaon:20200813140932j:plain

通知は以下の2つの記事を参考にメール通知とLINE通知を実装しました。
https://soracom.github.io/iot-recipes/door-monitoring-by-iot-starter-kit-magnetic-sensor/
https://www.maff.go.jp/kyusyu/seiryuu/cyoujyugai/attach/pdf/wana_tsu-4.pdf

f:id:massiro-myaon:20200813141112j:plain

f:id:massiro-myaon:20200813141157j:plain

ここまでIoT特化のデバイスを扱ったことがなかったので比較的スムーズに取り組めて楽しかったです。習慣の可視化という点でも色々なユースケースが他にもありそうなので今後も思い付く限り試してみようと思います！

2020-06-03

OculusLink+Kinectでフルトラッキング

VRやってたらフルトラッキング憧れますよね...

そんな中以下の記事を見つけまして...

bironist.hatenablog.com

情報系の先生にKinectV2を借りていたこともあり、OculusLink+Kinectでのフルトラッキングに挑戦！

基本的には上記サイトの手順通りに出来ました！

OculusLink+Kinectでフルトラッキング

詰まった点としてはキャリブレーション時にコントローラから調整できなかったのでバーチャルデスクトップからKinectToVRのパラメータを直接操作することで対応しました。

キャリブレーション失敗例。コントローラから調整できなかったのでバーチャルデスクトップからKinectToVRのパラメータを直接操作することで対応（今パラメータを保存してなかったことに気づいた...） pic.twitter.com/yjvHbJg3Vc
— みゃおん (@blackcatyuma) 2020年6月3日