python apiを自分のディレクトリで使いたい

[nakada-tatsuyoshi]

現在、ドローンの画像航法(カメラで検出した画像に接近する)ということをシミュレーションしたいと考えています。
その際、ドローンモデルについているカメラから画像を取得する方法に困っています。

自分のディレクトリ(自分のプロジェクトのリポジトリ)でこのapiを使用したいときは、hakoniwa-drone-core/drone_api/libs の中のファイルをコピーして自分のディレクトリに配置すればよいですか？
hakosim.pyの中身を見ると、hakopy やhako_pduというライブラリがimportされていて、これをどうやってダウンロードすればよいのかわかりません。

ご回答いただけると幸いです。よろしくお願いします。

[tmori]

実行環境はどれを使われていますか？

箱庭ドローンシミュレータは、用途に応じて、色々な構成があります。
その構成によって、アプローチが変わってしまいますので、まずはお使いの環境情報を教えてください。

[nakada-tatsuyoshi]

ありがとうございます。環境情報は以下の通りです。
・windows OSにて、hakoniwa-unity-drone のsimulationをunityで開いています。
・wslのそれぞれのターミナルで
　・PX4シミュレーターの起動
　・dockerの立ち上げ、シミュレーターの立ち上げ
　・個人のローカルディレクトリからpythonコードを実行(mavsdk)
を行っています。個人のローカルディレクトリの中のpythonコードでドローンのカメラ画像データを取得し、処理したいと考えています。　

現実ではraspiカメラから画像を取得し、その画像から物体を検出し、接近するということをシミュレーションで動作確認したいです。

環境情報について足りない情報があればまた教えてください。よろしくお願いいたします。

[tmori]

情報ありがとうございます。

現時点では、PX4連携時のカメラ撮影は、正式なAPIは存在しないというのが実情です。
一方で、箱庭のアーキテクチャは柔軟性が強みです。

ですので、カメラデータをPDUデータとして取り出す仕組みはあります。

トライアルとして作成中の機能としては、以下があります。

https://github.com/toppers/hakoniwa-drone-core/blob/main/drone_api/rc/rc-custom-pdu.py

こちらは、ゲームパッドでの操作でのカメラ撮影機能ですが、ポイントは、こちらです。
https://github.com/toppers/hakoniwa-drone-core/blob/1182cbe2179b20a69cf44fee2bd08fd6090a3347/drone_api/rc/rc-custom-pdu.py#L112

非同期で、カメラのPDUデータの送信要求を行っています。

https://github.com/toppers/hakoniwa-drone-core/blob/1182cbe2179b20a69cf44fee2bd08fd6090a3347/drone_api/rc/rc-custom-pdu.py#L112

この際、カメラ撮影のトリガを別のタイミングで行っています。

[tmori]

すみません、dockerコンテナ内であれば、もっと簡単にやれることに気づきましたので、
サンプルコードをコミットしました。こちらを参考にしてください。

https://github.com/toppers/hakoniwa-drone-core/blob/main/drone_api/rc/camera_sample.py

実行方法：

root@WinHako:~/workspace/hakoniwa-drone-core/drone_api# python3 -m rc.camera_sample ../config/pdudef/webavatar.json 4
default drone name:  Drone
INFO: Success for external initialization.
LOADED: PDU DATA
Image received successfully

成功すると、scene.pngファイルが同ディレクトリ内に配置されます。

注意点として、第二引数のrequest_idは1からの連番で、毎回異なる値にしてください。

[nakada-tatsuyoshi]

ありがとうございます。hakoniwa-drone-coreリポジトリ内に自分のリポジトリをcloneし、dockerコンテナ内で実行することにより、無事写真を撮ることができました。

カメラの設定を少しいじりたいと考え、configファイルを探していて、
hakoniwa-unity-drone\simulation\monitor_camera_config.json
を発見したのですが、現在シミュレータで使用している、DJIAvatar2に関する設定がありませんでした。

DJAvatar2の設定ファイルの場所を教えていただけませんか？

宜しくお願い致します。

[tmori]

うまくいってよかったです！

monitor_camera_config.json　ですが、こちらは、別の目的で作成されたものになります。
DJAvatar2のカメラは、ヒエラルキービューからカメラのゲームオブジェクトを探していただき、
カメラ用のスクリプトを調整いただく形になりますね。