エンタープライズグレードのプライベートAIプラットフォーム (🚀 AMATERASU v1.23.0)

Important

このリポジトリはSourceSageを活用しており、リリースノートやREADME、コミットメッセージの9割はSourceSage ＋ claude.aiで生成しています。

Note

AMATERASUはMOAの後継プロジェクトです。各AIサービスを独立したEC2インスタンス上でDocker Composeを用いて実行し、Terraformで簡単にデプロイできるように進化させました。

🚀 プロジェクト概要

AMATERASUは、エンタープライズグレードのプライベートAIプラットフォームです。AWS BedrockとGoogle Vertex AIをベースに構築されており、セキュアでスケーラブルな環境でLLMを活用したアプリケーションを開発・運用できます。GitLabとの統合により、バージョン管理、CI/CDパイプライン、プロジェクト管理を効率化します。このリポジトリは、複数のAI関連プロジェクトを管理するための「呪文書（Spellbook）」として構成されています。各プロジェクトは、特定のAIサービスや機能をデプロイ・管理するための独立したフォルダとして構造化されています。

✨ 主な機能

セキュアな基盤

• AWS BedrockとGoogle Vertex AIベースの安全なLLM基盤
• 完全クローズド環境での運用
• エンタープライズグレードのセキュリティ

マイクロサービスアーキテクチャ

• 独立したサービスコンポーネント
• コンテナベースのデプロイメント
• 柔軟なスケーリング

Infrastructure as Code

• Terraformによる完全自動化されたデプロイ
• 環境ごとの設定管理
• バージョン管理された構成

GitLab統合

• バージョン管理、CI/CDパイプライン、プロジェクト管理機能の向上
• セルフホスト型GitLabインスタンスの統合
• LLMを用いたマージリクエスト分析
• GitLab Webhookを用いた自動ラベル付け

プロジェクト探索機能

• Terraformプロジェクトの自動検出とterraform.tfvarsファイルの生成
• amaterasuコマンドラインツールによる簡素化された設定

🏗️ システムアーキテクチャ

• AMATERASU Base Infrastructureは再利用可能な基盤コンポーネントを提供し、コストと管理オーバーヘッドを削減
• 異なる目的のセキュリティグループ（Default、CloudFront、VPC Internal、Whitelist）で多層的なセキュリティを実現
• AMATERASU EC2 ModuleはEC2インスタンス上でDockerコンテナを実行
• AMATERASU EE ModuleはECSクラスターを使用し、開発環境からECRにデプロイして運用
• 両モジュールはCloudFrontとWAFによるIPホワイトリストで保護され、同じベースインフラストラクチャを共有
• インフラ全体はTerraformでモジュール化された設計によって管理され、同じセキュリティグループとネットワーク設定を活用

📦 コンポーネント構成

1. Open WebUI (フロントエンド)

• チャットベースのユーザーインターフェース
• レスポンシブデザイン
• プロンプトテンプレート管理
  • 詳細はこちら

2. LiteLLM (APIプロキシ)

• Claude-3系列モデルへの統一的なアクセス
• Google Vertex AIモデルへのアクセス
• OpenRouter API統合
• APIキー管理とレート制限
  • 詳細はこちら

3. Langfuse (モニタリング)

• 使用状況の追跡
• コスト分析
• パフォーマンスモニタリング
  • 詳細はこちら

4. GitLab (バージョン管理)

• セルフホストGitLabインスタンス
• プロジェクトとコード管理
• CIパイプラインとRunner設定
• バックアップと復元機能

5. FG-prompt-pandora (Fargate版サンプルアプリケーション)

• AWS Fargateでの自動スケーリング
• Claude-3.5-Sonnetを活用したプロンプト生成
• Streamlitベースの直感的UI
  • 詳細はこちら

6. Coder (クラウド開発環境)

• WebベースのIDE環境
• VS Code拡張機能のサポート
• AWSインフラストラクチャ上でのセキュアな開発
  • 詳細はこちら

7. Dify (AIアプリケーション開発プラットフォーム)

• 様々なAIモデルを統合したアプリケーション開発プラットフォーム
• UI/APIベースの開発が可能
  • 詳細はこちら

8. Dify Beta (AIアプリケーション開発プラットフォーム)

• 新機能と実験的な機能を含むDifyのベータ版
• ベクトルデータベースとサンドボックス環境の高度な設定が可能
  • 詳細はこちら

9. Open WebUI Pipeline

• Open WebUIとの連携を強化するパイプライン機能
• 会話ターン制限やLangfuse連携などのフィルター処理が可能
  • 詳細はこちら

10. Amaterasu Tool (Terraform 変数ジェネレーター)

• コマンドラインツールでterraform.tfvarsファイルの生成を自動化
• spellbook の各プロジェクトを対象に設定値を生成
  • 詳細はこちら

11. Kotaemon (ドキュメントとチャットRAG UIツール)

• ドキュメントとチャットするためのRAG UIツール
• Docker環境とTerraform設定を提供
• データ永続化とカスタマイズ可能な環境設定
• セキュアな認証システムを実装
  • 詳細はこちら

12. Bolt DIY (AIチャットインターフェース)

• 最新のAIチャットインターフェース
• 複数のAIプロバイダー（OpenAI、Anthropic、Google等）をサポート
• Dockerコンテナ化された環境を提供
• CloudFrontインフラストラクチャの設定
  • 詳細はこちら

13. LLMテスター(Gradio版)

• GradioベースのLLMプロキシ接続テスター
• 各種パラメータ設定とデバッグ情報表示
  • 詳細はこちら

14. LLMテスター(Streamlit版)

• StreamlitベースのLLMプロキシ接続テスター
• 各種パラメータ設定とデバッグ情報表示
  • 詳細はこちら

15. Marp Editable UI (Markdown プレゼンテーション編集ツール)

• Markdown形式でプレゼンテーションを作成・編集できるWebアプリケーション
• Dockerコンテナ化された環境を提供
  • 詳細はこちら

16. App Gallery Showcase (プロジェクト紹介Webアプリケーション)

• プロジェクトを視覚的に美しく紹介するWebアプリケーション
• Dockerコンテナ化された環境を提供
  • 詳細はこちら

17. LibreChat (AIチャットアプリケーション)

• 多様なLLMプロバイダーをサポートするAIチャットアプリケーション
• セキュアな認証システムとアクセス制御
  • 詳細はこちら

18. PDF to Audio 変換システム

• PDFファイルから音声ファイルを生成するシステム
• VOICEVOX連携による日本語音声変換機能
  • 詳細はこちら

🔧 使用方法

各コンポーネントの使用方法については、それぞれのREADMEファイルを参照してください。 amaterasuコマンドラインツールの使用方法については、spellbook/amaterasu-tool-ui/README.mdを参照ください。

📦 インストール手順

1. リポジトリをクローンします。

cp .env.example .env
# .envファイルを編集して必要な設定を行う

git clone https://github.com/Sunwood-ai-labs/AMATERASU.git cd AMATERASU

## 🆕 最新情報

このリリースでは、LibreChatとSupabaseの統合、PDF to Audio変換システムの導入、および様々な機能強化とインフラ構築が行われました。特に、LibreChatの設定ファイルとドキュメント、Supabaseの基本設定ファイル、PDF to Audio変換システムの初期セットアップ、Terraformによるインフラ構成の追加、およびドキュメントの多言語対応が重要な変更点です。LiteLLMの設定も更新され、DeepSeekモデルが追加されています。

## 📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。