AWS S3 | Notion

<aside> 💡

出力先をAmazon S3に設定する方法について解説します

</aside>

ホーム画面について

クロール設定一覧

パスワードの再設定

ユーザー管理

基礎ガイド

CSSセレクタ

セレクタの抽出手順

セレクタ設定練習問題

クロール設定例

操作マニュアル

クロール設定新規作成

【2】ページ設定

**【3】**抽出

**【4】**整形

整形処理

【5】結合

**【6】**出力

【7】監視

【8】クロール

トラブルシューティング

システム全般について

ページ設定について

抽出について

整形について

出力について

クロールについて

API活用ガイド

APIリファレンス

GAS との連携

はじめに

出力先を Amazon S3 に設定することでクロール完了後に、自動で Amazon S3 にアップロードされます。
通常業務より Amazon S3 を利用されている方に特化した機能です。

権限設定

概要

お客様の管理する AWS 環境で「ShtockData からのアクセスを信頼する ロール 」を作成してください。
そのロールに「対象の S3 バケットへのアクセス権」を付与してください
そのロールのARNを ShtockData の出力設定 > ロール ARN に転記してください。

手順の詳細

① AWS コンソールを開いて「IAM > ロール」画面から【ロールを作成】ボタンより作成を開始。

② 「カスタム信頼ポリシー」を選択し、下記の JSON を張り付けてロールを作成してください。

ロールにShtockDataの所有するアカウントを許可する

下記の JSON は ShtockData の所有する Google Cloud アカウントを AWS で承認するための設定です。

そのままコピーペーストして作成してください。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Federated": "accounts.google.com"
            },
            "Action": "sts:AssumeRoleWithWebIdentity",
            "Condition": {
                "StringEquals": {
                    "accounts.google.com:aud": [
                        "100400879121200575552",
                        "[email protected]"
                    ]
                }
            }
        }
    ]
}

③ 作成したロールに、対象の Amazon S3 へ PutObject を許可するポリシーを追加してください。

以下では「IAM > ロール > 対象のロール」画面から【許可ポリシー → 許可を追加 → インラインポリシーを作成】の手順でポリシーを追加しています。

S3へのアクセスを許可するポリシー