776dea87d9
開発環境では、**DB を壊さない前提で、migration → API → 画面 → 同期 → ZIP → 履歴**の順に見るのがよいです。今回の差分は素材管理全体に触っているので、単体でチョンチョン見るより、素材の一生を通すのが早いです。
## 0. 先に方針
**やらないこと:**
```sh id="snb3i6"
rails db:drop
rails db:reset
rails db:setup
DISABLE_DATABASE_ENVIRONMENT_CHECK=1 ...
```
これは禁止。
開発 DB に本番データを入れているなら、床板を剥がして耐震確認するようなものです。
---
## 1. migration 確認
まず現在の状態を見る。
```sh id="qsdfpt"
cd backend
RAILS_ENV=development bundle exec rails db:migrate:status
```
その後、通常 migration。
```sh id="a89fir"
RAILS_ENV=development bundle exec rails db:migrate
```
見るポイント:
```txt id="c1u57a"
materials に source_* / normalized_source_key / version_no がある
material_versions に event_type / file snapshot / source snapshot がある
material_export_items がある
material_sync_suppressions がある
material_sync_sources がある
既存 materials に material_versions version_no=1 create が backfill されている
```
確認用:
```sh id="g4vd4m"
RAILS_ENV=development bundle exec rails runner '
puts "materials=#{Material.count}"
puts "versions=#{MaterialVersion.count}"
puts "materials without versions=#{Material.left_joins(:material_versions).where(material_versions: { id: nil }).count}"
puts "sync suppressions table=#{ActiveRecord::Base.connection.table_exists?(:material_sync_suppressions)}"
'
```
ここで `materials without versions=0` になれば、backfill は通っています。
---
## 2. 既存素材一覧の画面確認
フロントを起動して `/materials` を見る。
```sh id="vl28jd"
cd frontend
npm run dev
```
見る観点:
```txt id="i2ovxw"
初期表示で素材が出る
初期表示ではグルーピングがオフ
タグなし素材も出る
カード表示でサムネまたは代替テキストが出る
一覧表示に切り替えられる
q / tag_state / media_kind / sort / direction が効く
```
ここでまず、普通の素材一覧が壊れていないことを確認します。
---
## 3. 左タグバーの確認
`/materials` を開いて左タグバーからタグを選ぶ。
見る観点:
```txt id="n6udul"
URL が tag_id=...&include_descendants=1&group_by=parent_tag になる
選択中タグが左バーで強調される
一覧上部に「選択中」の表示が出る
「タグ選択を解除」で通常表示に戻れる
解除後、tag_id / include_descendants / group_by / page が消える
子タグ・孫タグの素材も一覧に出る
親タググルーピングされる
```
特に重要なのはこれ。
```txt id="d33os0"
親タグ A を選択
A に直接紐づく素材
A > B に紐づく素材
A > B > C に紐づく素材
が同じ一覧に出ること
```
---
## 4. 選択タグから素材追加
左タグからタグを選択した状態で、一覧上部の **このタグに素材を追加** を押す。
見る観点:
```txt id="qdd5uw"
素材追加画面の tag 欄に選択中タグ名が初期入力されている
file または url を指定して保存できる
保存後 return_to で元のタグ選択済み一覧に戻る
戻った一覧に追加した素材が出る
material_versions に create が 1 件できる
```
Rails console でも確認できます。
```sh id="i07rrb"
RAILS_ENV=development bundle exec rails runner '
m = Material.order(id: :desc).first
puts({ id: m.id, tag: m.tag&.name, versions: m.material_versions.count, version_no: m.version_no }.inspect)
'
```
---
## 5. グループ見出しから素材追加
親タググルーピング表示中に、各グループ見出しの **このタグに素材を追加** を押す。
見る観点:
```txt id="fpx8w4"
グループタグ名が tag 欄に初期入力される
保存後、元の一覧に戻る
追加素材がそのグループ内に出る
```
ここは今回の導線の肝です。棚の見出しから直接その棚へ素材を置けるかを見る。
---
## 6. 素材更新と履歴
既存素材の詳細または編集導線から、タグ・URL・ファイル・export path を更新する。
見る観点:
```txt id="w36i61"
更新前 snapshot が無ければ create が補われる
更新後 update version ができる
file_blob_id / file_filename / file_sha256 が material_versions に入る
export_paths_json が履歴に残る
/materials/changes または /materials/versions で履歴が見える
```
console:
```sh id="a3okhv"
RAILS_ENV=development bundle exec rails runner '
m = Material.order(updated_at: :desc).first
puts m.material_versions.order(:version_no).map { |v|
[v.version_no, v.event_type, v.tag_name, v.file_filename, v.file_sha256, v.export_paths_hash]
}.inspect
'
```
---
## 7. サムネイル
画像素材を追加して、一覧にサムネイルが出るか確認。
動画素材があるなら、`ffmpeg` が入っている環境で backfill。
```sh id="qxm8fj"
cd backend
RAILS_ENV=development bundle exec rails materials:thumbnails:backfill
```
見る観点:
```txt id="s9a1vf"
画像は 180x180 のサムネが付く
動画はフレームからサムネが作られる
非対応ファイルは代替テキスト表示になる
ログに result が出る
```
---
## 8. ZIP export
export path がある素材を用意して、ブラウザで確認。
```txt id="aq7f7o"
/materials/download.zip?profile=legacy_drive
```
見る観点:
```txt id="h4rve5"
ZIP が落ちる
entry path が material_export_items.export_path になる
disabled な export item は入らない
ファイル実体が欠けている場合は 422 と missing_files が返る
```
---
## 9. 抑止
`/materials/suppressions` で path prefix 抑止を追加する。
見る観点:
```txt id="w80jbu"
member で作成できる
guest は forbidden / unauthorized
google_drive_path_prefix で既存素材が discard される
discard 履歴が material_versions に残る
同期時に同じ source_path 配下が再作成されない
```
---
## 10. Google Drive 同期
開発環境では、まず小さいフォルダでやるのがよいです。
いきなり本番素材集フォルダを食わせると、ログが藪になります 🌿
必要な ENV:
```sh id="kzbb7f"
GOOGLE_DRIVE_SERVICE_ACCOUNT_EMAIL=...
GOOGLE_DRIVE_PRIVATE_KEY_PATH=...
MATERIAL_SYNC_SOURCE_KIND=google_drive_path
MATERIAL_SYNC_SOURCE_FILE_ID=<folder_id>
MATERIAL_SYNC_SOURCE_NAME=dev-small-folder
MATERIAL_SYNC_SOURCE_PROFILE=legacy_drive
```
seed で source 作成、または console で作成。
```sh id="sec40c"
RAILS_ENV=development bundle exec rails db:seed
RAILS_ENV=development bundle exec rails materials:sync
```
見る観点:
```txt id="a5ltqu"
imported / updated / unchanged / suppressed / failed がログに出る
2 回目実行で unchanged が増える
tag は nil のままでも保存できる
人手で tag / url を付けた既存同期素材が、再同期で消えない
Google native file は skip される
download 後 sha256 block が効く
```
---
## 11. schema.rb は別途確認
これはテストというより merge gate です。
今回まだ怪しいので、差分に以下が混ざっていないことを確認します。
```txt id="s3k6da"
wiki_assets 削除
wiki_pages.next_asset_no 削除
素材管理と無関係な CHECK constraint 削除
素材管理と無関係な index order 消失
```
ここが残るなら、機能テストが通っても merge は止めた方がいいです。
---
## 最小テスト順
時間がないなら、この順で十分です。
```txt id="c1k2pw"
1. db:migrate
2. materials without versions = 0 を確認
3. /materials 初期表示
4. 左タグ選択 → 子孫込み表示 → グルーピング
5. タグ選択解除
6. 選択タグから素材追加 → return_to で戻る
7. グループ見出しから素材追加
8. 更新して material_versions を確認
9. ZIP export
10. 小さい Drive folder で materials:sync を 2 回
```
これで、今回の差分の主要な導線はほぼ踏めます。
Reviewed-on: #381
Co-authored-by: miteruzo <miteruzo@naver.com>
Co-committed-by: miteruzo <miteruzo@naver.com>
234 行
7.1 KiB
Ruby
234 行
7.1 KiB
Ruby
require 'json'
|
|
require 'jwt'
|
|
require 'net/http'
|
|
require 'openssl'
|
|
require 'tempfile'
|
|
require 'uri'
|
|
|
|
|
|
module GoogleDrive
|
|
class ApiClient
|
|
DRIVE_ENDPOINT = 'https://www.googleapis.com/drive/v3'
|
|
TOKEN_ENDPOINT = 'https://oauth2.googleapis.com/token'
|
|
FOLDER_MIME_TYPE = 'application/vnd.google-apps.folder'
|
|
NATIVE_FILE_MIME_TYPE_PREFIX = 'application/vnd.google-apps.'
|
|
DRIVE_SCOPE = 'https://www.googleapis.com/auth/drive.readonly'
|
|
|
|
def initialize service_account_email: ENV['GOOGLE_DRIVE_SERVICE_ACCOUNT_EMAIL'],
|
|
private_key: ENV['GOOGLE_DRIVE_PRIVATE_KEY'],
|
|
private_key_path: ENV['GOOGLE_DRIVE_PRIVATE_KEY_PATH'],
|
|
subject: ENV['GOOGLE_DRIVE_SUBJECT']
|
|
@service_account_email = service_account_email.to_s
|
|
@private_key = load_private_key(private_key, private_key_path)
|
|
@subject = subject.to_s.presence
|
|
@access_token = nil
|
|
end
|
|
|
|
def list_material_files_under_folder folder_id
|
|
files = []
|
|
each_material_file_under_folder(folder_id) { |entry| files << entry }
|
|
files
|
|
end
|
|
|
|
def each_material_file_under_folder folder_id
|
|
return enum_for(__method__, folder_id) unless block_given?
|
|
|
|
walk_folder(folder_id, nil) do |entry, relative_path|
|
|
next if entry['mimeType'] == FOLDER_MIME_TYPE
|
|
next if native_file?(entry['mimeType'])
|
|
|
|
yield build_file_entry(entry, relative_path)
|
|
end
|
|
end
|
|
|
|
def fetch_material_file file_id
|
|
metadata = get_file(file_id)
|
|
return nil if native_file?(metadata['mimeType'])
|
|
|
|
build_file_entry(metadata, metadata['name'])
|
|
end
|
|
|
|
def download_to_tempfile file_id, filename:
|
|
tempfile = Tempfile.new(['material-sync', File.extname(filename.to_s)])
|
|
tempfile.binmode
|
|
request_binary("/files/#{ file_id }",
|
|
{ alt: 'media', supportsAllDrives: true }) do |chunk|
|
|
tempfile.write(chunk.b)
|
|
end
|
|
tempfile.rewind
|
|
tempfile
|
|
rescue StandardError
|
|
tempfile&.close!
|
|
raise
|
|
end
|
|
|
|
def extract_file_id value
|
|
raw = value.to_s.strip
|
|
return nil if raw.blank?
|
|
return raw unless raw.include?('/')
|
|
|
|
uri = URI.parse(raw)
|
|
return uri.query.to_s[%r{(?:^|&)id=([^&]+)}, 1] if uri.query.present?
|
|
return uri.path[%r{/folders/([^/]+)}, 1] if uri.path.include?('/folders/')
|
|
|
|
uri.path[%r{/d/([^/]+)}, 1]
|
|
rescue URI::InvalidURIError
|
|
nil
|
|
end
|
|
|
|
private
|
|
|
|
def walk_folder folder_id, prefix, &block
|
|
list_children(folder_id).each do |entry|
|
|
relative_path = MaterialSyncExportPath.build(prefix:,
|
|
relative_path: entry['name'])
|
|
if entry['mimeType'] == FOLDER_MIME_TYPE
|
|
walk_folder(entry['id'], relative_path, &block)
|
|
next
|
|
end
|
|
|
|
block.call(entry, relative_path)
|
|
end
|
|
end
|
|
|
|
def build_file_entry entry, relative_path
|
|
{ id: entry['id'],
|
|
name: entry['name'],
|
|
mime_type: entry['mimeType'],
|
|
relative_path: MaterialSyncExportPath.normalize_path(relative_path),
|
|
sha256_checksum: entry['sha256Checksum'],
|
|
web_view_link: entry['webViewLink'],
|
|
web_content_link: entry['webContentLink'] }
|
|
end
|
|
|
|
def list_children folder_id
|
|
files = []
|
|
page_token = nil
|
|
|
|
loop do
|
|
response =
|
|
request_json('/files', {
|
|
q: "'#{ folder_id }' in parents and trashed = false",
|
|
fields: 'nextPageToken,files(id,name,mimeType,sha256Checksum,' \
|
|
'webViewLink,webContentLink)',
|
|
orderBy: 'folder,name',
|
|
pageSize: 1000,
|
|
supportsAllDrives: true,
|
|
includeItemsFromAllDrives: true,
|
|
pageToken: page_token }.compact)
|
|
files.concat(response.fetch('files'))
|
|
page_token = response['nextPageToken']
|
|
break if page_token.blank?
|
|
end
|
|
|
|
files
|
|
end
|
|
|
|
def get_file file_id
|
|
request_json("/files/#{ file_id }",
|
|
fields: 'id,name,mimeType,sha256Checksum,webViewLink,webContentLink',
|
|
supportsAllDrives: true)
|
|
end
|
|
|
|
def request_json path, params = {}
|
|
response = request(:get, path, params:)
|
|
unless response.is_a?(Net::HTTPSuccess)
|
|
raise "Google Drive API error: #{ response.code } #{ response.body }"
|
|
end
|
|
|
|
JSON.parse(response.body)
|
|
end
|
|
|
|
def request_binary path, params = {}
|
|
request(:get, path, params:) do |response|
|
|
unless response.is_a?(Net::HTTPSuccess)
|
|
raise "Google Drive download error: #{ response.code } #{ response.body }"
|
|
end
|
|
|
|
response.read_body do |chunk|
|
|
yield chunk.b
|
|
end
|
|
end
|
|
end
|
|
|
|
def request method, path, params: nil
|
|
uri = URI(DRIVE_ENDPOINT + path)
|
|
uri.query = URI.encode_www_form(params) if params.present?
|
|
|
|
klass =
|
|
case method
|
|
when :get
|
|
Net::HTTP::Get
|
|
else
|
|
raise ArgumentError, "Unsupported Google Drive request method: #{ method }"
|
|
end
|
|
request = klass.new(uri)
|
|
request['Authorization'] = "Bearer #{ access_token }"
|
|
|
|
Net::HTTP.start(uri.host,
|
|
uri.port,
|
|
use_ssl: true,
|
|
open_timeout: 10,
|
|
read_timeout: 60) do |http|
|
|
if block_given?
|
|
http.request(request) do |response|
|
|
return yield response
|
|
end
|
|
else
|
|
http.request(request)
|
|
end
|
|
end
|
|
end
|
|
|
|
def access_token
|
|
@access_token ||= fetch_access_token
|
|
end
|
|
|
|
def fetch_access_token
|
|
raise 'GOOGLE_DRIVE_SERVICE_ACCOUNT_EMAIL is required' if @service_account_email.blank?
|
|
raise 'Google Drive private key is required' if @private_key.blank?
|
|
|
|
payload = { iss: @service_account_email,
|
|
scope: DRIVE_SCOPE,
|
|
aud: TOKEN_ENDPOINT,
|
|
exp: 1.hour.from_now.to_i,
|
|
iat: Time.current.to_i }
|
|
payload[:sub] = @subject if @subject.present?
|
|
|
|
assertion = JWT.encode(payload, @private_key, 'RS256')
|
|
uri = URI(TOKEN_ENDPOINT)
|
|
request = Net::HTTP::Post.new(uri)
|
|
request.set_form_data(
|
|
grant_type: 'urn:ietf:params:oauth:grant-type:jwt-bearer',
|
|
assertion:)
|
|
|
|
response =
|
|
Net::HTTP.start(uri.host,
|
|
uri.port,
|
|
use_ssl: true,
|
|
open_timeout: 10,
|
|
read_timeout: 30) do |http|
|
|
http.request(request)
|
|
end
|
|
unless response.is_a?(Net::HTTPSuccess)
|
|
raise "Google OAuth error: #{ response.code } #{ response.body }"
|
|
end
|
|
|
|
JSON.parse(response.body).fetch('access_token')
|
|
end
|
|
|
|
def load_private_key private_key, private_key_path
|
|
raw = private_key.to_s
|
|
raw = raw.gsub('\n', "\n") if raw.present?
|
|
raw = File.read(private_key_path) if raw.blank? && private_key_path.present?
|
|
return nil if raw.blank?
|
|
|
|
OpenSSL::PKey::RSA.new(raw)
|
|
end
|
|
|
|
def native_file? mime_type
|
|
mime_type.to_s.start_with?(NATIVE_FILE_MIME_TYPE_PREFIX)
|
|
end
|
|
end
|
|
end
|