Hatena Blog Tags
はてなブログ トップ
jq
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

jq

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
君のてのひらから•24日前

jqコマンド入門：コマンドラインでJSONを自在に操る技術

はじめに：なぜjqを学ぶのか 私は日頃からさまざまなワークフローの自動化を試みています。その中で繰り返し登場するのが、JSONデータの処理という課題です。 たとえば、YouTube動画のメタデータを取得して整形したり、APIのレスポンスから必要な情報だけを抜き出したり。こうした作業を手作業で行うのは現実的ではありません。かといって、毎回Pythonスクリプトを書くのも少々重たい。 そこで活躍するのが jq です。 jqは「コマンドラインのJSON処理ツール」と表現されることが多いのですが、私はむしろ「JSONに対するSQL」のようなものだと捉えています。データベースからSQLでデータを抽出する…

#jq#JSON

関連ブログ

s1r-Jの技術ブログ•7ヶ月前

readとxargsをつかってjqで取得した複数の値をそれぞれ変数に格納する

jqコマンドを使ってJSON文字列から複数の値を取得しつつ、それらを変数に格納したいケースがたまにあります。 複数回jqを呼び出せばよいですが、ここではreadとxargsを使って1回の実行で済ませます。 $ read alpha_var beta_var charlie_var <<< \ $(echo '{"key1": "value1", "key2": [20, 21, 22, 23], "key3": {"alice": "[email protected]", "bob": "[email protected]"}}' | \ jq -r '.key1,.key2[2],.key3.a…

#シェルスクリプト#Linux#read#xargs#jq
kosappi の日記•1年前

jq

jq の使い方 いつも忘れるので、ここに書いておく。 なんとなく、ジェネリックな内容はブログに書いておいた方が良い予感がしている。 JSON から特定のキーを指定し、その値を取得する。 jq '.somekey[] | .nextsomekey' ./filename.json 例えば、grpcurl なんかで fileByte が返ってくる場合。 下記のようにすれば元のファイルに復元できる。（PDFが降ってくる場合） jq '.files[] | .fileBytes ' ./inpute.json | head -1 | sed 's/\"//g' | base64 -d > output…

#jq#JSON
標準愚痴出力•1年前

ChatGPT に jq スクリプトを直してもらった

先日書いたスクリプトは概ね問題なく動作していたのだが、json の末尾をうまく処理できていないのか、妙なエラーを出して終了する問題があった。 そこでダメで元々で ChatGPT に見てもらった。 次のようなjq スクリプトを書きました。概ね、うまく動作するのですが、最後の最後で jq: error (at <stdin>:0): Cannot index string with string "content" というエラーが表示されます。回避する方法はないでしょうか。スクリプト＞ .orderedItems[] | .object | select(.content | contains("…

#jq#ChatGPT
標準愚痴出力•1年前

jq で Mastodon のダウンロードアーカイブから特定のキーワードを含む投稿のテキストをmarkdown形式で抽出する

ひさしぶりなので、jq の文法はほとんど忘却の彼方。自分のjqの記事を読みながら思いだす。 curl と jq で、GitHub レポジトリの Contributor list を作る - 標準愚痴出力 github の Releases のダウンロード数を curl と jq でお手軽に調べたいッ - 標準愚痴出力 mstdn-arc2txt.jq # jq スクリプト。呼び出すコマンドラインは次のとおり # tar -O -jxvf archive-*.tar.gz outbox.json | jq -rf mstdn-arc2txt.jq .orderedItems[] | select…

#jq
MOBILUS TECH BLOG•1年前

AWSのSSM パラメータストアを一発でCSV出力する方法

Written by Tomotaka Miyauchi 9月に入ってもまだまだ暑いし夏だなぁ〜、と思っていたら急に秋になりましたね。 どうも、SaaS Product Divisionの宮内です。 背景 この前、AWS SSM パラメータストアの値を整理しようと思い立ちました。 登録済みのパラメータ一覧が欲しくなりましたが、コンソール上から拾ってくるのはエンジニアらしくないので、AWS CLIを使って一覧をズバッと取得しようと思いました。 ただ、意外とネット上にドンピシャの答えがなかったので、（GitHub Copilot Chatに助けを借りながら）これが最適解かな、と思うコマンドを導き出…

#AWS#parameterstore#jq
標準愚痴出力•2年前

curl と jq で、GitHub レポジトリの Contributor list を作る

(1) issue の起案者の一覧を GitHub からダウンロード curl "https://api.github.com/repos/USERNAME/REPOSITORY/issues?state=all" > issues.json Open/Close 問わずに取得したいので、URL の ?state=all を追加する そのままだと1ページ目だけしか出ない。2ページ名を取得するには &page=2 を URL に追加する (2) JSON から issue 番号とユーザ名、ユーザページ名を抽出 cat issues.json | jq -r ". | map(\"#\"+(.nu…

#jq#GitHub
土日の勉強ノート•2年前

JSONファイルを扱うCUIツール「jq」を使ってみる

前回 は、JSON ファイルを扱う方法をまとめました。 今回は、JSONファイルを扱うCUIツール「jq」について紹介します。

#JSON#jq#Linux
標準愚痴出力•2年前

Cargo.toml からバージョンを抽出する

Cargo.toml とは Rust のビルドツール cargo が読み書きするファイルで、パッケージについての情報が記述されている。配布用の zip ファイルを生成する際などに、ここからバージョンナンバーを自動で抽出できたら便利だ。 cargo metadata というコマンドで、Cargo.toml の内容を JSON 化できる。 $ cargo metadata --no-deps --format-version 1 {"packages":[{"name":"sponge","version":"0.1.0","id":"sponge 0.1.0 (path+file:///C:/U…

#Rust#PowerShell#jq