Linux 命令行工具解析和格式化输出 JSON的方法
JSON是一种轻量级且与语言无关的数据存储格式,易于与大多数编程语言集成,也易于人类理解——当然,如果格式正确的话。JSON这个词代表JavaScriptObjectNotation,虽然它以JavaScript开头,而且主要用于在服务器和浏览器之间交换数据,但现在正在用于许多领域,包括嵌入式系统。在这里,我们将使用Linux上的命令行工具解析并格式化打印JSON。它对于在shell脚本中处理大型JSON数据或在shell脚本中处理JSON数据非常有用。
什么是格式化输出?
JSON数据的结构更具人性化。但是在大多数情况下,JSON数据会存储在一行中,甚至没有行结束字符。
显然,这对于手动阅读和编辑不太方便。
这是格式化输出prettyprint就很有用。这个该名称不言自明:重新格式化JSON文本,使人们读起来更清晰。这被称为JSON格式化输出。
用Linux命令行工具解析和格式化输出JSON
可以使用命令行文本处理器解析JSON数据,例如awk、sed和gerp。实际上JSON.awk是一个来做这个的awk脚本。但是,也有一些专用工具可用于同一目的。
- jq或jshon,shell下的JSON解析器,它们都非常有用。
- Shell脚本,如JSON.sh或jsonv.sh,用于在bash、zsh或dashshell中解析JSON。
- JSON.awk,JSON解析器awk脚本。
- 像json.tool这样的Python模块。
- undercore-cli,基于Node.js和javascript。
在本教程中,我只关注jq,这是一个shell下的非常强大的JSON解析器,具有高级过滤和脚本编程功能。
JSON格式化输出
JSON数据可能放在一行上使人难以解读,因此为了使其具有一定的可读性,JSON格式化输出就可用于此目的的。
示例:来自jsonip.com的数据,使用curl或wget工具获得JSON格式的外部IP地址,如下所示。
$wget-cqhttp://jsonip.com/-O-
实际数据看起来类似这样:
{"ip":"111.222.333.444","about":"/about","Pro!":http://getjsonip.com}
现在使用jq格式化输出它:
$wget-cqhttp://jsonip.com/-O-|jq'.'
通过jq过滤了该结果之后,它应该看起来类似这样:
{ "ip":"111.222.333.444", "about":"/about", "Pro!":"http://getjsonip.com" }
同样也可以通过Pythonjson.tool模块做到。示例如下:
$catanything.json|python-mjson.tool
这种基于Python的解决方案对于大多数用户来说应该没问题,但是如果没有预安装或无法安装Python则不行,比如在嵌入式系统上。
然而,json.toolPython模块具有明显的优势,它是跨平台的。因此,你可以在Windows、Linux或MacOS上无缝使用它。
如何用jq解析JSON
首先,你需要安装jq,它已被大多数GNU/Linux发行版选中,并使用各自的软件包安装程序命令进行安装。
在ArchLinux上:
$sudopacman-Sjq
在Debian、Ubuntu、LinuxMint上:
$sudoapt-getinstalljq
在Fedora上:
$sudodnfinstalljq
在openSUSE上:
$sudozypperinstalljq
对于其它操作系统或平台参见官方的安装指导。
jq的基本过滤和标识符功能
jq可以从STDIN或文件中读取JSON数据。你可以根据情况使用。
单个符号.是最基本的过滤器。这些过滤器也称为对象标识符-索引。jq使用单个.过滤器基本上相当将输入的JSON文件格式化输出。
- 单引号:不必始终使用单引号。但是如果你在一行中组合几个过滤器,那么你必须使用它们。
- 双引号:你必须用两个双引号括起任何特殊字符,如@、#、$,例如jq.foo.”@bar”。
- 原始数据打印:不管出于任何原因,如果你只需要最终解析的数据(不包含在双引号内),请使用带有-r标志的jq命令,如下所示:jq-r.foo.bar。
解析特定数据
要过滤出JSON的特定部分,你需要了解格式化输出的JSON文件的数据层次结构。
来自维基百科的JSON数据示例:
{ "firstName":"John", "lastName":"Smith", "age":25, "address":{ "streetAddress":"212ndStreet", "city":"NewYork", "state":"NY", "postalCode":"10021" }, "phoneNumber":[ { "type":"home", "number":"212555-1234" }, { "type":"fax", "number":"646555-4567" } ], "gender":{ "type":"male" } }
我将在本教程中将此JSON数据用作示例,将其保存为sample.json。
假设我想从sample.json文件中过滤出地址。所以命令应该是这样的:
$jq.addresssample.json
示例输出:
{ "streetAddress":"212ndStreet", "city":"NewYork", "state":"NY", "postalCode":"10021" }
再次,我想要邮政编码,然后我要添加另一个对象标识符-索引,即另一个过滤器。
$catsample.json|jq.address.postalCode
另请注意,过滤器区分大小写,并且你必须使用完全相同的字符串来获取有意义的输出,否则就是null。
从JSON数组中解析元素
JSON数组的元素包含在方括号内,这无疑是非常通用的。
要解析数组中的元素,你必须使用[]标识符以及其他对象标识符索引。
在此示例JSON数据中,电话号码存储在数组中,要从此数组中获取所有内容,你只需使用括号,像这个示例:
$jq.phoneNumber[]sample.json
假设你只想要数组的第一个元素,然后使用从0开始的数组对象编号,对于第一个项目,使用[0],对于下一个项目,它应该每步增加1。
$jq.phoneNumber[0]sample.json
脚本编程示例
假设我只想要家庭电话,而不是整个JSON数组数据。这就是用jq命令脚本编写的方便之处。
$catsample.json|jq-r'.phoneNumber[]|select(.type=="home")|.number'
首先,我将一个过滤器的结果传递给另一个,然后使用select属性选择特定类型的数据,再次将结果传递给另一个过滤器。
解释每种类型的jq过滤器和脚本编程超出了本教程的范围和目的。强烈建议你阅读jq手册,以便更好地理解下面的内容。
资源:
https://stedolan.github.io/jq/manual/
http://www.compciv.org/recipes/cli/jq-for-parsing-json/
https://lzone.de/cheat-sheet/jq
via:https://www.ostechnix.com/how-to-parse-and-pretty-print-json-with-linux-commandline-tools/
总结
以上所述是小编给大家介绍的Linux命令行工具解析和格式化输出JSON的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对毛票票网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!