oracle中對json數據處理的詳細指南
背景
在公司接手的項目碰到這么一個表，里面有一列數據保存的是json字符串。如果說這一列是一些配置數據，不需要應用到篩選和過濾，只是跟著主鍵去獲得的數據，那你這么做并沒有什么不妥。但事實是，這一列需要檢索和過濾數據，這**居然是遍歷全表，再把json數據轉換成對象去遍歷匹配。我服了，你咋這么能呢？喜歡這樣玩為什么當初不用mongodb？查了一下文檔，知道oracle 在12c之后有對json數據的操作方法，網上關于這部分的文章非常非常非常少（畢竟沒幾個人會把oracle當成mongodb這么地**是吧），就整理一下，方便自己以后查看。
入門探究
有一說一這官方文檔非常地硬，啃了好久都啃不動，而且很多理想當然的用法都不行。oracle中關于json的操作函數有json_array、json_exists、json_values、json_table、json_query，其中json_array是用來構建json數組的，而不是用來查找結果的。在文中也會小篇幅簡單說一下用法。
json_exists
json_exists是一個sql函數，用于判斷是否存在符合條件的json數據。它可以在where子句中使用，用于篩選json列中符合特定條件的數據。
官方給出的語法是這樣的：
json_exists(json_column, json_path_expression, [returning_clause])
其中，json_column是指要查詢的json列，json_path_expression是指json路徑表達式，用于指定要查找的json數據的位置和條件。
json路徑表達式中可以使用各種操作符和函數，以及通配符和其他特殊字符。例如：
- $: 表示根元素
- .: 表示當前元素
- [*]: 表示匹配數組中的所有元素
- []: 表示過濾數組中符合條件的元素
- @: 表示當前元素的屬性
在json_path_expression中，可以使用一些函數，如json_value、json_query、json_table等來處理json數據。例如：
- json_value(json_column, '$.name'): 返回json_column列中name字段的值
- json_query(json_column, '$.name'): 返回json_column列中address字段的值
- json_table(json_column, '$.hobbies[*]' columns (phone_number varchar2(20) path '$')): 返回json_column列中phones數組中的所有元素的phone_number字段的值
返回值：
如果符合條件的json數據存在，則返回true；否則返回false。如果使用returning_clause子句，則返回符合條件的json數據。
例如：
select * from my_table where json_exists(json_data, '$.name');
這個例子查詢my_table表中json_data列中是否存在name字段的值。如果存在，返回true，否則返回false。
json_array
json_array 是一個 oracle sql 函數，用于創建一個 json 數組。下面是使用 json_array 的一些示例：
語法：
json_array(value1 [, value2] [, value3] ...);
其中，value1, value2, value3 等是一個或多個要添加到 json 數組的值。這些值可以是任何有效的 sql 值，例如字符串、數字、日期、布爾值等。如果沒有指定任何值，json_array 將生成一個空的 json 數組。
創建一個包含兩個字符串值的 json 數組
select json_array('apple', 'orange') from dual;
輸出結果：
["apple", "orange"]
創建一個包含兩個數字值的 json 數組
select json_array(10, 20) from dual;
輸出結果：
[10, 20]
創建一個包含多個元素的 json 數組
select json_array('apple', 10, true) from dual;
輸出結果：
["apple", 10, true]
在上述示例中，json_array 函數接受一個或多個參數，并將它們作為一個 json 數組返回。你可以在 json_array 中使用不同類型的參數，例如字符串，數字和布爾值，它們都將被轉換為相應的 json 類型。
json_value
json_value函數用于提取json文檔中的值。它的語法如下：
json_value(json_document, path_expression [returning datatype])
其中：
- json_document是包含json文檔的字符串或blob列。
- path_expression是用于指定要提取的值的路徑表達式。
- datatype是可選的，用于指定返回值的數據類型。
以下是一些示例：
提取json文檔中的單個值：
select json_value('{"name": "john", "age": 30}', '$.name') as name from dual;
輸出：
name----john
提取json文檔中的數組：
select json_value('{"fruits": ["apple", "banana", "orange"]}', '$.fruits') as fruits from dual;
輸出：
fruits
-----------------------
["apple", "banana", "orange"]
提取json文檔中的數組元素：
select json_value('{"fruits": ["apple", "banana", "orange"]}', '$.fruits[0]') as first_fruit from dual;
輸出：
first_fruit
-----------
apple
指定返回值的數據類型：
select json_value('{"price": 9.99}', '$.price' returning number) as price from dual;
輸出：
price
-----
9.99
在使用json_value函數時，需要注意以下幾點：
- 如果路徑表達式不匹配json文檔中的任何內容，則返回null。
- 如果未指定返回值的數據類型，則返回的值將是一個字符串。
- json_value函數還有一個類似的兄弟函數json_query，不同的是，它返回json對象或數組，而不是標量值。
json_query
json_query函數用于從json文檔中查詢數據，返回一個json對象或數組。它的語法如下：
json_query(json_document, path_expression [returning datatype])
其中：
- json_document是包含json文檔的字符串或blob列。
- path_expression是用于指定要查詢的值的路徑表達式。
- datatype是可選的，用于指定返回值的數據類型。
以下是一些示例：
查詢json文檔中的單個值：
select json_query('{"name": "john", "age": 30}', '$.name') as name from dual;
輸出：
name
----
null
查詢json文檔中的數組：
select json_query('{"fruits": ["apple", "banana", "orange"]}', '$.fruits') as fruits from dual;
輸出：
fruits
-----------------------
["apple", "banana", "orange"]
查詢json文檔中的數組元素：
select json_query('{"fruits": ["apple", "banana", "orange"]}', '$.fruits[0]') as first_fruit from dual;
輸出：
first_fruit
-----------
null
因為是單值，json_query無法展示
在使用json_query函數時，需要注意以下幾點：
- 如果路徑表達式不匹配json文檔中的任何內容，則返回null。
- 如果未指定返回值的數據類型，則返回的值將是一個字符串。
- json_query函數還有一個類似的兄弟函數json_value，不同的是，它返回標量值，而不是json對象或數組。
總之，json_query函數在處理json文檔時非常有用，可以輕松地查詢和提取需要的數據。
json_table
json_table函數可以將json數據轉換為表格形式。以下是json_table的用法：
語法：
json_table(json, path columns (column1 expr1 [, column2 expr2]...))
參數說明：
- json：要轉換的json數據。
- path：要提取的json元素的路徑。
- columns：指定要轉換的列及其表達式。
- column1 expr1 [, column2 expr2]...：指定要轉換的列及其表達式。
示例：
假設我們有以下json數據：
{
"employees": [
{ "name": "john", "age": 30, "gender": "male" },
{ "name": "jane", "age": 25, "gender": "female" },
{ "name": "bob", "age": 35, "gender": "male" }
]
}
我們可以使用以下查詢將其轉換為表格形式：
select name, age, gender
from json_table('{
"employees": [
{ "name": "john", "age": 30, "gender": "male" },
{ "name": "jane", "age": 25, "gender": "female" },
{ "name": "bob", "age": 35, "gender": "male" }
]
}', '$.employees[*]' columns (
name varchar2(50) path '$.name',
age number path '$.age',
gender varchar2(10) path '$.gender'
));
輸出結果：
name age gender
------ ---- ------
john 30 male
jane 25 female
bob 35 male
在上面的例子中，$.employees[*]指定要處理的json元素路徑，name, age, 和 gender 列使用 path 關鍵字指定表達式的路徑。
進階實戰篇
我舉個實際的例子，我有一列，對應的一列的數據大概是這樣的：
{
"name": "cxk", // string
"sex": "female", // stirng
"hobbies": ["sing", "dance", "rap", "basketball"], // 普通數組
"company": {"name": "unknow", "staffnum": "unknow"}, // 對象屬性
"fans": [ // 對象數組
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}
1. json_query與json_value的區別
看了前面的介紹，可能有些同學對這個完全不能理解，有什么區別？
查詢單值
select json_query
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.name'
) as json_query_res,
json_value
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.name'
) as json_value_res
from dual;
輸出結果：
json_query_res json_value_res
--------------------------------
null cxk
區別1：json_query無法返回單值，json_value可以返回單值
查詢對象
select json_query
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.company'
) as json_query_res,
json_value
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.company'
) as json_value_res
from dual;
輸出結果：
json_query_res json_value_res
-------------------------------- ------------------
{"name": "unknow", "staffnum": "unknow"} null
區別2：json_query能返回對象，json_value不能返回對象值
查詢普通數組
select json_query
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.hobbies'
) as json_query_res,
json_value
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.hobbies'
) as json_value_res
from dual;
輸出結果：
json_query_res json_value_res
-------------------------------- ------------------
["sing", "dance", "rap", "basketball"] null
區別3：json_query能返回普通數組，json_value不能返回數組
結合1、2、3點，我們給hobbies加個下標
select json_query
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.hobbies[0]'
) as json_query_res,
json_value
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.hobbies[0]'
) as json_value_res
from dual;
輸出結果：
json_query_res json_value_res
-------------------------------- ------------------
null sing
查詢對象數組
select json_query
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.fans'
) as json_query_res,
json_value
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.fans'
) as json_value_res
from dual;
輸出結果：
json_query_res json_value_res
-------------------------------- ------------------
[{"name": "ncfans1"},{"name": "ncfans2"}] null
區別4：json_query可以匹配對象數組的值，json_value不可以
2. json_exists判斷某個值是否等于目標值
這是比較難的一個步驟，我自己摸索了很久很久才懂，我這里舉例都寫到了謂動詞的位置，實際上json_exists是用在where后的。
案例1：找出存在name屬性的行
select case when json_exists('{"name": "john", "age": 30, "city": "new york"}', '$.name') then 'true' else 'false' end as result from dual;
輸出：
result
---------
true
但其實，我們更多都是在匹配name值等于具體的值，這就要用匹配的機制，但愿你還記得前面介紹的用法
select case when json_exists('
{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}
', '$.name ? (@ == "cxk")') then 'true' else 'false' end as result from dual;
@表示當前name屬性這一層，值一定要用雙引號括起來
多值匹配
select case when json_exists('
{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}
', '$.company ? (@.name == "unknow" && @.staffnum == "unknow")') then 'true' else 'false' end as result from dual;
如果是不同層級的多值匹配，建議在where后用and連接起來，比如：
select * from mytable where json_exists(my_cloumn, '$.name ? (@ == "cxk")') and json_exists(my_cloumn, '$.company ? (@.name == "unknow" && @.staffnum == "unknow")')
json_exists可以檢索普通數組中的值
select case when json_exists('
{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}
',
'$.hobbies[*] ? (@ == "sing")')
then 'true' else 'false' end as result from dual;
執行結果為true
json_exists無法檢索對象數組
select case when json_exists('
{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}
',
'$.fans")')
then 'true' else 'false' end as result from dual;
無論是$.fans還是$.fans[*]返回結果都是false，完全無法獲取對象數組中的值。無法判斷里面的值的對比情況。
json_exists遇到空數組時，返回的是true
select case when json_exists('
{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": []
}
',
'$.fans")')
then 'true' else 'false' end as result from dual;
但如果是$.fans[0]返回的是false
3. $.xx中不能用字符串拼接、不能用任何函數會報ora-40442錯誤
4. 比較非對象數組的值除了json_exists可以用json_value與json_query
select * from mytable where json_value(my_cloumn, '$.name') = 'cxk' and json_query(my_cloumn, '$.fans') = '[]' -- 判空
5. json_query不支持通配符，查詢全部就是$.fans，不需要$.fans[*]；支持使用下標指定
6. json_value與json_query可以嵌套使用，比如
select * from mytable where json_value(json_query(my_cloumn, '$.fans'), '$.name') = 'ncfans1'
這個語句就是查找出fans中有ncfans1的記錄
7. 數組判空 使用json_query
select * from mytable where json_query(my_cloumn, '$.fans') = '[]'
使用json_exists
select * from mytable where not json_exists(my_cloumn, '$.fans[0]')
8. 使用json_table可以解決任何復雜的問題
但是json_table本身就很復雜，如果用來篩選數據，那這個語句太難維護了。
9. 在mybatis框架中，由于$.xx的語句要放在單引號中'，切不能使用任何函數，不能字符拼接
所以用#{}無法注入，要用${}，這在有些公司是不被允許的。目前我是這么用了，等安全部門的滲透測試結果出來，是否有sql注入風險再來更新。
注意事項
以上提到的操作均需要在oracle12以上版本中使用，但并不是12以上版本都能使用。這個和數據庫設置的compatible值有關。compatible必須大于12.0才可以使用。
你可以使用擁有dba權限的用戶執行以下語句查看compatible值
select name, value from v$parameter where name = 'compatible'
否則，你會得到這樣的一個報錯
ora-00406: compatible parameter needs to be 12.0 or greater
然后你就白忙活了，因為一般都不會為了你特地升級compatible的。沒事，我就是白忙活了。
總結
關于oracle中對json數據處理的文章就介紹至此，更多相關oracle中json數據處理內容請搜索碩編程以前的文章，希望以后支持碩編程！
學習SQL