Бесплатный инструмент для выполнения SQL-запросов к файлам JSON, CSV, Excel, Parquet.

dsq это бесплатный инструмент командной строки для выполнения SQL-запросов к файлам JSON, CSV, Excel и Parquet. Вот это программа с открытым исходным кодом и одна из встроенных утилит Datastation. Вы можете установить этот автономный инструмент на свой компьютер и использовать его для запроса различных файлов, совместимых с Excel. Вы можете запускать как простые, так и сложные операторы SQL для файла и генерировать/извлекать данные по своему усмотрению.

Этот инструмент командной строки может читать файл напрямую или вы можете заставить его читать данные со стандартного ввода. Позже вы можете передать вывод в файл, чтобы сохранить результат определенного SQL-запроса. Это также кросс-платформенный инструмент, но вам придется вручную выполнить сборку-установку, поскольку на данный момент двоичных файлов нет. Но я надеюсь, что они появятся в последующих обновлениях.

Бесплатный инструмент для выполнения SQL-запросов к файлам JSON, CSV, Excel, Parquet.

Чтобы установить dsq на данный момент вам необходимо установить Golang на ваш компьютер. Вы можете скачать Golang на свой компьютер. отсюда. После этого вы можете просто использовать его так, как захотите. Итак, чтобы установить его, вы можете просто выполнить команду ниже. Также вам необходимо убедиться, что у вас установлен Git. Если вы используете Linux или MAC, то, вероятно, все эти инструменты у вас уже установлены. Однако в Windows вам придется установить их, чтобы начать работу.

go install github.com/multiprocessio/dsq@latest

После dsq успешно установлен, вы можете сразу же начать его использовать. Вот самая простая команда для чтения файла CSV и его печати на консоли.

./dsq cities.csv

Чтобы выполнить запрос SQL к CSV-файлу, используйте следующий синтаксис команды dsq. Он напечатает выходные данные SQL-запроса в командном окне, а затем вы сможете либо сохранить их, либо делать все, что захотите.

./dsq cities.csv "select City from {}"

Другой пример с функциями SQL приведен ниже. Помните, что он использует базу данных SQLite, поэтому поддерживаются все команды SQLite.

./dsq cities.json "select Min(LonD) from {}"./dsq cities.json "select Max(LonD) from {}"

Помимо CSV, вы можете запускать его и с файлами других типов, например JSON. Этот процесс очень похож на тот, который вы выполняете для файлов CSV. Просто укажите запрос, и он также сгенерирует выходные данные в формате JSON. Посмотрите это на скриншоте ниже.

./dsq cities.json "select City from {}"

Таким образом, вы можете использовать этот простой и мощный инструмент командной строки для выполнения SQL-запросов к файлам CSV, JSON и Parquet. У меня не было файлов Parquet, поэтому я не смог на них протестировать. Но я уверен, что с этими файлами он будет работать без проблем. Если вы хотите увидеть некоторые технические подробности об этом, вы можете проверить его репозиторий GitHub.

Последние мысли:

Если вы часто работаете с файлами CSV или JSON, то я думаю, что такой инструмент вам должен быть на вашем компьютере. Может быть полезно быстро извлечь некоторые данные из больших файлов Excel CSV или JSON. Просто запустите команду SQL и используйте ее вывод где угодно. Это так просто.