DataView
A data processing toolkit for ingesting, transforming, querying, and managing data entries from the command line. All operations are logged with timestamps and stored locally.
Commands
Data Operations
Each data command works in two modes: run without arguments to view recent entries, or pass input to record a new entry.
| Command | Description |
|---|
| INLINECODE0 | Ingest data — record a new ingest entry or view recent ones |
| INLINECODE1 |
Transform data — record a transformation or view recent ones |
|
dataview query <input> | Query data — record a query or view recent ones |
|
dataview filter <input> | Filter data — record a filter operation or view recent ones |
|
dataview aggregate <input> | Aggregate data — record an aggregation or view recent ones |
|
dataview visualize <input> | Visualize data — record a visualization or view recent ones |
|
dataview export <input> | Export data — record an export entry or view recent ones |
|
dataview sample <input> | Sample data — record a sample or view recent ones |
|
dataview schema <input> | Schema management — record a schema entry or view recent ones |
|
dataview validate <input> | Validate data — record a validation or view recent ones |
|
dataview pipeline <input> | Pipeline management — record a pipeline step or view recent ones |
|
dataview profile <input> | Profile data — record a profile or view recent ones |
Utility Commands
| Command | Description |
|---|
| INLINECODE12 | Show summary statistics — entry counts per category, total entries, disk usage |
| INLINECODE13 |
Export all data to a file (formats:
json,
csv,
txt) |
|
dataview search <term> | Search all log files for a term (case-insensitive) |
|
dataview recent | Show last 20 entries from activity history |
|
dataview status | Health check — version, data directory, entry count, disk usage, last activity |
|
dataview help | Show available commands |
|
dataview version | Show version (v2.0.0) |
Data Storage
All data is stored locally at ~/.local/share/dataview/:
- - Each data command writes to its own log file (e.g.,
ingest.log, transform.log) - Entries are stored as
timestamp|value pairs (pipe-delimited) - All actions are tracked in
history.log with timestamps - Export generates files in the data directory (
export.json, export.csv, or export.txt)
Requirements
- - Bash (with
set -euo pipefail) - Standard Unix utilities:
date, wc, du, grep, tail, cat, INLINECODE37 - No external dependencies or API keys required
When to Use
- - To log and track data processing operations (ingest, transform, query, etc.)
- To maintain a searchable history of data viewing and analysis activities
- To export accumulated records in JSON, CSV, or plain text format
- As part of larger automation or data inspection workflows
- When you need a lightweight, local-only data operation tracker
Examples
CODEBLOCK0
Powered by BytesAgain | bytesagain.com | hello@bytesagain.com
💬 Feedback & Feature Requests: https://bytesagain.com/feedback
技能名称: DataView
详细描述:
DataView
一个用于从命令行进行数据摄取、转换、查询和条目管理的数据处理工具包。所有操作均带有时间戳记录并存储在本地。
命令
数据操作
每个数据命令有两种工作模式:无参数运行可查看最近条目,或传入输入以记录新条目。
| 命令 | 描述 |
|---|
| dataview ingest <输入> | 摄取数据 — 记录新的摄取条目或查看最近条目 |
| dataview transform <输入> |
转换数据 — 记录转换操作或查看最近条目 |
| dataview query <输入> | 查询数据 — 记录查询或查看最近条目 |
| dataview filter <输入> | 过滤数据 — 记录过滤操作或查看最近条目 |
| dataview aggregate <输入> | 聚合数据 — 记录聚合操作或查看最近条目 |
| dataview visualize <输入> | 可视化数据 — 记录可视化操作或查看最近条目 |
| dataview export <输入> | 导出数据 — 记录导出条目或查看最近条目 |
| dataview sample <输入> | 采样数据 — 记录采样或查看最近条目 |
| dataview schema <输入> | 模式管理 — 记录模式条目或查看最近条目 |
| dataview validate <输入> | 验证数据 — 记录验证操作或查看最近条目 |
| dataview pipeline <输入> | 管道管理 — 记录管道步骤或查看最近条目 |
| dataview profile <输入> | 数据画像 — 记录画像或查看最近条目 |
实用命令
| 命令 | 描述 |
|---|
| dataview stats | 显示汇总统计 — 每类条目数、总条目数、磁盘使用量 |
| dataview export <格式> |
将所有数据导出到文件(格式:json、csv、txt) |
| dataview search <词条> | 在所有日志文件中搜索词条(不区分大小写) |
| dataview recent | 显示活动历史中的最后20个条目 |
| dataview status | 健康检查 — 版本、数据目录、条目数、磁盘使用量、最后活动 |
| dataview help | 显示可用命令 |
| dataview version | 显示版本(v2.0.0) |
数据存储
所有数据存储在本地 ~/.local/share/dataview/ 目录下:
- - 每个数据命令写入其自己的日志文件(例如 ingest.log、transform.log)
- 条目存储为 时间戳|值 对(管道符分隔)
- 所有操作在 history.log 中记录,带有时间戳
- 导出生成的文件位于数据目录中(export.json、export.csv 或 export.txt)
要求
- - Bash(使用 set -euo pipefail)
- 标准Unix工具:date、wc、du、grep、tail、cat、sed
- 无需外部依赖或API密钥
使用场景
- - 记录和跟踪数据处理操作(摄取、转换、查询等)
- 维护可搜索的数据查看和分析活动历史
- 以JSON、CSV或纯文本格式导出累积记录
- 作为更大自动化或数据检查工作流的一部分
- 当需要一个轻量级、仅本地的数据操作跟踪器时
示例
bash
记录新的摄取条目
dataview ingest 已加载 sales_report.csv 2500行
查看最近的转换条目
dataview transform
记录查询
dataview query 按收入排名前10的产品
过滤数据
dataview filter 区域=亚太
跨所有日志搜索
dataview search 销售
将所有内容导出为CSV
dataview export csv
检查总体统计信息
dataview stats
查看最近活动
dataview recent
健康检查
dataview status
由BytesAgain提供 | bytesagain.com | hello@bytesagain.com
💬 反馈与功能请求:https://bytesagain.com/feedback