make datastores discoverable

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 0.2.0

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Revert "buildsys: add d/rustup_home, register force system toolchain"

This reverts commit 826e60c5c59f05cc3a0ac033a66f16d0f46ef89a, it's
introduction of an absolute link to /usr breaks source directory
boundary, failing dpkg-source.

Devs that need to have rustup and related binaries earlier in $PATH
than the system ones can just create a system toolchain via something
like `rustup toolchain link system /usr` and be done, it's their
custom setup/environment that breaks build, so default packaging
should not have to care, at least not in a way that breaks default
build in clean environments (like sbuild).

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

rename --insecure option to --skip-cert-verification

a bit more telling about what it actually does.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: clean-up more

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 0.1.2

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

esxi-folder-fuse: add --insecure option

to disable certificate verification, and verify certificates by
default

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

listvms.py: add --insecure parameter, verify cert by default

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 0.1.1

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

listvms.py: include power status in vm info

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

listvms.py: don't iterate through vms twice, add disk info

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

listvms.py: add function to query disk info for vms

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

listvms.py: factor out datastore/path file name parsing

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys: add d/rustup_home, register force system toolchain

and set RUSTUP_HOME in d/rules, so building also actually works when
rustup is in $PATH

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 0.1.0

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: drop odd cargo/rustc overrides

those should not be required for a functioning build..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: allow to generate packages artefacts at the top-level

Allow building packages with their output being written at the
top-level, just like basically all our other repos (that contain a
hand-full of source packages at max), and make that the default.

If one want to have a double directory hierarchy for the build they
can just call:
 make OUTPUT_DIR=build/ deb

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

packagin: ship script and tool in arch-agnostic /usr/libexec

no need to use the architecture triple, not like we plan to support
co-installable multi-arch anyway.

Rather just use the arch-agnostic /usr/libexec dir, which the FHS
specifies for:
> Directory contains binaries for internal use only and they are not
> meant to be executed directly by users shell or scripts.

Which pretty much is what this tools are made for, in our use case
anyway.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: avoid rust- prefix for source package name

not using debcargo so we do not need to adhere to it's quirks

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: avoid dcmd, just use already defined variables

makes it easier to copy this from a build host to an upload host by
allowing to see the full command when running `make -n upload`

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: add convenience sbuild target

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: track dbgsym package

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: use variables for output and build directory

the target directories are still named in a slightly confusing way,
but don't care about that for now.

If it's really a problem we could use output/ for the, well, output
directory variable.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: DSC has no arch

it's the source package which normally is arch agnostic

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/source: mark as native package

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add upload target

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

packaging updates

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

more eof handling fixups

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

lru rotation fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

deal with file size changes during reading

We cache file sizes, but if the vmx config files change they can of
course very well also change their size, in which case we might get an
http 416 Range Not Satisfiable response. Let's consider the File
handle to be at EOF at that point.

additionally, partial reads return a `content-range` header which
includes the file's size, so use this to keep track of it

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

drop file caches on close

makes reading updated vmx files easier

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump d/control

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

switch from env_logger to syslog

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add --ready-fd parameter

a simple way to signal readiness - we just close the file descriptor
when we start serving fuse requests

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add options to drop privileges

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

listvms.py: make connection errors less noisy

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

d/control: fixup python3 deps

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys improvements

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

create build/rust-toolchain file when packaging

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

install python code outside the multiarch dir

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add shebang to listvms.py, set mode to 0755

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add basic packaging

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

remove example manifest.json

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

cleanup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

change base-url parameter to a hostname parameter

for better compatibility with the python thing

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

lsitvms.py: read password from a file instead of env var

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

import listvms.py

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
Originally-by: Hannes Laimer <h.laimer@proxmox.com>

improve usage message

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy fixes

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

drop all the unused code

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add --password-file parameter

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

minor cleanups

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

delete example Test.vmx file

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

require proxmox-fuse 0.1.6

otherwise there's some UB as the bitfields were padded wrong in
rust...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

turn cache into an LRU cache

so it has a useful performance

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

allow passing mount options

so we can use `-o allow_root`

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

parameter cleanup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

doc comments

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

default to 32*8M cache

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

use proxmox-fuse 0.1.5

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

dc parameter is dcPath, not dcName

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

update manifest format

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

more file discovery fixups

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fixup some messaging

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

switch to discovering files via a json manifest

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

declare manifest file format

this will be used to map paths to their datastores within a datacenter

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

overlapping reads: deal with eof

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

cache: don't drop current block...

that would be quite pointless :-)

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

implement vectored reads for non-direct i/o tests

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

downgrade cache drop message to debug level

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

argument parsing

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

cleanup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

handle open/release

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

work on readahead caching

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

simply retry requests when rate limited

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

refactor http request creation for retries

Request and its Builder don't implement Clone currently, so we need to
rebuild them completely...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

okay, we do need to deal with rate limiting...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fix dir reading, switch to readdirplus

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

general fs wip

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

restructuring

Let's have the datacenter and datastore be the first 2 directories
with the files nested under them, we then also need directory
handling, since we can create arbitrary directories on those
datastores and put vm disks anywhere.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

update to a more complex Test.vmx file

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

logging

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

work on file system

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

refactoring

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add EsxiFile implementing AsyncRead

The file handle will be used to as "inodes" when the kernel does a
"lookup". The AsyncRead impl is so that we can use a BufReader with it
without accidentally downloading a GB-sized vmdk when scanning them
for whether they're a descriptive text or a blob.

Although we might not even need to scan them if qemu/pve don't need to
actually list the directory contents but rather just go from whatever
the vmdks contain anyway?

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

prepare fs module

this will parse the vmdks and collect all files to serve

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

implement downloading by range

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

vmx: use correct disk kind match group

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

get parameters from command line

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

import Test.vmx for reference when working on config parser

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

import

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>