A script to download and create a stick with test image.

TEST=None
BUG=None

Change-Id: Id3cc3297f776b7247794f7f392c68cc7feb57fb0
Reviewed-on: https://gerrit.chromium.org/gerrit/56119
Tested-by: Deepak Gopal <deepakg@chromium.org>
Reviewed-by: Kris Rambish <krisr@chromium.org>
Commit-Queue: Deepak Gopal <deepakg@chromium.org>

Add option to regenearte when auto-refreshing

This makes it easier to watch test progress with local_dash.

BUG=None
TEST=Manual

Change-Id: Ib90a5d2eab08f7996f03bc9acd7db8f28f873fb5
Signed-off-by: Vic Yang <victoryang@chromium.org>
Reviewed-on: https://gerrit.chromium.org/gerrit/51434

Show test names in local_dash

With this, the test names are shown on the result page and we don't need
to hover cursor over the test entries to see the names.

BUG=None
TEST=Check test names are shown.

Change-Id: I7fb8f949e37b356622d4071c59c33c97107845ce
Signed-off-by: Vic Yang <victoryang@chromium.org>
Reviewed-on: https://gerrit.chromium.org/gerrit/51429
Reviewed-by: Tom Wai-Hong Tam <waihong@chromium.org>

Show TEST_NA failure in yellow

TEST_NA is different from normal failure. Let's make it yellow to
distinguish them.

BUG=None
TEST=Check TEST_NA failure is shown in yellow

Change-Id: If7639c9128dabfe0b3f2841d4bc79c7f93117e23
Signed-off-by: Vic Yang <victoryang@chromium.org>
Reviewed-on: https://gerrit.chromium.org/gerrit/51276
Reviewed-by: Tom Wai-Hong Tam <waihong@chromium.org>

CHROMIUM: crostestutils: add --board parameter

Need to pass --board to run_remote.sh if it's not the same as
the default board.

BUG=None
TEST=Manual

Change-Id: I49aca91387452f68d40089bc2bf1a0f9bd450c6d
Signed-off-by: Grant Grundler <grundler@chromium.org>
Reviewed-on: https://gerrit.chromium.org/gerrit/51221
Reviewed-by: Richard Barnette <jrbarnette@chromium.org>

Setting servod to output debug logs.

When running via run_remote_tests.sh, debug output from servod would
assist in isolating problems we see in test runs.

BUG=chrome-os-partner:19374
TEST=manually started servod with --debug

Change-Id: Iadade3190e58d071c42529b05d51c36942620265
Reviewed-on: https://gerrit.chromium.org/gerrit/51003
Commit-Queue: Yusuf Mohsinally <mohsinally@google.com>
Tested-by: Yusuf Mohsinally <mohsinally@google.com>
Reviewed-by: Scott Zawalski <scottz@chromium.org>

Add test_that launching script to path

Add a script that launches autotest source tree's copy
of test_that to the chroot path.

CQ-DEPEND=CL:Iaeb425cb5575ceb67f868d3c8d8343a58255cae8

BUG=chromium:236471
TEST=If source tree test_that.py does not exist, script errors out with
appropriate message. Otherwise, test_that.py is launched and command
line args are passed along correctly.

Change-Id: I940e09d6986fe049eb4c94a91e3e484aabccd7a4
Reviewed-on: https://gerrit.chromium.org/gerrit/49496
Tested-by: Aviv Keshet <akeshet@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Queue: Aviv Keshet <akeshet@chromium.org>

Allow programmatic blacklisting of unit tests.

BUG=chromium:236158
TEST=Remote trybot run of pre-cq-group.
Change-Id: I8eb4107a361ff9f4b75db4cfe961220d09a71364
Reviewed-on: https://gerrit.chromium.org/gerrit/49440
Reviewed-by: Darin Petkov <petkov@chromium.org>
Tested-by: David James <davidjames@chromium.org>
Commit-Queue: David James <davidjames@chromium.org>

Don't store temporary image in image dir.

Storing temporary images in the same dir as other images causes problems
for the archive stage, as this command grabs all images in the directory.
This includes temporary files which might disappear while zip is
working.

BUG=chromium:235053
TEST=cbuildbot run

Change-Id: I4dac10050931d273ca7b2860eab937b109ae1781
Reviewed-on: https://gerrit.chromium.org/gerrit/49059
Reviewed-by: Luigi Semenzato <semenzato@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Queue: David James <davidjames@chromium.org>
Tested-by: David James <davidjames@chromium.org>

Adding a tool to transport test logs to Google Storage.

BUG=chromium:220460
TEST=manual

Change-Id: If60bffa559e6c4b54d77213773f5d3d9377c04e1
Reviewed-on: https://gerrit.chromium.org/gerrit/47777
Reviewed-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: Kris Rambish <krisr@chromium.org>
Commit-Queue: Rohit Makasana <rohitbm@chromium.org>
Reviewed-by: Rohit Makasana <rohitbm@chromium.org>
Tested-by: Rohit Makasana <rohitbm@chromium.org>

fix run_remote_tests.sh control file combining logic

This CL fixes a bug in the control file combining logic which was
causing tests to be run multiple times under some circumstances. It also
improves the logging messages in the preamble to a suite run.

BUG=chromium:224679
TEST=run_remote_tests.sh --remote=172.22.75.104 suite:dummyflake; 4
tests are run instead of 8.

Change-Id: If8ccaa0a03232cfb1d341fc9fb10b87daddd74c1
Reviewed-on: https://gerrit.chromium.org/gerrit/46785
Tested-by: Aviv Keshet <akeshet@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Queue: Aviv Keshet <akeshet@chromium.org>

Halt test running if remote board does not match source board.

When attempting to run tests from one board on another, no clear
error is reported.  Unusual 'autoserv: error:' occurs with no
clear guidance.

Instead notice when the board mismatch occurs (usually because
of a mismatched default board) and notify the user.

If --allow_offline_remote the check is skipped.

BUG=chromium:222871
TEST=(default board is link and remote board is daisy)
TEST=./run_remote_tests.sh --board=daisy --remote=10.42.0.10 \
     client/tests/sleeptest/control [works]
TEST=./run_remote_tests.sh --remote=10.42.0.10 \
     client/tests/sleeptest/control [fails with clear error]
TEST=./run_remote_tests.sh --board=link --remote=10.42.0.10 \
     client/tests/sleeptest/control [fails with clear error]

Change-Id: I138bf7d7adf0bb9b318e369348f1bcf41225e35c
Reviewed-on: https://gerrit.chromium.org/gerrit/46171
Reviewed-by: Aviv Keshet <akeshet@chromium.org>
Commit-Queue: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

do not combine control files with retries with specified as cli list

If multiple tests are specified from the command line, then if any of
them make use of RETRIES they will no longer be combined into a single
control file.

BUG=None
TEST=`run_remote_tests.sh --remote=172.22.75.104
^client/site_tests/dummy_Fail/control$
^client/site_tests/dummy_Pass/control.wifichaos$`
both tests run in combined control file

run_remote_tests.sh --remote=172.22.75.104
^client/site_tests/dummy_Fail/control$
^client/site_tests/dummy_Pass/control.wifichaos$
^client/tests/flaky_test/control$
All tests run in separate control files, since flaky_test uses RETRIES.

Change-Id: I1641ec19102542be1ca35679eb4d6d5d2a68ec1a
Reviewed-on: https://gerrit.chromium.org/gerrit/45802
Tested-by: Aviv Keshet <akeshet@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Queue: Aviv Keshet <akeshet@chromium.org>

do not combine control files with retries when running a test suite

The previous behavior of run_remote_tests.sh when running a suite
consisting of only client or only server side tests, was to combine all
the control files for the suite's tests into one control file. This
reduces overhead, and makes the suite faster.

However, for tests in a suite that make use of the new test retries
feature using the RETRIES attribute, combining the control files into
one breaks the retries feature.

This CL causes run_remote_tests.sh to only combine a suite's control
files which have files with 0 or unspecified retries, and run all tests
that use retries separately.

CQ-DEPEND=I3baec71737eb5fed66f2d1a225b334eaa8e3d91b

BUG=chromium-os:39799
TEST=Run run_remote_tests.sh --remove=<dut> suite:dummyclientretries
See info output that two files are being combined for efficiency, and
two files with retires are being run separately. See that this is indeed
the case when the tests run.

Change-Id: I80010c713451e6224cb8e74f1812a2c0fdccb361
Reviewed-on: https://gerrit.chromium.org/gerrit/45790
Tested-by: Aviv Keshet <akeshet@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Queue: Aviv Keshet <akeshet@chromium.org>

No "running the following control files" message when none being run

BUG=None
TEST=Run a suite with run_remote_tests.sh, no longer see confusing and
useless "Running the following control files ${FLAGS_iterations} times:"
message.

Change-Id: Ibde09d8c3128e216336d322d2185524efca850fc
Reviewed-on: https://gerrit.chromium.org/gerrit/45793
Tested-by: Aviv Keshet <akeshet@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Queue: Aviv Keshet <akeshet@chromium.org>

Add hack to mitigate race condition when running vm test.

We avoided using this in cros_run_vm_test as developers used it to run
tests. Since only the builder (and likely me) run this test. Adding this
temp hack should be ok for now. Added todo and leaving bug open.

BUG=chromium:209719
TEST=Ran it :)

Change-Id: I243d822a24fc760d3af8f08b3bffab2f8a3fafb7
Reviewed-on: https://gerrit.chromium.org/gerrit/45723
Reviewed-by: Chris Sosa <sosa@chromium.org>
Tested-by: Chris Sosa <sosa@chromium.org>

ctest: fix usage error output

If you run `ctest -h`, you get the usage twice.  Tweak how we throw up
the error so that it works in both scenarios.

BUG=None
TEST=`ctest -h` only shows one screen of options
TEST=`ctest -asdfasdf` only shows one screen of options

Change-Id: Ie2686698a2ff64980d09e3993f0d1ef29d6f3651
Reviewed-on: https://gerrit.chromium.org/gerrit/45629
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Queue: Mike Frysinger <vapier@chromium.org>
Tested-by: Mike Frysinger <vapier@chromium.org>

Update generate_test_report to work from within HWQual tarball.

BUG=none
TEST=Verify generate_test_report works from src/scripts now.

Change-Id: Ic4933663ef64bf1b66cce8b79721d432700a2799
Reviewed-on: https://gerrit.chromium.org/gerrit/43895
Tested-by: David James <davidjames@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Queue: David James <davidjames@chromium.org>

Pass in the devserver URL and board to gmerge.

For official test images, we don't include the devserver_url
in /etc/lsb-release which I was using when running this test locally.
Set these directly.

BUG=chromium:182314
TEST=Ran it (overrides took effect).

Change-Id: Ie7fafe7d7d4090484ec951258ea14584e8ab43ce
Reviewed-on: https://gerrit.chromium.org/gerrit/45221
Commit-Queue: Chris Sosa <sosa@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Tested-by: Chris Sosa <sosa@chromium.org>

Remove hack that was needed for gmerge test to work.

BUG=chromium:182299
TEST=Ran it with fixes.
CQ-DEPEND=If95eddc2f687d5ccc983d964d5fba7b0e4631c02

Change-Id: Ie19bd91f795ff46bb62c49564aa75a23fcb3b0be
Reviewed-on: https://gerrit.chromium.org/gerrit/45170
Tested-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: Mike Frysinger <vapier@chromium.org>
Commit-Queue: Chris Sosa <sosa@chromium.org>

Parse RETRIES value from control files in run_remotes_tests

This CL gives run_remote_tests the ability to parse out RETRIES value
from client or server side control files, and pass the retries value
along to autoserv, for retrying of failed flaky tests.

BUG=chromium-os:39799
TEST=Kicked of a flaky_test with run_remote_tests, ensured that it
retried in case of failure.

Change-Id: I4feb1fa4bedeb15c9bc81ef3ed49ddad0cbdabe8
Reviewed-on: https://gerrit.chromium.org/gerrit/45123
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Queue: Aviv Keshet <akeshet@chromium.org>
Tested-by: Aviv Keshet <akeshet@chromium.org>

Use chromite's remote_access library rather than my own ssh command.

Also after discussing with vapier last night, discovered what was wrong
with gmerge (not actually limited to the test). Getting the test in for
the necessary workaround while also fixing the actual bug.

BUG=chromium-os:12388, chromium-os:37901, chromium-os:39757
TEST=Ran it through.

Change-Id: I43d2412feea31228e358613d9fcdffdb709624f4
Reviewed-on: https://gerrit.chromium.org/gerrit/45004
Commit-Queue: Chris Sosa <sosa@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Tested-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: Mike Frysinger <vapier@chromium.org>

Integration test to test the basic functionality of dev-install and gmerge.

This module contains a test that runs some sanity integration tests against
a VM. First it starts a VM test image and turns it into a base image by wiping
all of the stateful partition. Once done, runs dev_install to restore the
stateful partition and then runs gmerge.

Right now I have the gmerge test not run as it's having some funky portage
issues (I could switch it to qemacs and it'll work -- see TODO).

BUG=chromium-os:12388 chromium-os:37901
TEST=Ran it --- many many times.

Change-Id: I32a230514d07d76b3d6cd9029181a374826c4104
Reviewed-on: https://gerrit.chromium.org/gerrit/44762
Commit-Queue: Chris Sosa <sosa@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Tested-by: Chris Sosa <sosa@chromium.org>

Make generate_test_report.py tolerate WARN status

Instead of a WARN being considered as a hard failure, make
generate_test_report.py treat it as a pass, but still gather up
the reason for the warning and print it in the report.

BUG=chromium-os:39147
TEST=run generate_test_report.py on test results containing a WARN (like those from dummy_Fail)

Change-Id: I51a0c4a54d0327e3e821589927d0e9fa2bfd9ebc
Reviewed-on: https://gerrit.chromium.org/gerrit/44248
Reviewed-by: Chris Masone <cmasone@chromium.org>
Tested-by: Chris Masone <cmasone@chromium.org>
Commit-Queue: Chris Masone <cmasone@chromium.org>

Re-land "Run unit tests on all cros-workon packages in full builders."

Currently, unit tests are only run on packages whose names start with
'chromeos-base'. This CL updates the full builders to run unit tests for
all cros-workon ebuilds.

As-is, this CL enables unit tests on full builders for 7 ebuilds that
previously only ran unit tests on the commit queue.

  - chromeos-base/chromite
  - chromeos-base/cros-devutils
  - dev-util/quipper
  - media-sound/adhd
  - sys-apps/dtc
  - sys-apps/flashmap
  - sys-kernel/chromeos-kernel

BUG=chromium-os:39038
TEST=Run paladin, full, and canary builders.

Change-Id: I8c2b4d9a660dffbc00aa3b8b11a83ee38495aa68
Original-Change-Id: Ibf54ad59e615e317e358148f5f736e95185d5ec3
Previously-Reviewed-on: https://gerrit.chromium.org/gerrit/43547
CQ-DEPEND=CL:43619, CL:43621
Reviewed-on: https://gerrit.chromium.org/gerrit/43622
Reviewed-by: Mike Frysinger <vapier@chromium.org>
Commit-Queue: David James <davidjames@chromium.org>
Tested-by: David James <davidjames@chromium.org>
Reviewed-by: Peter Mayo <petermayo@chromium.org>

Revert "Run unit tests on all cros-workon packages in full builders."

This reverts commit a5d812e827d5f9fe1d625095e0ba7806d6641b0f.

The reverted CL introduced unit-test failures in cros-devutils and chromite:

http://build.chromium.org/p/chromiumos/builders/x86%20generic%20full/builds/8016/steps/UnitTest/logs/stdio
https://uberchromegw.corp.google.com/i/chromeos/builders/lumpy%20canary/builds/2248/steps/UnitTest/logs/stdio

Change-Id: Ib7713c900007668bb6b393cd49039fc3c7a68af0
Reviewed-on: https://gerrit.chromium.org/gerrit/43606
Reviewed-by: David James <davidjames@chromium.org>
Commit-Queue: Elly Jones <ellyjones@chromium.org>
Tested-by: Elly Jones <ellyjones@chromium.org>

Run unit tests on all cros-workon packages in full builders.

Currently, unit tests are only run on packages whose names start with
'chromeos-base'. This CL updates the full builders to run unit tests for
all cros-workon ebuilds.

As-is, this CL enables unit tests on full builders for 7 ebuilds that
previously only ran unit tests on the commit queue.

  - chromeos-base/chromite
  - chromeos-base/cros-devutils
  - dev-util/quipper
  - media-sound/adhd
  - sys-apps/dtc
  - sys-apps/flashmap
  - sys-kernel/chromeos-kernel

BUG=chromium-os:39038
TEST=Run paladin and full builders.

Change-Id: Ibf54ad59e615e317e358148f5f736e95185d5ec3
Reviewed-on: https://gerrit.chromium.org/gerrit/43547
Reviewed-by: Peter Mayo <petermayo@chromium.org>
Commit-Queue: David James <davidjames@chromium.org>
Tested-by: David James <davidjames@chromium.org>

Do not initialize remote access if not needed

The run_remote_tests.sh script accepts a command line flag
(--allow_offline_remote) which makes it possible to run the tests even
if the DUT is offline. What happens is that the script still tries to
initialize remote access when this option is given, which forces the
operator to wait for the ssh connection timeout to expire in case the
DUT is indeed down.

With this change DUT connection is not even attempted if the
--allow_offline_remote flag is given.

BUG=None
TEST=manual
     . tried using the script while the DUT is offline:

     $  ~/trunk/src/platform/crostestutils/run_remote_tests.sh --use_emerged\
      --board=daisy --servo --remote=192.168.1.6 --allow_offline_remote fwupdate \
      --args 'fwurl=file:///tmp/daisy.tar.bz2 board=snow'

      observed the script proceeding to test right away without waiting
      for the ssh connection attempt to timeout

Change-Id: I9611cbd97e8a729cf27172813a26fde6f70e98db
Signed-off-by: Vadim Bendebury <vbendeb@chromium.org>
Reviewed-on: https://gerrit.chromium.org/gerrit/43334
Reviewed-by: Richard Barnette <jrbarnette@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>

Change dev server from ttracy... to cros-hwqual-5

BUG=None
Change-Id: I56b734eaba19ac7e1a1bbc4ee76ab804202891c9
TEST=Run au2test
Reviewed-on: https://gerrit.chromium.org/gerrit/43147
Reviewed-by: Scott Cunningham <scunningham@google.com>
Tested-by: Scott Cunningham <scunningham@google.com>
Reviewed-by: Kris Rambish <krisr@chromium.org>
Commit-Queue: Scott Cunningham <scunningham@google.com>

Auto Update to Test Release Version from test dev omaha server

BUG=chromium-os:38315
TEST=Run au2test from /home/chronos directory.

Change-Id: Ie85c774a8f1467c67c9df485c8a9447b87cc946c
Reviewed-on: https://gerrit.chromium.org/gerrit/42577
Reviewed-by: Scott Cunningham <scunningham@google.com>
Tested-by: Scott Cunningham <scunningham@google.com>
Reviewed-by: Kris Rambish <krisr@chromium.org>
Commit-Queue: Scott Cunningham <scunningham@google.com>

Add sys.path to include chromite

BUG=chromium-os:37911
TEST=Run generate_test_report.py, it prints help information

Change-Id: Ia02a792d6fb49527aeb6cc62577b939a64008ff4
Reviewed-on: https://gerrit.chromium.org/gerrit/42070
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Queue: Yunlian Jiang <yunlian@chromium.org>
Tested-by: Yunlian Jiang <yunlian@chromium.org>

recover_duts: Increase amount of ping retries before rebooting

I am trying to implement a suspend stress test that runs
suspend/resume cycles in a very tight loop. As most network adapters
used in the lab are USB-based and therefore need reenumeration after
resume, this means that the device often looses its network connection
for several cycles or regains it just for a few seconds. As recover_duts
currently assumes a very stable network connection, my test often fails
from sudden reboots on an otherwise healthy device.

This test improves recover_duts' network detection mechanism by making
really, *really* sure it is down for good over about a minute before it
tries any recovery attempts. This should not really prevent its main
purpose of recovering wedged devices, but will significantly improve the
stability of tests that deteriorate network availability.

BUG=chromium-os:35901
TEST=Run power_SuspendStress/control.bareDaily on a lab device with this
patch, rejoice as it survives the whole run (autotest may still loose
its connection, though, that's a different problem I need to work on).

Change-Id: Ibe7e5cad9805f84fabdc863cbf456fad62c89470
Signed-off-by: Julius Werner <jwerner@chromium.org>
Reviewed-on: https://gerrit.chromium.org/gerrit/42046
Reviewed-by: Chris Sosa <sosa@chromium.org>

Disable unittest for sys-devel/binutils.

The test is not enabled for 2.21 (But is automatically enabled for 2.22 since I unified host and target binutils ebuild files.).
I found the similar failure for 2.21.

I'm not going to dive into it and will proceed to roll out binutils.

CQ-DEPEND=CL:39596
BUG=None
TEST=cbuildbot -g '39596 39597 39598 42024' --remote lumpy-paladin (which failed withouth this CL)

Change-Id: I1e90c6d0da14e5651de828f6d57bdeddf8b1ca16
Reviewed-on: https://gerrit.chromium.org/gerrit/42024
Reviewed-by: Mike Frysinger <vapier@chromium.org>
Reviewed-by: asharif <asharif@chromium.org>
Commit-Queue: Han Shen <shenhan@google.com>
Tested-by: Han Shen <shenhan@google.com>

Add SOURCEROOT to sys.path and setup basic logging.

Fixes the following stack trace:

Traceback (most recent call last):
  File "bin/cros_run_parallel_vm_tests", line 13, in <module>
    from chromite.lib import cros_build_lib
ImportError: No module named chromite.lib

BUG=none
TEST=Run it

Change-Id: I5d3722e06bdcace6564518b14acea27ee7a934c6
Reviewed-on: https://gerrit.chromium.org/gerrit/40388
Reviewed-by: Chris Sosa <sosa@chromium.org>
Tested-by: David James <davidjames@chromium.org>
Commit-Queue: David James <davidjames@chromium.org>

Re-land "Copy over failed update/tests into their own tree hierarchy."

The old version of the parallel library would hang because of too much data as part of the object being passed around. Since then, David James has refactored the au_test_harness to use the chromite parallel library which does not have this hanging issue. Re-landing.

Original CL reviewed in: Ic04881c1

This reverts commit a40d096c383e5e4af273a671700a6267875d59ef

BUG=chromium-os:36691, chromium-os:36190
TEST=Raaaan it with failures. Saw hierarchies get filled in correctly
Change-Id: I89de3fc8cca2572699bc46e383b560e3aa8a77e5
Reviewed-on: https://gerrit.chromium.org/gerrit/40334
Reviewed-by: David James <davidjames@chromium.org>
Commit-Queue: Chris Sosa <sosa@chromium.org>
Tested-by: Chris Sosa <sosa@chromium.org>

Update utils_py to use chromite.lib.cros_build_lib.

BUG=chromium-os:24660, chromium-os:21287
TEST=Trybot runs. Unit tests. Pylint.
TEST=Verify both successful and failed VMTest runs behave correctly.
Change-Id: I2408761f1e00437a4f9e0d212a67ddd89634a2c7
Reviewed-on: https://gerrit.chromium.org/gerrit/40311
Tested-by: David James <davidjames@chromium.org>
Reviewed-by: Brian Harring <ferringb@chromium.org>
Commit-Queue: David James <davidjames@chromium.org>

Update crostestutils to use chromite.lib.cros_build_lib.

crostestutils is a build-time tool and as such should be updated to use
chromite. This CL removes the 2nd last dependency on the crosutils
cros_build_lib and moves us closer to being able to remove the module.

This CL also removes the last dependency on error_ok=True support in
chromite.lib.cros_build_lib.

BUG=chromium-os:24660, chromium-os:21287
TEST=Trybot runs. Unit tests. Pylint.
TEST=Verify both successful and failed VMTest runs behave correctly.
Change-Id: Ifc53d18025707b676125603d3566215b95111fbb
Reviewed-on: https://gerrit.chromium.org/gerrit/40300
Reviewed-by: David James <davidjames@chromium.org>
Tested-by: David James <davidjames@chromium.org>
Commit-Queue: David James <davidjames@chromium.org>

Use chromite.lib.parallel instead of ParallelTestJob.

This CL fixes a deadlock in crostestutils, while also simplifying the code
and reusing logic from chromite.

Currently, the ParallelTestJob class uses the following pattern:
  1) Launch a bunch of processes which put stuff on queues.
  2) Wait for them to finish.
  3) Once they're finished, grab stuff from the queues.

The big problem with the above pattern is that it can lead to a deadlock
if the data added to the queue is bigger than the size of the buffer.
Fortunately, this can be easily fixed by just updating these tools to use
chromite.lib.parallel instead, which grabs output from queues before joining
the process, rather than after.

BUG=chromium-os:37519, chromium-os:14274
CQ-DEPEND=CL:40289
TEST=Unit tests, trybot runs.

Change-Id: Icc7c078795718c9d031fdee101f503daaa9198d2
Reviewed-on: https://gerrit.chromium.org/gerrit/40290
Reviewed-by: Chris Sosa <sosa@chromium.org>
Tested-by: David James <davidjames@chromium.org>
Commit-Queue: David James <davidjames@chromium.org>

Revert "Copy over failed update/tests into their own tree hierarchy."

This is causing hangs as its increasing the size of the worker object. For now lets revert this until we can fix the parallel lib.

This reverts commit 17be082195b8bee27bad05730815e480cd2af1fa

Change-Id: I65b21bc2364d5aebcc73339e9e9ad187b861f73a
Reviewed-on: https://gerrit.chromium.org/gerrit/40257
Tested-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>

Fix pylint errors in cros_testutils.

BUG=none
TEST=All touched files are pylint clean. Trybot run.

Change-Id: I12f1cf22d68d977f2e907c92cd7bbfef01edf7ee
Reviewed-on: https://gerrit.chromium.org/gerrit/39777
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: David James <davidjames@chromium.org>
Tested-by: David James <davidjames@chromium.org>

Add pylint hook to crostestutils to make sure crostestutils passes pylint.

BUG=chromium-os:11550
TEST=Verify presubmit hook catches when there are pylint errors.

Change-Id: Ia20775756020d4eabcec762509795b0fe6b3da6c
Reviewed-on: https://gerrit.chromium.org/gerrit/39754
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: David James <davidjames@chromium.org>
Tested-by: David James <davidjames@chromium.org>

Protect against cases where the devserver can be slow to start up.

These can happen if the devserver is busy cleaning its cache
and the system is under heavy IO. There's really little reason to
have a small timeout so let's play it safe it bounce it up a lot.

BUG=chromium-os:34768
TEST=Ran cros_generate_test_payloads

Change-Id: I578f222ac63dc3ca8d65bee7dca0a504ce9e07f0
Reviewed-on: https://gerrit.chromium.org/gerrit/39514
Tested-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: David James <davidjames@chromium.org>
Commit-Ready: Chris Sosa <sosa@chromium.org>

Add auto-refresh checkbox to local_dash.

BUG=None
TEST=http://truty-glaptop:8080/
TEST=http://cargocult.mtv:8080/

Change-Id: I4f7aa96f5e404c8a2b3ece13fed157ccd20af3eb
Reviewed-on: https://gerrit.chromium.org/gerrit/39284
Reviewed-by: Yusuf Mohsinally <mohsinally@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Copy over failed update/tests into their own tree hierarchy.

This makes it easier to find failed upates/tests when trying to figure
out which test failed.

BUG=chromium-os:36691, chromium-os:36190
TEST=Raaaan it with failures. Saw hierarchies get filled in correctly.

Change-Id: Ic04881c1871178ff59d97ec99e86a2c279806106
Reviewed-on: https://gerrit.chromium.org/gerrit/39433
Tested-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: David James <davidjames@chromium.org>
Commit-Ready: Chris Sosa <sosa@chromium.org>

recover_duts: ping SSH clients to check connectivity

recover_duts' check_ethernet.hook tests for network connectivity by
pinging the system's default gateway on any device that starts with
"eth". This is obviously a problem when the default route does not use
such a device, as it can happen during some autotests (like
power_LoadTest) that use the cros/backchannel.py script to switch their
default route to wireless.

What we really want to know is if the autotest server is still reachable
and can control the device. Autotest uses an SSH connection to control
its client, so this patch changes recover_duts to search for an active
SSH connection and ping that remote client first. This will work with
backchannel tests as it specifically ensures to keep routes to subnets
that have active SSH connections on the wired device. If no active SSH
connection is detected, the hook will fall back to the old method.

BUG=chromium-os:36454
TEST=Submit this patch and rejoice as all the power_LoadTest runs in the
lab magically start to work again for the first time in months.

Change-Id: I0066ccebe7a2f77744f2104555160c08feb7c108
Signed-off-by: Julius Werner <jwerner@chromium.org>
Reviewed-on: https://gerrit.chromium.org/gerrit/39036
Reviewed-by: Chris Sosa <sosa@chromium.org>

Allow local_dash reports to be regenerated from the ui.

For simply keeping an eye on local test activity, it's
helpful to have a ui based regenerate click to avoid dropping
into the chroot to update after running tests.

BUG=chromium-os:34919
TEST=result_viewer, then run_remote_tests.sh, then click regenerate.

Change-Id: I8465edee83f91d205401781ab9c5f127becd9979
Reviewed-on: https://gerrit.chromium.org/gerrit/38996
Reviewed-by: Yusuf Mohsinally <mohsinally@google.com>
Reviewed-by: Yusuf Mohsinally <mohsinally@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Add file_size to make debugging large files easier.

Make it easier to notice large core and messages files
that are consuming GB of space under sysinfo folders.

BUG=chromium-os:36326
TEST=http://cargocult.mtv:8080/logs/run_remote_tests.Qt5p/
TEST=many files under: http://cargocult.mtv:8080/

Change-Id: I5adc2b56b92be4143f2a9ba96922af28e5f99274
Reviewed-on: https://gerrit.chromium.org/gerrit/38918
Reviewed-by: Yusuf Mohsinally <mohsinally@google.com>
Reviewed-by: Tom Wai-Hong Tam <waihong@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Support collecting attr keyval in generate_test_report and local_dash

FAFT now records the firmware version info to the attr keyval. This CL makes
generate_test_report support getting this attr keyval info, such that
local_dash can get this version info even if the sysinfo is not available.

BUG=chromium-os:36326
TEST=generate_test_report --csv --attr --sort-chron /tmp/run_remote_tests.Czsx
/tmp/run_remote_tests.Czsx/firmware_DevMode/firmware_DevMode.normal,PASS,fw_version=link_v1.2.111-d07166a,fwid=Google_Link.2695.1.128,hwid=X86 LINK TEST 6638
/tmp/run_remote_tests.Czsx/firmware_DevMode,PASS
TEST=local_dash to generate the json file even if sysinfo is not available

Change-Id: Ie7cd9c99c10d82fc48cd13518e5ebc43fd66a9ea
Reviewed-on: https://gerrit.chromium.org/gerrit/38900
Reviewed-by: Mike Truty <truty@chromium.org>
Commit-Ready: Tom Wai-Hong Tam <waihong@chromium.org>
Tested-by: Tom Wai-Hong Tam <waihong@chromium.org>

Have ctest accept an archive dir instead of inferring it.

This is required for having cbuildbot archive into the buildroot instead
of /b/archive.

BUG=chromium-os:36644
TEST=remote trybots.
CQ-DEPEND=CL:38681

Change-Id: I5c346f2b9cc7eb5aa1c5e1fb662bae41cd331a4a
Reviewed-on: https://gerrit.chromium.org/gerrit/38682
Reviewed-by: David James <davidjames@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Ryan Cui <rcui@chromium.org>
Tested-by: Ryan Cui <rcui@chromium.org>

Correct implementation to handle absence of sysinfo.

Was defaulting the test-level dict when I should have defaulted
the suite level dict.  The test level dict was overwriting the
suite level dict during abnormal runs with UNKNOWN.

BUG=chromium-os:36177
TEST=re-run local_dash and result_viewer
     notice proper grouping of unknowns

Change-Id: Iff56a58d8ca90759ede2e9efe4dc497125cc84fe
Reviewed-on: https://gerrit.chromium.org/gerrit/38129
Reviewed-by: Yusuf Mohsinally <mohsinally@google.com>
Reviewed-by: Vadim Bendebury <vbendeb@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Allow use of commas to separate tests in command line arguments

This is just a convenience change, it allows to specify the list of
tests passed to run_remote_tests.sh to be separated by comma, as
opposed to spaces. It makes scripting easier and adds flexibility.

BUG=none
TEST=manual
   . while in chroot run the following command
      ~/trunk/src/scripts/run_remote_tests.sh --board=link --servo --remote=192.168.1.4  faft_lv1,faft_lv2,faft_lv3

   it executes the test suites in series, as expected.

Change-Id: I0c0ef71c1178f604116b24f704b0d34949829d72
Signed-off-by: Vadim Bendebury <vbendeb@chromium.org>
Reviewed-on: https://gerrit.chromium.org/gerrit/38034
Reviewed-by: Chris Sosa <sosa@chromium.org>

Handle situations when no hardware info (sysinfo) is present.

This will occur when some tests are run with disable_sysinfo=True.

BUG=chromium-os:36177
TEST=remove sysinfo folders
     notice empty display
     apply patch
     notice full display of results

Change-Id: I03ea06345aa3faa5d3de938374b1ae2f2325598f
Reviewed-on: https://gerrit.chromium.org/gerrit/37946
Reviewed-by: Yusuf Mohsinally <mohsinally@google.com>
Reviewed-by: Tom Wai-Hong Tam <waihong@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Improve handling of aborted test runs/suites.

Improve generate_test_report to produce localtime even if it is
not available where normally available.

Improve local_dash to handle multiple suites within a single result
folder.

Add pass/fail counting to folder popup.

BUG=chromium-os:36177
TEST=repeat runs of local dash with aborted run_remote_tests.xx dirs.

Change-Id: I8d3fdaf641bd9f5274561bdd7bc7e2392b319c54
Reviewed-on: https://gerrit.chromium.org/gerrit/37644
Reviewed-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: Yusuf Mohsinally <mohsinally@google.com>
Reviewed-by: Vadim Bendebury <vbendeb@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Increase the timeout before re-pinging. DNS acquisition can take a while.

BUG=chromium-os:36197
TEST=Ran it.

Change-Id: I0d86311ca925a3b0a6a802620a0aa01e825c5c8e
Reviewed-on: https://gerrit.chromium.org/gerrit/37771
Tested-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: Paul Stewart <pstew@chromium.org>
Commit-Ready: Chris Sosa <sosa@chromium.org>

We have seen on machines that reboot can take a very long time.

In these cases, test should fail but recover_duts should give them
a chance to -- otherwise we might reboot endlessly.

BUG=chromium-os:36197
TEST=pylint

Change-Id: I5cb7da337ff80915a492386f9f29f38d47962026
Reviewed-on: https://gerrit.chromium.org/gerrit/37737
Reviewed-by: Scott Zawalski <scottz@chromium.org>
Commit-Ready: Chris Sosa <sosa@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Tested-by: Chris Sosa <sosa@chromium.org>

Modify recover_duts to ping the default gateway rather than google.com.

During testing, we may mock out DNS meaning www.google.com will be
unreachable. This removes the depenedency on DNS from recover_duts by
instead pinging the default gateway.

BUG=chromium-os:35984
TEST=Ran script on device w/without networking.

Change-Id: I5ec8276411f9b1532d4ab0882483770337faea33
Reviewed-on: https://gerrit.chromium.org/gerrit/37588
Tested-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: Paul Stewart <pstew@chromium.org>
Commit-Ready: Chris Sosa <sosa@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>

Fixed bottle views folder path and mimetype.

1. Adding the views folder to bottle.TEMPLATE_PATH
which allows us to remove the need for changing
into the same directory as the script. The dir
change was confusing python when the script was
called in certain scenarios, like from relative
paths.

Also, removed some functions that are no longer
needed.

2. Setting correct mimetype for html files. We
need to have the default be text/plain because
most log files are not detected correctly and they
are rendered ugly in the browser.

BUG=None
TEST=manual run

Change-Id: Id83a2018062566b6609bd2bdb8f7db90a2afdf6f
Reviewed-on: https://gerrit.chromium.org/gerrit/37471
Tested-by: Yusuf Mohsinally <mohsinally@google.com>
Reviewed-by: Mike Truty <truty@chromium.org>
Commit-Ready: Yusuf Mohsinally <mohsinally@google.com>

Improve auto-refresh-dash auto-refreshes to show recent runs.

Also add failed tests popup over leftmost date/time column-cell.

BUG=chromium-os:34919
TEST=re-run run_remote_tests.sh. re-run local_dash. wait 60s.
     dash auto-refreshes.
TEST=hover mouse over date/time column and notice red text for failures.

Change-Id: I8a09e0bb839e965708c0311c252f089af2f3e0b3
Reviewed-on: https://gerrit.chromium.org/gerrit/37329
Reviewed-by: Tom Wai-Hong Tam <waihong@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Tune for repeated use of local_dash.

Create test.json under /tmp and use symlink to find latest results.
Enable bottle to auto-refresh when new results updated.

BUG=chromium-os:34919
TEST=./local_dash && ./dash_template/result_viewer
TEST=notice /tmp/test_results.latest symlink to new test_results_xxx.json file.
TEST=re-run ./local_dash and notice result_viewer spew shows auto-reload.

Change-Id: Ib0a82154f15a13461389806b1542f9e239f81299
Reviewed-on: https://gerrit.chromium.org/gerrit/37177
Reviewed-by: Vadim Bendebury <vbendeb@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Speed up the check and do not start servod if not necessary

The dut-control command without parameters takes several seconds to
complete. But to determine if servod is running it is enough to
retrieve a single value, and retrieving most of the values is very fast.

Also, if servod is already running on the system, we should not be
just ignoring it and proceeding with starting our own instance. The
suggested way of handling it is not to start servod if it is already
running (as opposed to interrupting the test), but warn the user about
the situation.

BUG=chrome-os-partner:15610
TEST=manual

  . have a servod running on a system, start run_remote_tests.sh on
    the same system, observe

    WARNING : --servo option ignored (servod already running!)

   showing up in the log

Change-Id: I55fedee8a99958a748362cf1250eafcc78afc9a3
Reviewed-on: https://gerrit.chromium.org/gerrit/37051
Tested-by: Vadim Bendebury <vbendeb@chromium.org>
Commit-Ready: Vadim Bendebury <vbendeb@chromium.org>
Reviewed-by: Vadim Bendebury <vbendeb@chromium.org>

Flimflam is dead, long-live shill - update check_ethernet.hook with new name.

BUG=None
TEST=Visual

Change-Id: Id708ad52bd7f1617b3415b3d19d9b225221cd6e6
Reviewed-on: https://gerrit.chromium.org/gerrit/36801
Reviewed-by: Ben Chan <benchan@chromium.org>
Commit-Ready: Chris Sosa <sosa@chromium.org>
Tested-by: Chris Sosa <sosa@chromium.org>

Aggregate multiple suites in one run into a single line.

BUG=chromium-os:34919
TEST=./local_dash && ./dash_template/result_viewer
TEST=http://cargocult.mtv:8080/#X86 LINK TEST 6638

Change-Id: Idcb43ac4f823dac64ffbce8bdbbc46ba8f3af3a3
Reviewed-on: https://gerrit.chromium.org/gerrit/36760
Reviewed-by: Mark Koudritsky <kamrik@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Identify Ethernet interfaces in check_ethernet.hook.

BUG=chromium-os:35478
TEST=Tested check_ethernet.hook on machines with the following settings:
1. with an Ethernet interface
2. with two Ethernet interfaces
3. with an Ethernet interface and an E362 modem.

Change-Id: I57de4e50e9ceb73141e240bfc2219432b9d8d11a
Reviewed-on: https://gerrit.chromium.org/gerrit/36439
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Ben Chan <benchan@chromium.org>
Tested-by: Ben Chan <benchan@chromium.org>

Should not show dup lines for .latest symlink.

Should be able to hover over build column and notice no
duplicate entries.

BUG=chromium-os:34919
TEST=./local_dash && ./dash_template/result_viewer

Change-Id: I09700edfe26e0891a93a6ee384552c2f22293b59
Reviewed-on: https://gerrit.chromium.org/gerrit/36005
Reviewed-by: Mark Koudritsky <kamrik@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Add local dash that shows gui of local test results for easier triage.

This app uses the one-file-web-framework bottle from bottlepy.org.
Other apps in chrome-os may also use the bottle library (framework).
There is no standard repo for this at this time. Therefore, this
app uses the approach of providing instructions to install bottle
which will work fine for any bottle app.

With easy to read popups:
-test name
-ec version
-bios version
-error reason on failed tests

Easiest example:
-enter chroot: $ cros_sdk
-goto local dash dir:
 $ pushd ~/trunk/src/platform/crostestutils/utils_py/local_dash/
-extract json data from /tmp/: $ ./local_dash
-serve the results: ./dash_template/result_viewer
-view the results (from browser): http://localhost:8080/

BUG=chromium-os:34919
TEST=many runs of above procedure
TEST=ran pylint

Change-Id: I353f709638f7d9dbd5963f0ca93ec75da4accae1
Reviewed-on: https://gerrit.chromium.org/gerrit/35004
Reviewed-by: Mark Koudritsky <kamrik@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Fix ability to specify multiple suite:xxx targets.

This is the second issue we had with associative arrays in bash.
If you do not declare the array with -A, the array is an indexed
array (must be indexed using ints).

This corrects the behavior to use associative arrays and now
multiple suites specified will run more than just running the
last suite control file specified multiple times.

BUG=chromium-os:34359
TEST=run_remote_tests.sh --remote=w.x.y.z --servo --board=daisy
                         firmware_FAFTSetup suite:faft_lv1 suite:faft_lv2

Change-Id: I204c10efb62299f672b03aa1fa9741ec6fcd16b5
Reviewed-on: https://gerrit.chromium.org/gerrit/35283
Reviewed-by: Zdenek Behan <zbehan@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Revert printing of perf keyvals in --csv case to k,v (not k=v).

BUG=chromium-os:34919
TEST=generate_test_report --csv xxx where xxx is test run with perf keyvals.

Change-Id: I417e6b10017105ca2c567d4467edb91254a9a55d
Reviewed-on: https://gerrit.chromium.org/gerrit/35086
Reviewed-by: asharif <asharif@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Add chronological sorting to test results and key=value to --info.

Long suites have lengthy result lists and its hard to see how an
early failure can affect subsequent tests. Add an option for sorting
test results in chronological order. Grabs a human-readable localtime
for grepping and a timestamp for sorting.

Also adds keys to --info csv data so that automated tools may find specific
info keys like bios version and ec version.

Tested with Autotest jobs 751824 and 751825 which both possess crashes.
Fixed introduced warnings found from:
  /usr/bin/pylint --rcfile=/tmp/chromite/pylintrc

BUG=chromium-os:34919
TEST=generate_test_report --strip "/tmp/..." --sort-chron "/tmp/..."
TEST=multiple variations with/without --sort-cron, --csv --info and --no-debug.
TEST=variations with crashes to prove crash detection working

Change-Id: I48a1d90be0e9bbcf7f24efd8d2c7f89647ea2bca
Reviewed-on: https://gerrit.chromium.org/gerrit/34856
Commit-Ready: Mike Truty <truty@chromium.org>
Reviewed-by: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Revert "Add chronological sorting to test results and key=value to --info."

This reverts commit ff94ab47bd69ce811ffdeb90e0d10a5802c7c0a6, which broke
the ability of generate_test_results.py to gather data on crashes.

Example failure:
  http://chromegw/i/chromeos/builders/link%20paladin/builds/9128

Traceback (most recent call last):
  File "/usr/bin/generate_test_report", line 631, in <module>
    main()
  File "/usr/bin/generate_test_report", line 627, in main
    generator.Run()
  File "/usr/bin/generate_test_report", line 568, in Run
    self._GenerateReportText()
  File "/usr/bin/generate_test_report", line 532, in _GenerateReportText
    crashes[crash].add(test)
NameError: global name 'test' is not defined

Original commit message:

Long suites have lengthy result lists and its hard to see how an
early failure can affect subsequent tests.  Add an option for sorting
test results in chronological order. Grabs a human-readable localtime
for grepping and a timestamp for sorting.

Also adds keys to --info csv data so that automated tools may find specific
info keys like bios version and ec version.

BUG=chromium-os:34919
TEST=generate_test_report --strip "/tmp/..." --sort-chron "/tmp/..."
TEST=multiple variations with/without --sort-cron, --csv --info and --no-debug.

Change-Id: Ia09bef1a5853bd70f49988352747268ed8d4c5d2
Reverted-Change-Id: I9839e55526c5871a0e28434e8434224a2223e8c7
Reviewed-on: https://gerrit.chromium.org/gerrit/34375
Reviewed-on: https://gerrit.chromium.org/gerrit/34844
Reviewed-by: David James <davidjames@chromium.org>
Tested-by: David James <davidjames@chromium.org>

Add chronological sorting to test results and key=value to --info.

Long suites have lengthy result lists and its hard to see how an
early failure can affect subsequent tests.  Add an option for sorting
test results in chronological order. Grabs a human-readable localtime
for grepping and a timestamp for sorting.

Also adds keys to --info csv data so that automated tools may find specific
info keys like bios version and ec version.

BUG=chromium-os:34919
TEST=generate_test_report --strip "/tmp/..." --sort-chron "/tmp/..."
TEST=multiple variations with/without --sort-cron, --csv --info and --no-debug.

Change-Id: I9839e55526c5871a0e28434e8434224a2223e8c7
Reviewed-on: https://gerrit.chromium.org/gerrit/34375
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

Checking in a small tool that has customizable hooks to recover DUTs.

Checking in a new tool that runs after failsafe.conf has started
(30s in to boot or after Chrome has booted) that will run a set of hooks
on Chromium/Chrome OS test images that check "bricked" conditions and fix them.
I'm starting with a hook that toggles eth0 and restarts shill if we can't reach
www.google.com.

BUG=chromium-os:34178
TEST=Ran it and checked logs

Change-Id: I65f1c0eec61ff4dac04478d8bf2e94abd0609dbe
Reviewed-on: https://gerrit.chromium.org/gerrit/32453
Commit-Ready: Chris Sosa <sosa@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Tested-by: Chris Sosa <sosa@chromium.org>

Add additional error logging to cros_generate_test_payloads.py.

We are having errors in which log output from devserver isn't parsed
correctly, but we don't have the devserver logs with which to see
what they contain.

This change dumps the devserver logs so we can understand the root cause.

BUG=chromium-os:34768
TEST=Trybots lumpy-paladin

Change-Id: Ia0d8a771e4ce0ed98f80b7e003fcbf4ca45c86fe
Reviewed-on: https://gerrit.chromium.org/gerrit/34139
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Don Garrett <dgarrett@chromium.org>
Tested-by: Don Garrett <dgarrett@chromium.org>

Fix bug where server tests with child client tests mask server test failures.

Avoid erroneous assumption about the location of the job_report.html.
This *does* now emit a single extra line in some cases corresponding to the
top level serve container test because there is no unique manner to discard
it across all test/suite types.

Adds extra information to the report that should facilitate gross review
of suite runs on a local hard drive (/tmp/run_remote_tests*).

BUG=chromium-os:32859
TEST=find /tmp -maxdepth 1 -type d -name 'run_remote_tests*'
               -exec generate_test_report --csv --info | vim -

Change-Id: If2c688835aa79b491781b1298990ff481fc8abed
Reviewed-on: https://gerrit.chromium.org/gerrit/33049
Commit-Ready: Mike Truty <truty@chromium.org>
Reviewed-by: Mike Truty <truty@chromium.org>
Tested-by: Mike Truty <truty@chromium.org>

run_remote_tests.sh: create latest temp dir link upfront

With this change, the /tmp/run_remote_tests.latest softlink is created
at the beginning of the execution, right after the mktemp call. This
makes it easier for users to track logs as the script is executing,
simply referring to the above softlink. Note that:

* We don't create a softlink when --results_dir_root is used; the user
  evidently provided an explicit directory name, so there's no point in
  creating/updating the latest softlink.

* The latest softlink is removed when --cleanup is used. This generally
  makes sense, but differs from previous logic in that a preexisting
  latest softlink will be overridden regardless. This too sounds like
  a reasonable thing to expect.

BUG=None
TEST=Latest softlink generated as expected.

Change-Id: Ib40def113b8cd75fba3e89db44017ab5d4affb26
Reviewed-on: https://gerrit.chromium.org/gerrit/32419
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Gilad Arnold <garnold@chromium.org>
Tested-by: Gilad Arnold <garnold@chromium.org>

Remove cros_au_test indirection passing through crosutils.

No point, and it's annoying.

BUG=None
TEST=cbuildbot --remote mario-paladin <patch-options>

Change-Id: Ia2cfb075135af730fd33ed5856732b615b9afc82
Reviewed-on: https://gerrit.chromium.org/gerrit/32372
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Brian Harring <ferringb@chromium.org>
Tested-by: Brian Harring <ferringb@chromium.org>

run_remote_tests.sh: allow testing with offline remote hosts

Useful for tests that do not require SSH access, such as those that use
servo for initializing the DUT. An SSH initialization is still
attempted, but is not required to succeed if --allow_offline_remote is
used.

BUG=None
TEST=Test continues in the presence of SSH connection timeout

Change-Id: I632bbb6fc37b9e9692c7bdac0fd986e22ab240c5
Reviewed-on: https://gerrit.chromium.org/gerrit/31664
Reviewed-by: Richard Barnette <jrbarnette@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Gilad Arnold <garnold@chromium.org>
Tested-by: Gilad Arnold <garnold@chromium.org>

Allow SSH agent errors to surface.

This will allow users to know when their sessions dies because of
a non-functioning agent / stale environment variables.

BUG=None
TEST=Script emits an error message to stderr when ssh-add fails.

Change-Id: Ia1c7a642eb75a256e69730c6095ace09284558a2
Reviewed-on: https://gerrit.chromium.org/gerrit/31621
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Gilad Arnold <garnold@chromium.org>
Tested-by: Gilad Arnold <garnold@chromium.org>

Added --args to cros_run_vm_test.

This --args is passed directly to run_remote_tests.sh.

BUG=none
TEST=./cros_run_vm_test --args=... ... works for args with spaces.

Change-Id: I2caac0a51fccd97983faf3a7a38eb56ee7753057
Reviewed-on: https://gerrit.chromium.org/gerrit/31282
Reviewed-by: Nirnimesh <nirnimesh@chromium.org>
Commit-Ready: asharif <asharif@chromium.org>
Tested-by: asharif <asharif@chromium.org>

drop get_default_board usage

The common code will set up DEFAULT_BOARD for us automatically now.

BUG=None
TEST=`cbuildbot {arm,amd64,x86}-generic-full` works

Change-Id: I28e1e05202480c4b158da0e90bcc654ea9cd1cdb
Reviewed-on: https://gerrit.chromium.org/gerrit/30752
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Mike Frysinger <vapier@chromium.org>
Tested-by: Mike Frysinger <vapier@chromium.org>

Don't include archive diectories that are missing an image.zip when calculating previous image.

This change allows for a previous archive directory to be devoid of an image.zip
without throwing an exception when generating delta payloads. Sometimes we might
be missing an image.zip directory if the state of the last build was bad i.e. it
was aborted midstream -- archive directory is created but image.zip doesn't finish
getting generated.

I've also updated a lot of the logging/docstring to make clear what's happening
in image_extractor.

BUG=chromium-os:32122
TEST=Unittests + pylint + running with full_suite w/ and w/out image.zip in latest.

Change-Id: I5df2451f24721ed34ff8a0a91c76896083ed9a0c
Reviewed-on: https://gerrit.chromium.org/gerrit/29205
Tested-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: David James <davidjames@chromium.org>
Commit-Ready: Chris Sosa <sosa@chromium.org>

Add new --servo option to run_remote_tests.sh

When the new option is used, the script will start servod
automatically at the start of testing, and stop it when the
tests are complete.

CQ-DEPEND=I93372498dc494309a134ad2eddf14f542b95e4a6

BUG=chromium-os:30961
TEST=platform_ServoPyAuto

Change-Id: I0e6d64e004ea603fa71e6aa6dd93c12aa8b222a1
Reviewed-on: https://gerrit.chromium.org/gerrit/23566
Tested-by: Richard Barnette <jrbarnette@chromium.org>
Reviewed-by: Todd Broch <tbroch@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Richard Barnette <jrbarnette@chromium.org>

bootperf: Fix bootperf to run again

I was getting this error:

  >>> "server/site_tests/platform_BootPerfServer/control" is an ambiguous pattern.
  Disambiguate by passing one of these patterns instead:
     ^server/site_tests/platform_BootPerfServer/control$
     ^server/site_tests/platform_BootPerfServer/control.perfalerts$

...so I have done so.

BUG=None
TEST=Ran:
  ../platform/crostestutils/bootperf-bin/bootperf --output_dir \
    ~/bootperf das1 2

Change-Id: I8efed4612774af2cd71a545058d712f58c8142d3
Reviewed-on: https://gerrit.chromium.org/gerrit/25022
Tested-by: Doug Anderson <dianders@chromium.org>
Reviewed-by: Richard Barnette <jrbarnette@chromium.org>
Commit-Ready: Doug Anderson <dianders@chromium.org>

Add the ability to specify a label.

BUG=chromium-os:29829
TEST=local

Change-Id: I924fe7fdeb14f1024fd21fbe70b97806215c4136
Reviewed-on: https://gerrit.chromium.org/gerrit/24910
Reviewed-by: David James <davidjames@chromium.org>
Tested-by: Peter Mayo <petermayo@chromium.org>
Commit-Ready: Peter Mayo <petermayo@chromium.org>

Disable NoTestDelayedUpdate.

This test isn't that important, and useful changes elsewhere seemed to break
it. Just turning off the test.

BUG=None
TEST=None (Putting this up quickly, would take a while to test in this tree)

Change-Id: If48d5684e1516e3f3f8b475896540136987b537d
Reviewed-on: https://gerrit.chromium.org/gerrit/22773
Reviewed-by: Chris Masone <cmasone@chromium.org>
Tested-by: Chris Masone <cmasone@chromium.org>
Tested-by: Don Garrett <dgarrett@chromium.org>
Reviewed-by: Don Garrett <dgarrett@chromium.org>
Commit-Ready: Chris Masone <cmasone@chromium.org>

run_remote_tests.sh: make a failure message more meaningful

New message is more suggestive towards the correct approach to
build_packages at least once before one cros_workon starts and tries
running tests.

BUG=none
TEST=none

Change-Id: I5df8e50b25d3838025223c76d3633053a3bdafd9
Reviewed-on: https://gerrit.chromium.org/gerrit/22572
Tested-by: Zdenek Behan <zbehan@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Zdenek Behan <zbehan@chromium.org>

fix up function style

The "function" keyword is superfluous, not in POSIX, is inconsistent
between bash files, and generally makes me angry.  So convert every
instance to the form:
foo() {

BUG=None
TEST=`cbuildbot x86-generic-paladin` works
TEST=`bash -n cros_gestures/setup_cros_gestures.sh` works
TEST=`bash -n cros_run_unit_tests` works
TEST=`cros_run_unit_tests --help` works
TEST=`bash -n run_remote_tests.sh` works
TEST=`run_remote_tests.sh --help` works

Change-Id: Ib4ea9c6a71658f64366522550a640232c4fb6826
Reviewed-on: https://gerrit.chromium.org/gerrit/22469
Reviewed-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Mike Frysinger <vapier@chromium.org>
Tested-by: Mike Frysinger <vapier@chromium.org>

Adjustments to cros_gestures for external partner use.

Relax validation to allow mix-dir manifest filenames.

Improve environment script to setup for building the untrusted bundle
using run_remote_tool.

Also avoid new conflict with hardware_Trackpad/constants by disambiguating
constants.

BUG=chromium-os:29901
TEST=ran local cros_gestures commands on test machine.

Change-Id: I3fd97c270cf9d92cca513cb4b6a5644c74d8b0f3
Reviewed-on: https://gerrit.chromium.org/gerrit/20902
Tested-by: Mike Truty <truty@chromium.org>
Commit-Ready: Mike Truty <truty@chromium.org>
Reviewed-by: Mike Truty <truty@chromium.org>

Enable a pathway to only generate the full update payload.

BUG=chromium-os:29567
TEST=Run with --full_suite and new workflow plus old workflow with
--full_suite and --nplus1.  I also ran pylint.

Change-Id: Ib8d8417f80ee8fe43ea489cae78c0f72623c9e1b
Reviewed-on: https://gerrit.chromium.org/gerrit/21888
Tested-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: Scott Zawalski <scottz@chromium.org>
Commit-Ready: Chris Sosa <sosa@chromium.org>

Revert "Turn off double updates in VM tests."

These tests were disabled until we fixed the postinst firmware problem...
it's now fixed.

This reverts commit 360bdea5240649b5c3d858bfcc0b53753d0cf321.

BUG=None
TEST=trybot

Change-Id: Id17f9f343ab76fb1a1ceb03f2e4761310f5eadac
Reviewed-on: https://gerrit.chromium.org/gerrit/21577
Tested-by: Don Garrett <dgarrett@chromium.org>
Reviewed-by: David James <davidjames@chromium.org>
Commit-Ready: Don Garrett <dgarrett@chromium.org>

Generalized profilers for run_remote_test.sh.

Now profilers other than cros_perf can be added to autotests by passing in
--profiler="<profiler>".

Arguments to the profiler are passed like this:

--profiler_args="<arguments to the profiler>"

BUG=chromium-os:25188
TEST=./run_remote_tests.sh --board=lumpy --remote=172.18.111.244
platform_AesThroughput --profile --profiler="pgo"

Change-Id: I60fc3d4daf6704bdf827e18d1717909fd32f6dc6
Reviewed-on: https://gerrit.chromium.org/gerrit/19341
Reviewed-by: Chris Sosa <sosa@chromium.org>
Tested-by: asharif <asharif@chromium.org>
Commit-Ready: asharif <asharif@chromium.org>

Move archiving from /var/www/archive to /b/archive.

Currently, buildbots store most of their data on '/b', except for archives,
which are stored in /var/www. This inconsistency causes problems for VMs which
have very little space in '/' and lots of space under /b. To fix this, I've
moved the archiving steps to save data under /b, as they should.

BUG=chromium-os:29138
TEST=Grep for references to /var/www.

Change-Id: I428a3a8c80efc087ef9ee4c1a09bdc7bfd2dd991
Reviewed-on: https://gerrit.chromium.org/gerrit/19849
Reviewed-by: Matt Tennant <mtennant@chromium.org>
Commit-Ready: David James <davidjames@chromium.org>
Tested-by: David James <davidjames@chromium.org>

run_remote_tests.sh: ignore the return code of autoserv

We don't use the return code and it makes the script exit prematurely
before processing the results.

This apparently worked before the autoserv code was moved into a
function because of malfunctioning set -e statement.

BUG=chromium-os:28352
TEST=run it

Change-Id: I35506e7e800c68145be09087c23f3f28ee302e64
Reviewed-on: https://gerrit.chromium.org/gerrit/19145
Reviewed-by: David James <davidjames@chromium.org>
Tested-by: Zdenek Behan <zbehan@chromium.org>
Commit-Ready: Zdenek Behan <zbehan@chromium.org>

Blacklist chromeos-wm from unit tests

This package no longer builds but can be tested if its ebuild changes.

This caused some redness so blacklisting.

BUG=None
TEST=None

Change-Id: Idd7ea7a83b1a606a72c935351300d2d8e9f18d6e
Reviewed-on: https://gerrit.chromium.org/gerrit/18981
Reviewed-by: Peter Mayo <petermayo@chromium.org>
Commit-Ready: Jon Kliegman <kliegs@chromium.org>
Tested-by: Jon Kliegman <kliegs@chromium.org>

Reserve more memory for background processes.

Our build uses more memory now, so I've increased the base footprint
of our build from 7GB to 10GB. This reduces the number of parallel VMs
we can launch on machines with 12GB RAM from 2 to 1.

BUG=chromium-os:28267
TEST=Test on buildbot with 12GB RAM and verify parallelism limit is 1 now
     rather than 2.

Change-Id: I33d53f59e08b561d1edf7c25068843af47978c2d
Reviewed-on: https://gerrit.chromium.org/gerrit/18904
Reviewed-by: Brian Harring <ferringb@chromium.org>
Commit-Ready: David James <davidjames@chromium.org>
Tested-by: David James <davidjames@chromium.org>

Make VMTest use dynamic suite notation

BUG=chromium-os:27291
TEST=trybot x86-generic-full (with dependent CLs)

Change-Id: I126cdee58b4b9cd11ab9dd78ef21b4b9d0dafe2b
Reviewed-on: https://gerrit.chromium.org/gerrit/18007
Reviewed-by: Zdenek Behan <zbehan@chromium.org>
Tested-by: Zdenek Behan <zbehan@chromium.org>
Commit-Ready: Zdenek Behan <zbehan@chromium.org>

run_remote_tests: remove some fatal debug statements that made it into git

* Changes suites variable to be an array to avoid the need for eval indexing
* Some minor cleanup

BUG=chromium-os:27291
TEST=trybot x86-generic-full (along with dependent CLs)

Change-Id: I3ed8674825f0f6ae8fc909682753827edbf66c47
Reviewed-on: https://gerrit.chromium.org/gerrit/18004
Reviewed-by: Zdenek Behan <zbehan@chromium.org>
Tested-by: Zdenek Behan <zbehan@chromium.org>
Commit-Ready: Zdenek Behan <zbehan@chromium.org>

Implement basic locking mechanism not allowing this script to be run in parallel.

BUG=chromium-os:26672
TEST=Ran it in parallel, saw second one wait until the first finished.

Change-Id: I7fd1986f7a2d40628d352f92a6de5dfc8e82b61f
Reviewed-on: https://gerrit.chromium.org/gerrit/17195
Commit-Ready: Chris Sosa <sosa@chromium.org>
Tested-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: Brian Harring <ferringb@chromium.org>

Refactor image_extractor into its own library and use it in generate_test_payloads.

This change further refactors ctest and friends to allow a caller to call
generate test payloads without having to use CTest. The key component that needs
commonizing is image_extractor which is moved into crostestutils.lib.

BUG=chromium-os:26672
TEST=Ran generate_test_payloads with x86-generic-incremental + unittests + pylint.

Change-Id: I7e8e9d912da299eb0b01a3be791547afe30f4c3c
Reviewed-on: https://gerrit.chromium.org/gerrit/17158
Reviewed-by: Chris Sosa <sosa@chromium.org>
Tested-by: Chris Sosa <sosa@chromium.org>
Commit-Ready: Chris Sosa <sosa@chromium.org>

run_remote_tests: add option for executing 'suitesv2'

Adds an option to iterate over enumerated new-style suites.

BUG=chromium-os:27061
TEST=run_remote_tests.sh suites/control.bvt (old-style)
TEST=run_remote_tests.sh suite:bvt

Change-Id: I0aaeaaa2bcf3d969c4c0fab89fb0c290a8aed8b2
Reviewed-on: https://gerrit.chromium.org/gerrit/16821
Tested-by: Zdenek Behan <zbehan@chromium.org>
Reviewed-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: Scott Zawalski <scottz@chromium.org>
Commit-Ready: Zdenek Behan <zbehan@chromium.org>

Seperate logic to generate/archive test payloads from running tests.

This CL allows us to use ctest to both build nplus1 payloads and not
build nplus1 payloads by just passing in the archive dir.  In addition,
it modifies generate_test_payloads to allow it to build/archive
nplus1 payloads with generating test harness payloads.

BUG=chromium-os:26672
TEST=Preliminary testing -- ctest --quick, ctest --noquick and
genereate_test_payloads --nplus1 + archive dir.

Change-Id: I89399c380d466eed6015ed4f362df49d5d56bf1b
Reviewed-on: https://gerrit.chromium.org/gerrit/16931
Tested-by: Chris Sosa <sosa@chromium.org>
Reviewed-by: Scott Zawalski <scottz@chromium.org>
Commit-Ready: Chris Sosa <sosa@chromium.org>