Fix GenerateIndex for gsutil directories by stripping colon off directory names.

The gsutil ls -L will recursively list the contents of a directory.
Subdirectories are listed with a ':' after them like this: 'subdir/:' with their
contents listed under it. When recursing gsutil will fail on directories that
end with '/:'. This CL strips the colon from that output.

Also looked into:
gsutil ls -r (and -R) dir: still puts the colon at the end
gsutil ls -L dir/** (for flat listing): does not list sub directories at all;
 only shows the files.

Review URL: https://chromiumcodereview.appspot.com/11348025

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/gsd_generate_index@164784 0039d316-1c4b-4281-b951-d872f2087c98

Fix field name changes for size and last modified for gsutil ls -L.

Review URL: https://chromiumcodereview.appspot.com/11338019

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/gsd_generate_index@164759 0039d316-1c4b-4281-b951-d872f2087c98

Ignore pylint warning.

************* Module gsd_generate_index
W0703:157,0:IndexWorker: Catch "Exception"
Review URL: http://codereview.chromium.org/8588007

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/gsd_generate_index@110568 0039d316-1c4b-4281-b951-d872f2087c98

Fixing push -> append in indexing script.

BUG=None
TEST=None

Review URL: http://codereview.chromium.org/6711018

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/gsd_generate_index@78606 0039d316-1c4b-4281-b951-d872f2087c98

Fixing up error handling in workers.
Fix regex to support multiple gsutil versions.

BUG=None
TEST=None

Review URL: http://codereview.chromium.org/3336002

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/gsd_generate_index@77691 0039d316-1c4b-4281-b951-d872f2087c98

gsutil ls -l changed format.
Is causing silent errors in generated indexes.
This fixes the imediate failure, future CL coming so failure won't be silent
in the future.

BUG=None
TEST=None
TBR=nsylvain

Review URL: http://codereview.chromium.org/3331006

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/gsd_generate_index@58244 0039d316-1c4b-4281-b951-d872f2087c98

Generate index in parallel.
This allows an index which used to take 3+ hours to be regenerated in ~11
minutes.

BUG=None
TEST=None

Review URL: http://codereview.chromium.org/3034014

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/gsd_generate_index@53006 0039d316-1c4b-4281-b951-d872f2087c98

Adding more assertions.
Fixing utility to actually work when presented with a file based acl instead
of a canonical one.

BUG=None
TEST=None
TBR=djmm

Review URL: http://codereview.chromium.org/2872025

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/gsd_generate_index@51237 0039d316-1c4b-4281-b951-d872f2087c98

Adding a script to generated _index.html files directly on Google Storage for
Developers. While less ideal than using a live generated index, this allows the
sandbox.google.com/storage interface to be used to authenticate ACL controlled
access to particular paths/buckets.

BUG=None
TEST=None

Review URL: http://codereview.chromium.org/2838033

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/gsd_generate_index@51169 0039d316-1c4b-4281-b951-d872f2087c98