Removed refereces from waterfall to local buildbot interface

We'll re-enable this later when the app is more complete

BUG=236041

Review URL: https://chromiumcodereview.appspot.com/14113044

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@196875 0039d316-1c4b-4281-b951-d872f2087c98

Added buildbot appengine frontend for chromium-build app

Added changes in app.yaml to point /buildbot/... to the buildlogparse.py file.
It currently runs as its own little mini-app.

BUG=

Review URL: https://chromiumcodereview.appspot.com/13892003

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@195849 0039d316-1c4b-4281-b951-d872f2087c98

Adds console renderer to merger backend.

This CL:
a) creates a backend url that serves a merged console table (sans surroundings,
javascript, announce header, and css).
b) does some minor cleanup of the other backend code;
c) changes tests to reflect slightly modified data storage formats; and
d) still doesn't affect the current front-end.

The next (and final, in this project) CL will:
a) add pre-rendering and caching; and
b) change the frontend to use this new renderer.

Review URL: https://chromiumcodereview.appspot.com/12178026

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@182044 0039d316-1c4b-4281-b951-d872f2087c98

Better unicode output processing.

BUG=Console crashing when commit messages contain unicode.

Review URL: https://chromiumcodereview.appspot.com/12211015

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@180756 0039d316-1c4b-4281-b951-d872f2087c98

Adds a backend for increased performance of chromium-build

This CL:
a) adds all the backend infrastructure to store rows of data in memory for easy access and fast rendering;
b) contains a complete backend updater and data storage mechanism;
c) stubs out the backend renderer (which will serve nearly-complete pages to the current frontend); and
d) has no effect (yet) on the current frontend.

Review URL: https://chromiumcodereview.appspot.com/12089029

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@180201 0039d316-1c4b-4281-b951-d872f2087c98

Fix failure to write latest_rev updates to database.

Fixes problem of occasional severely out-of-date consoles, when an app instance without an up-to-date memcache fell back to the datastore for fetching latest_rev.

TBR=hinoka
BUG=https://code.google.com/p/chromium/issues/detail?id=170494

Review URL: https://chromiumcodereview.appspot.com/11970045

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@178091 0039d316-1c4b-4281-b951-d872f2087c98

Put latest_rev data in datastore instead of memcache.

Review URL: https://chromiumcodereview.appspot.com/11934003

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@176984 0039d316-1c4b-4281-b951-d872f2087c98

Mirror android gardener rotation on chromium-build

For now, the only intended consumer of this data are
the internal android masters announce.html templates.
Review URL: https://chromiumcodereview.appspot.com/11879037

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@176953 0039d316-1c4b-4281-b951-d872f2087c98

Fix for handling pages without a timestamp.

TBR=cmp

Review URL: https://chromiumcodereview.appspot.com/11876008

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@176489 0039d316-1c4b-4281-b951-d872f2087c98

Improved URL handling, merging, and caching for the chromium-build app.

This CL introduces logic for the chromium/console view to properly update,
cache results, and handle ?numrevs=X query parameters.

BUG=

Review URL: https://chromiumcodereview.appspot.com/11644087

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@176461 0039d316-1c4b-4281-b951-d872f2087c98

chromium-build app now renders console from stored rows.

This CL:
* changes the logic in merge_console to construct the merged console from individual stored rows (which are stored by parse_master)
* keeps the old merged console rendering (putting data in ConsoleData, passing it to a template)
* passes all unittests and renders the console properly in dev_appserver mode
* removes the console_merger_utf8 test, as it is covered by test_console_handler_utf8 and test_parse_master
* paves the way for further changes in the next few days to handler.py to add propery query parameter handling

Review URL: https://chromiumcodereview.appspot.com/11535002

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@176458 0039d316-1c4b-4281-b951-d872f2087c98

Adds saving surroundings: announce, categories, and summary.

BUG=148586

Review URL: https://chromiumcodereview.appspot.com/11362255

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@168566 0039d316-1c4b-4281-b951-d872f2087c98

Add individual row parsing and storage to the console.

Stage 1 of the expansion of the chromium-build console. This CL adds
basic row parsing and storage. The next one will finalize storage of
other pieces of the console (announce header, static surroundings, etc)
and add row retrieval. Eventually these will completely replace whole-page
caching.

BUG=148586

Review URL: https://chromiumcodereview.appspot.com/11346012

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@166718 0039d316-1c4b-4281-b951-d872f2087c98

Adding .gitignore for .pyc files.

Finally got tired of having untracked files every time I ran
a dev appserver or the nosetests. Other chri repos have .gitignore
files, so I figured this wouldn't be out of place.

Review URL: https://chromiumcodereview.appspot.com/11343051

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@165016 0039d316-1c4b-4281-b951-d872f2087c98

Allow crawling the rest of the sheriff files.

TBR=simonjam@chromium.org
BUG=156885

Review URL: https://chromiumcodereview.appspot.com/11229013

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@163042 0039d316-1c4b-4281-b951-d872f2087c98

Fix limit on datastore text.

The limit is not 2^20 but rather 10^6.  Update
the console to only write items less than 10^6
to the datastore and items greater than or
equal to 10^6 to blobstore.

TBR=nsylvain@chromium.org

Review URL: https://chromiumcodereview.appspot.com/11090014

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@160756 0039d316-1c4b-4281-b951-d872f2087c98

Add IOS sheriffs to the console.

Review URL: https://chromiumcodereview.appspot.com/10943033

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@157571 0039d316-1c4b-4281-b951-d872f2087c98

Merge the win and mac consoles.

TBR=nsylvain@chromium.org

Review URL: https://chromiumcodereview.appspot.com/10911239

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@156242 0039d316-1c4b-4281-b951-d872f2087c98

Merge chromium.linux into main console display.

TBR=nsylvain@chromium.org

Review URL: https://chromiumcodereview.appspot.com/10918139

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@155656 0039d316-1c4b-4281-b951-d872f2087c98

Refactor masters to merge into a configurable value.

Set tests to use hardcoded masters.  This allows us
to change the setting in the app and not require
updating all of the stored fixtured test data.

Add win/mac/linux masters to fetching parts of the app.
These parts will 404 for now until they come online.

TBR=nsylvain@chromium.org

Review URL: https://chromiumcodereview.appspot.com/10918135

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@155647 0039d316-1c4b-4281-b951-d872f2087c98

Allow Googlebot to crawl sheriff_perf.js.

TBR=simonjam@chromium.org
BUG=146858

Review URL: https://chromiumcodereview.appspot.com/10915127

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@155227 0039d316-1c4b-4281-b951-d872f2087c98

Remove unneeded webkit onebox and CSS.

TBR=nsylvain@chromium.org

Review URL: https://chromiumcodereview.appspot.com/10854120

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@151273 0039d316-1c4b-4281-b951-d872f2087c98

Add GPU default.css files.

TBR=nsylvain@chromium.org

Review URL: https://chromiumcodereview.appspot.com/10831278

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@151209 0039d316-1c4b-4281-b951-d872f2087c98

Re-sort list based on type, then remoteurl, add GPU.

TBR=nsylvain@chromium.org

Review URL: https://chromiumcodereview.appspot.com/10855117

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@151207 0039d316-1c4b-4281-b951-d872f2087c98

Fix typo in chromebot one box URL.

A typo (unexpected comma) was causing localpath to become
a tuple and for fetch_page to fail to write the URL data
to the expected localpath.

Also add a guard to fetch_page() to catch these cases.

TBR=nsylvain@chromium.org

Review URL: https://chromiumcodereview.appspot.com/10826263

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@151206 0039d316-1c4b-4281-b951-d872f2087c98

Add URL for Chromebot onebox.

Filter the important boxes.

Patch by Chris Phan <chrisphan@google.com>.
Originally at https://chromiumcodereview.appspot.com/10829046.

TBR=cmp@chromium.org

Review URL: https://chromiumcodereview.appspot.com/10832076

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@149086 0039d316-1c4b-4281-b951-d872f2087c98

Add refresh support to the console page.

Use a template for console data:
  - Embeds the refresh value based on a max of the
    selected refresh or 30 seconds.
  - Allows showing the user sign in/sign out links.
  - Move the console header div into the template.
  - Rename console.html to merger.html.
  - Remove grid and t-grid links.
  - Modify get_and_cache_page to return a dict
    that contains content and other data, not just
    the content itself.  Modify that method's
    callers to support the new return data.
  - Update the rest of the page caching to support
    storing and retrieving a serialized dict.

Sign in support:
  - Add utils module to allow us to enforce signed
    in/admin only pages.
  - Move request handler into base_page.
  - Add login/admin helper methods to BasePage.
  - oauth support is absent.

Add tests for the fetch pipeline.
  - Add FakeResponse object to keep fetch_page()
    happy.

Miscellanous fixes:
  - Fix path for gae-lib-root in docs.
  - Remove unused methods (like _clean_int()) and
    imports.
  - Remove a TODO I fixed in a previous CL.
  - Misc formatting fixes.
  - Add W0232 pylint error to suppression.
  - Ignore pylint errors in webapp2.RequestHandler.

R=maruel@chromium.org
BUG=113488

Review URL: https://chromiumcodereview.appspot.com/10448057

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@139357 0039d316-1c4b-4281-b951-d872f2087c98

Temporarily disable any caching of URLs.

AppEngine sometimes employs a cache of fetched
URL content.  Our content may not set headers
100% to indicates that content should not be
cached.  Temporarily disable the URL content
caching by using a random URL arg.

TBR=nsylvain@chromium.org

Review URL: https://chromiumcodereview.appspot.com/10332059

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@135903 0039d316-1c4b-4281-b951-d872f2087c98

Drop LKGR URL prefix.

TBR=maruel@chromium.org

Review URL: http://codereview.chromium.org/10382030

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@135580 0039d316-1c4b-4281-b951-d872f2087c98

Enable caching and using cached json data in console.

One last item was not being cached by chromium-build:
JSON data from chromium.lkgr which clients load at
page-render-time.  This CL adds support to chromium-build
to fetch this data and to reference it from its local
store so the client retrieves it from chromium-build.

Other changes:
  - Make chromium-build references in console https by default.
  - Fix line lengths so they're under 80 chars per line.
  - Remove unused master argument from ConsoleData class.
  - Disregard unused variable checks for handlers.
  - Update test data to match new expectations based on these
    changes.

With the https changes in this CL, viewing
https://chromium-build.appspot.com/p/chromium/console results
in a green lock in Chrome since all of its included resources
are also fetched over SSL/TLS.  It used to result in a broken
lock.

TBR=maruel@chromium.org

Review URL: http://codereview.chromium.org/10386004

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@135578 0039d316-1c4b-4281-b951-d872f2087c98

Add watchlist for chromium-build.

TBR=maruel@chromium.org

Review URL: http://codereview.chromium.org/10310033

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@135565 0039d316-1c4b-4281-b951-d872f2087c98

Add test for ensuring split revisions work as expected.

TBR=maruel@chromium.org

Review URL: https://chromiumcodereview.appspot.com/10198004

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@133556 0039d316-1c4b-4281-b951-d872f2087c98

Remove announce action, redirect to /p/chromium/console by default.

Add test to verify redirect.

TBR=maruel@chromium.org

Review URL: http://codereview.chromium.org/10205002

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@133547 0039d316-1c4b-4281-b951-d872f2087c98

Rename this to chromium-build.

Aso, add codereview settings file.

TBR=maruel@chromium.org

Review URL: http://codereview.chromium.org/10206001

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@133538 0039d316-1c4b-4281-b951-d872f2087c98

Copy chromium-build-master to chromium-build.

TBR=maruel@chromium.org

git-svn-id: svn://svn.chromium.org/chrome/trunk/tools/chromium-build@133481 0039d316-1c4b-4281-b951-d872f2087c98