Package gfit: Retry failing API calls.
[kraftakt.git] / gfit / gfit.go
index fb66862..df7bd2c 100644 (file)
@@ -7,8 +7,9 @@ import (
        "strings"
        "time"
 
-       "github.com/octo/gfitsync/app"
-       "github.com/octo/gfitsync/fitbit"
+       "github.com/octo/kraftakt/app"
+       "github.com/octo/kraftakt/fitbit"
+       "github.com/octo/retry"
        "golang.org/x/oauth2"
        oauth2google "golang.org/x/oauth2/google"
        fitness "google.golang.org/api/fitness/v1"
@@ -28,28 +29,30 @@ const (
        dataTypeNameActivitySegment = "com.google.activity.segment"
 )
 
-var oauthConfig = &oauth2.Config{
-       ClientID:     "@GOOGLE_CLIENT_ID@",
-       ClientSecret: "@GOOGLE_CLIENT_SECRET@",
-       Endpoint:     oauth2google.Endpoint,
-       RedirectURL:  "https://kraftakt.octo.it/google/grant",
-       Scopes: []string{
-               fitness.FitnessActivityWriteScope,
-               fitness.FitnessBodyWriteScope,
-               fitness.FitnessLocationWriteScope,
-       },
+func oauthConfig() *oauth2.Config {
+       return &oauth2.Config{
+               ClientID:     app.Config.GoogleClientID,
+               ClientSecret: app.Config.GoogleClientSecret,
+               Endpoint:     oauth2google.Endpoint,
+               RedirectURL:  "https://kraftakt.octo.it/google/grant",
+               Scopes: []string{
+                       fitness.FitnessActivityWriteScope,
+                       fitness.FitnessBodyWriteScope,
+                       fitness.FitnessLocationWriteScope,
+               },
+       }
 }
 
 func Application(ctx context.Context) *fitness.Application {
        return &fitness.Application{
-               Name:       "Fitbit to Google Fit sync",
+               Name:       "Kraftakt",
                Version:    appengine.VersionID(ctx),
                DetailsUrl: "", // optional
        }
 }
 
 func AuthURL() string {
-       return oauthConfig.AuthCodeURL(csrfToken, oauth2.AccessTypeOffline)
+       return oauthConfig().AuthCodeURL(csrfToken, oauth2.AccessTypeOffline)
 }
 
 func ParseToken(ctx context.Context, r *http.Request, u *app.User) error {
@@ -57,7 +60,7 @@ func ParseToken(ctx context.Context, r *http.Request, u *app.User) error {
                return fmt.Errorf("invalid state parameter: %q", state)
        }
 
-       tok, err := oauthConfig.Exchange(ctx, r.FormValue("code"))
+       tok, err := oauthConfig().Exchange(ctx, r.FormValue("code"))
        if err != nil {
                return err
        }
@@ -70,7 +73,7 @@ type Client struct {
 }
 
 func NewClient(ctx context.Context, u *app.User) (*Client, error) {
-       c, err := u.OAuthClient(ctx, "Google", oauthConfig)
+       c, err := u.OAuthClient(ctx, "Google", oauthConfig())
        if err != nil {
                return nil, err
        }
@@ -89,7 +92,7 @@ func DataStreamID(dataSource *fitness.DataSource) string {
        fields := []string{
                dataSource.Type,
                dataSource.DataType.Name,
-               "@PROJECT_NUMBER@", // FIXME
+               app.Config.ProjectNumber,
        }
 
        if dev := dataSource.Device; dev != nil {
@@ -111,8 +114,28 @@ func DataStreamID(dataSource *fitness.DataSource) string {
        return strings.Join(fields, ":")
 }
 
+func wrapGoogleError(err error) error {
+       if err == nil {
+               return nil
+       }
+
+       if gerr, ok := err.(*googleapi.Error); ok && gerr.Code >= 400 && gerr.Code < 500 {
+               return retry.Abort(err)
+       }
+
+       return err
+}
+
 func (c *Client) DataSourceCreate(ctx context.Context, dataSource *fitness.DataSource) (string, error) {
-       res, err := c.Service.Users.DataSources.Create(userID, dataSource).Context(ctx).Do()
+       var dataStreamID string
+       err := retry.Do(ctx, func(ctx context.Context) error {
+               res, err := c.Service.Users.DataSources.Create(userID, dataSource).Context(ctx).Do()
+               if err != nil {
+                       return wrapGoogleError(err)
+               }
+               dataStreamID = res.DataStreamId
+               return nil
+       })
        if err != nil {
                if gerr, ok := err.(*googleapi.Error); ok && gerr.Code == http.StatusConflict {
                        if dataSource.DataStreamId != "" {
@@ -120,13 +143,32 @@ func (c *Client) DataSourceCreate(ctx context.Context, dataSource *fitness.DataS
                        }
                        return DataStreamID(dataSource), nil
                }
-               log.Errorf(ctx, "c.Service.Users.DataSources.Create() = (%+v, %v)", res, err)
+               log.Errorf(ctx, "c.Service.Users.DataSources.Create(%q) = %v", DataStreamID(dataSource), err)
                return "", err
        }
-       return res.DataStreamId, nil
+       return dataStreamID, nil
+}
+
+func (c *Client) DatasetGet(ctx context.Context, dataStreamID string, startTime, endTime time.Time) (*fitness.Dataset, error) {
+       datasetID := fmt.Sprintf("%d-%d", startTime.UnixNano(), endTime.UnixNano())
+
+       var dataset *fitness.Dataset
+       err := retry.Do(ctx, func(ctx context.Context) error {
+               res, err := c.Service.Users.DataSources.Datasets.Get(userID, dataStreamID, datasetID).Context(ctx).Do()
+               if err != nil {
+                       return wrapGoogleError(err)
+               }
+               dataset = res
+               return nil
+       })
+       if err != nil {
+               log.Errorf(ctx, "c.Service.Users.DataSources.Datasets.Get(%q, %q) = %v", dataStreamID, datasetID, err)
+               return nil, err
+       }
+       return dataset, nil
 }
 
-func (c *Client) DataSetPatch(ctx context.Context, dataSourceID string, points []*fitness.DataPoint) error {
+func (c *Client) DatasetPatch(ctx context.Context, dataSourceID string, points []*fitness.DataPoint) error {
        startTimeNanos, endTimeNanos := int64(-1), int64(-1)
        for _, p := range points {
                if startTimeNanos == -1 || startTimeNanos > p.StartTimeNanos {
@@ -145,7 +187,10 @@ func (c *Client) DataSetPatch(ctx context.Context, dataSourceID string, points [
                Point:          points,
        }
 
-       _, err := c.Service.Users.DataSources.Datasets.Patch(userID, dataSourceID, datasetID, dataset).Context(ctx).Do()
+       err := retry.Do(ctx, func(ctx context.Context) error {
+               _, err := c.Service.Users.DataSources.Datasets.Patch(userID, dataSourceID, datasetID, dataset).Context(ctx).Do()
+               return wrapGoogleError(err)
+       })
        if err != nil {
                log.Errorf(ctx, "c.Service.Users.DataSources.Datasets.Patch() = %v", err)
                return err
@@ -230,19 +275,31 @@ func (a Activity) String() string {
 }
 
 func (c *Client) SetActivities(ctx context.Context, activities []Activity, startOfDay time.Time) error {
-       dataStreamID := DataStreamID(&fitness.DataSource{
+       if len(activities) == 0 {
+               return nil
+       }
+
+       dataStreamID, err := c.DataSourceCreate(ctx, &fitness.DataSource{
+               Application: Application(ctx),
                DataType: &fitness.DataType{
+                       Field: []*fitness.DataTypeField{
+                               &fitness.DataTypeField{
+                                       Name:   "activity",
+                                       Format: "integer",
+                               },
+                       },
                        Name: dataTypeNameActivitySegment,
                },
                Type: "raw",
        })
+       if err != nil {
+               return err
+       }
 
        endOfDay := startOfDay.Add(24 * time.Hour).Add(-1 * time.Nanosecond)
 
-       datasetID := fmt.Sprintf("%d-%d", startOfDay.UnixNano(), endOfDay.UnixNano())
-       res, err := c.Service.Users.DataSources.Datasets.Get(userID, dataStreamID, datasetID).Context(ctx).Do()
+       dataset, err := c.DatasetGet(ctx, dataStreamID, startOfDay, endOfDay)
        if err != nil {
-               log.Errorf(ctx, "c.Service.Users.DataSources.Datasets.Get(%q, %q) = %v", dataStreamID, datasetID, err)
                return err
        }
 
@@ -252,7 +309,7 @@ Next:
                startTimeNanos := a.Start.UnixNano()
                endTimeNanos := a.End.UnixNano()
 
-               for _, p := range res.Point {
+               for _, p := range dataset.Point {
                        if p.StartTimeNanos == startTimeNanos && p.EndTimeNanos == endTimeNanos && p.Value[0].IntVal == a.Type {
                                log.Debugf(ctx, "activity %s already stored in Google Fit", a)
                                continue Next
@@ -274,7 +331,7 @@ Next:
                return nil
        }
 
-       return c.DataSetPatch(ctx, dataStreamID, dataPoints)
+       return c.DatasetPatch(ctx, dataStreamID, dataPoints)
 }
 
 func (c *Client) updateCumulative(ctx context.Context, dataSource *fitness.DataSource, rawValue *fitness.Value, startOfDay time.Time) error {
@@ -328,9 +385,9 @@ func (c *Client) updateCumulative(ctx context.Context, dataSource *fitness.DataS
        if now := time.Now().In(startOfDay.Location()); now.Before(endOfDay) {
                endTime = now
        }
-       log.Debugf(ctx, "adding cumulative data point: %v-%v %+v", startTime, endTime, diffValue)
+       log.Debugf(ctx, "add  cumulative data %s until %v: %+v", dataSource.DataStreamId, endTime, diffValue)
 
-       return c.DataSetPatch(ctx, dataSource.DataStreamId, []*fitness.DataPoint{
+       return c.DatasetPatch(ctx, dataSource.DataStreamId, []*fitness.DataPoint{
                &fitness.DataPoint{
                        DataTypeName:   dataSource.DataType.Name,
                        StartTimeNanos: startTime.UnixNano(),
@@ -341,21 +398,19 @@ func (c *Client) updateCumulative(ctx context.Context, dataSource *fitness.DataS
 }
 
 func (c *Client) readCumulative(ctx context.Context, dataSource *fitness.DataSource, startTime, endTime time.Time) (*fitness.Value, time.Time, error) {
-       datasetID := fmt.Sprintf("%d-%d", startTime.UnixNano(), endTime.UnixNano())
-
-       res, err := c.Service.Users.DataSources.Datasets.Get(userID, dataSource.DataStreamId, datasetID).Context(ctx).Do()
+       dataset, err := c.DatasetGet(ctx, dataSource.DataStreamId, startTime, endTime)
        if err != nil {
-               log.Errorf(ctx, "c.Service.Users.DataSources.Datasets.Get(%q, %q) = %v", dataSource.DataStreamId, datasetID, err)
                return nil, time.Time{}, err
        }
 
-       if len(res.Point) == 0 {
+       if len(dataset.Point) == 0 {
+               log.Debugf(ctx, "read cumulative data %s until %v: []", dataSource.DataStreamId, endTime)
                return &fitness.Value{}, startTime, nil
        }
 
        var sum fitness.Value
        maxEndTime := startTime
-       for _, p := range res.Point {
+       for _, p := range dataset.Point {
                switch f := dataSource.DataType.Field[0].Format; f {
                case "integer":
                        sum.IntVal += p.Value[0].IntVal
@@ -395,21 +450,18 @@ func (res heartRateDurations) find(min, max int) (*heartRateDuration, bool) {
 }
 
 func (c *Client) heartRate(ctx context.Context, dataSource *fitness.DataSource, startTime, endTime time.Time) (heartRateDurations, time.Time, error) {
-       datasetID := fmt.Sprintf("%d-%d", startTime.UnixNano(), endTime.UnixNano())
-
-       res, err := c.Service.Users.DataSources.Datasets.Get(userID, dataSource.DataStreamId, datasetID).Context(ctx).Do()
+       dataset, err := c.DatasetGet(ctx, dataSource.DataStreamId, startTime, endTime)
        if err != nil {
-               log.Errorf(ctx, "c.Service.Users.DataSources.Datasets.Get(%q, %q) = %v", dataSource.DataStreamId, datasetID, err)
                return nil, time.Time{}, err
        }
 
-       if len(res.Point) == 0 {
+       if len(dataset.Point) == 0 {
                return nil, startTime, nil
        }
 
        var results heartRateDurations
        maxEndTime := startTime
-       for _, p := range res.Point {
+       for _, p := range dataset.Point {
                max := int(p.Value[1].FpVal)
                min := int(p.Value[2].FpVal)
                duration := time.Unix(0, p.EndTimeNanos).Sub(time.Unix(0, p.StartTimeNanos))
@@ -534,5 +586,5 @@ func (c *Client) SetHeartRate(ctx context.Context, totalDurations []fitbit.Heart
        if len(dataPoints) == 0 {
                return nil
        }
-       return c.DataSetPatch(ctx, dataSource.DataStreamId, dataPoints)
+       return c.DatasetPatch(ctx, dataSource.DataStreamId, dataPoints)
 }